教師あり学習を使ってオープンドメインのテキストから情報抽出する手法

オープンドメインの情報抽出は、この10年ほどで盛んになってきた自然言語処理の一分野でOpenIE（Open Information Extraction）と呼ばれている。OpenIEでは、ドメインを限定しないテキストからタプルを抽出する。たとえば、「ホンダは本田宗一郎によって創業された」という文であれば (ホンダ; 創業された; 本田宗一郎) というタプルを抽出する。抽出したタプルは知識グラフの構築や質問応答等での有用性が示されている。とりわけ、知識グラフはGartnerのハイプ・サイクル2019年版で取り上げられていることから窺えるように、今後重要な技術となるので、その要素技術としてのOpenIEを知っておく価値はある。

ハイプ・サイクル2019年版。画像は5 Trends Appear on the Gartner Hype Cycle for Emerging Technologies, 2019より引用。

本記事では、教師あり学習を使ったOpenIEの手法を紹介する。紹介する手法はNAACL 2018に提出された論文「Supervised Open Information Extraction」で提案された方法である。これまでのOpenIEでは、限られた教師データしか存在しなかったために、半教師あり学習やルールベースのアプローチが主に使われてきた。この論文では、質問応答のデータセットを変換してOpenIEのデータセットを作成し、OpenIEを系列ラベリングとして定式化して解いている。実験の結果、高性能でありつつ、予測速度に優れている点を示した。AllenNLPで実装が公開されており、以下のWebページから体験できる。

AllenNLPでのOpenIEのデモ画面

課題を解決するために、この論文では主に以下の2点を行っている。

• モデルの作成
• データセットの作成

この論文ではOpenIEを以下の図で表されるような系列ラベリングの問題として解いている。系列ラベリングとして解くためにスキーマに工夫をしている。スキーマは系列ラベリングで使われるIOB2であるが、述語(predicate)をP、項(argument)をAとして表現している。項にはポジションが付いており、このポジションがタプル内での項の順番を表している。以下の図でいうと、A0として「Obama」、Pとして「was born」、A1として「in America」が取れるので(Obama; was born; in America)というタプルが得られる。

モデルのアーキテクチャ

また、抽出したタプルの信頼度を計算するために、得られたタプルを構成する単語のBIタグの予測確率の積を取っている。このような信頼度の計算方法を使っているので、より述語や項が短いタプルに対して高い信頼度を割り当てることになる。ちなみに、タプルの信頼度を計算するのは、信頼度を使って適合率と再現率をコントロールできるようにするという意図がある。

OpenIEを学習するための教師データが限られているのは先に述べた通りだが、この論文では既存のデータセットを拡張するために質問応答のデータセットを変換してOpenIEの教師データを作成している。質問応答のデータセットとしてはQAMR(Question Answer Meaning Representation)を用いている。たとえば、以下の図の場合、質問文に含まれる「What」を回答である「mercury filling」で置き換えることでOpenIEのデータセットを得ている。このような変換自体は新しいアイデアではなく、先行研究がある。

データセットの変換

予測性能は以下の表で示される。提案手法の名前はRnnOIEで、verbがデータ拡張なし、awがデータ拡張を行った場合の性能を示している。この結果を見ると、データ拡張をすることで性能が大きく向上していることを確認できる。ただ、拡張しない場合は既存の手法と比べて優位性があるようには見えない。

予測性能

予測速度に関する結果は以下の表で示される。そもそもなぜ予測速度を載せているのかというと、OpenIEは元々Web上の文書からの情報抽出を対象としていたため、膨大な量の文書を処理するには予測速度が重視されたためである。ちなみにオープンドメインである点もその辺が理由となっている。以下の表は1秒間でどれだけの文を処理できるかということを示している。結果を見ると、既存手法と比べてそれなりに速く処理できていることがわかる。

予測速度に関する結果

感想

読んだ感想としては、結果は出ているが、何を課題にしていたのかがはっきりしない印象が残った。論文で述べていた課題である、半教師あり学習やルールベースのアプローチを使うこと自体は問題ではない。それで性能が出ていればいい話である。そうではなく、それらの手法を使った結果としてどういう問題が出てきたのかという話があればもっと良かったと思う。たとえば、ルールベースの手法を使うとルールが増えるに連れメンテナンスコストが上昇するであるとか、半教師あり学習の場合は作成したデータにノイズが混じりがちといった話があるはずである。それを述べた上で教師あり学習の必要性を示せば説得力が増したのではないか。

また、モデルについても新規性はほとんどない。モデルそのものがBiLSTMにSoftmaxをくっつけただけであるし、タグ付けのスキーマもこの前年のACL2017で固有表現認識と関係抽出を同時に解く論文「Joint Extraction of Entities and Relations Based on a Novel Tagging Scheme」で提案されたものと変わりはない。唯一言えるとしたら入力として与える特徴ベクトルに工夫をしている点であろうか。

論文中でも述べているように、QAのデータセットを変換してOpenIEのデータセットを作るというアイデア自体も新しいものではない。QAMRを変換して作った人はいなかったようだが、新規性としては弱い感じは否めない。

とまあ色々言ったが、実装がシンプルでありAlennNLPで公開されている点から初めに試す手法としてはとても良さそうである。今後はこの論文の手法が教師あり学習を用いたOpenIEのベースラインとして使われるようになるかもしれない。

参考文献

• Supervised Open Information Extraction
• Joint Extraction of Entities and Relations Based on a Novel Tagging Scheme
• https://github.com/gabrielStanovsky/supervised-oie/
• AllenNLP Demo -Open Information Extraction-
• 5 Trends Appear on the Gartner Hype Cycle for Emerging Technologies, 2019
• テキストの構造化を支える技術 -概要編-
• テキストの構造化を支える技術 -パターンマッチで始める情報抽出-
• テキストの構造化を支える技術 -OpenIEの未解決問題-

単語分散表現の信頼性を考慮した固有表現認識

ACL 2019より以下の論文を紹介。

• Reliability-aware Dynamic Feature Composition for Name Tagging

この論文では、単語分散表現の信頼性を考慮した固有表現認識を行うモデルを提案している。単語分散表現は広く使われているが、低頻度語や未知語のように文脈が十分に存在しない単語の場合はその信頼性は頻出語と比べて低い。しかし、現在のモデルはすべての分散表現を等しく重み付けしているため、それによって性能を損なっている可能性がある。そこでこの論文では、単語の出現頻度を基に分散表現の信頼性を計算し、モデルに組み込んでいる。実験の結果、従来より良い結果を得られた。

以前から知られているが、現在の固有表現認識のモデルは未知語に弱いという課題がある。たとえば、以下の例を考えてみよう。

• 例: 先日の雨で鬼難橋が流された。

「鬼難橋」というのは私が作った固有表現であり、実際には存在しない。とはいえ、人間が見れば橋であることはすぐに分かる。なぜなら、「橋」という文字が含まれることや「流された」という文脈に着目して判断するからである。しかし、現在の固有表現認識モデルにとっては簡単な話ではない。その理由の一つとして、訓練用データセットに現れた固有表現そのものを記憶し、文脈を有効活用していない点がある。以下のように文脈から明らかな場合でさえ、未知語に対しては上手く認識できないのが現状である。

anaGoのデモ画面

この問題を解決するために、この論文では単語分散表現の信頼性を考慮したモデルを提案している。信頼性を測る基本となるのは、ある単語の頻度が高ければその単語の分散表現は信頼できるという考え方である。なぜなら、単語の頻度が高ければ、その文脈はより多様性があり重みの更新も頻繁にされるからである。このようにして信頼性を計算できると、知らない単語（未知語）やかろうじて知っている単語（低頻度語）の場合に文字や文脈の情報をより重視して答えるモデルを作成できる。

信頼性の計算には、単語分散表現を学習させるコーパス中での単語の頻度f^eと固有表現認識の訓練用データセット中での単語の頻度fⁿを使う。これらを使ってNumeric signalとBinary signalの2種類の信号を作る。Numeric signalはハイパーパラメータを使ってで計算される。これには頻度は様々な値を取るのでで正規化する狙いがある。一方、Binary signalは頻度がしきい値を下回ったら1、そうでない場合は0という条件式で計算される。

Binary signalの計算式

計算した信頼性はLSTMのゲート機構のようにして使われる。モデル全体の構成は以下の画像で示される。計算した信頼性は単語レベルと文脈レベルで使われる。要するに何を表現したいのかと言うと、単語レベルで使う場合は、信用できない単語の場合は文字表現を重視し、文脈レベルで使う場合は、より文脈を重視した判断をするということである。これにより、「鬼難橋」という未知語が出現した場合に、「橋」という文字情報や「流された」という文脈情報を重視した判断を行うことができるようになる。各レベルでのゲート機構の詳細については論文を参照してもらいたい。

提案モデルの概要

実験ではデータセットとしてOntoNotes 5.0を用いている。OntoNotes 5.0には以下のように多様な6つのジャンルが含まれている。

OntoNote 5.0のジャンル

ジャンルごとの実験結果を以下の表で示す。結果を見ると、一つのジャンルを除いて、提案モデルがベースラインより優れた性能を発揮していることがわかる。

ジャンルごとの性能

未知語に対する性能の検証は、学習とテストでOntoNote 5.0の異なるジャンルのテキストを使うことで行っている。以下の表は学習用データセットとテスト用データセットでのジャンルごとの未知語の割合を示している。たとえば、学習用データセットでmzを使い、テスト用データセットでbcを使った場合の未知語の割合が81.3%になることを示している。

未知語の割合

未知語に対する性能の検証結果は以下の通り。ほとんどの場合において、提案モデルがベースラインより優れた性能であることが確認できる。

ジャンル間の性能

感想

個人的には面白い論文であった。というのも、以前にリアルタイムに固有表現認識を行うアプリを作ったときに、モデルが文脈をあまり見ていないことには気づいていたのだが、この論文はその問題に対して一つの解答を示してくれたためである。単なる記憶によって解くのではなく、状況に応じて重視する情報を変えるのは面白い。

現在は事前学習済みのモデルが配布される時代なので、分散表現を学習させたコーパスの情報が必要なのは微妙な点ではあるが、固有表現認識以外のモデルに使える汎用性がある点はポイントが高い。おそらく、ある程度長いテキストの分類にはあまり効かないが、SNSのようなショートテキストや質問応答といったタスクではこの論文の手法を組み込めば性能を向上させられる可能性がある。

未知語に対する性能の検証方法はもう少し改善できるのではないかと思う。現状の検証では、「未知語の割合が様々な場合でも性能を改善できるモデルである」ということしか読み取れないのではないか。それもいいと思うのだが、既知語と未知語のそれぞれについて、提案手法でどれだけ性能が改善されたかを示す方がより説得力のある結果になったのではないか。

辞書を用いてテキストから病名を抽出する

医療分野の自然言語処理で基本となるタスクの一つにテキストからの病名の抽出があります。テキストから病名を抽出できると、たとえば、SNSのテキストから病気の流行を予測したり、広告技術と組み合わせて受診や薬の購入を促したり、対話システムと組み合わせて検診に使うといった応用に役立ちます。本記事では、辞書を使って病名を抽出する方法について紹介します。

準備

本記事では形態素解析の辞書を拡張してテキストから病名を抽出します。準備として病名の辞書をダウンロードします。病名の辞書としてはNAISTの研究室が公開している万病辞書を使います。万病辞書は医療従事者が記載した電子カルテや退院サマリから症状や病名に関連する語を広く抽出して作成されています。以下のページから最新のMeCab用辞書データをダウンロードしましょう。

sociocom.jp

方法

ダウンロードした辞書を使うには、MeCabのユーザ定義辞書のオプションに辞書のパスを渡します。以下ではユーザ定義辞書を渡した後「アレキサンダー病は1949年にAlexander WSにより報告された疾患です。」という文を解析しています。解析結果から「アレキサンダー病」に付帯情報が付いていて病名であることがわかります。

> mecab -u MANBYO_201907_Dic-utf8.dic
アレキサンダー病は1949年にAlexander WSにより報告された疾患です。
アレキサンダー病    名詞,サ変名詞,*,*,*,*,あれきさんだーびょう;icd=E752;lv=S/freq=低頻度;アレキサンダー病,あれきさんだーびょう,あれきさんだーびょう,3
は 助詞,係助詞,*,*,*,*,は,ハ,ワ
1949    名詞,数,*,*,*,*,*
年 名詞,接尾,助数詞,*,*,*,年,ネン,ネン
に 助詞,格助詞,一般,*,*,*,に,ニ,ニ
Alexander   名詞,一般,*,*,*,*,*
WS  名詞,固有名詞,組織,*,*,*,*
により   助詞,格助詞,連語,*,*,*,により,ニヨリ,ニヨリ
報告  名詞,サ変接続,*,*,*,*,報告,ホウコク,ホーコク
さ 動詞,自立,*,*,サ変・スル,未然レル接続,する,サ,サ
れ 動詞,接尾,*,*,一段,連用形,れる,レ,レ
た 助動詞,*,*,*,特殊・タ,基本形,た,タ,タ
疾患  名詞,一般,*,*,*,*,疾患,シッカン,シッカン
です  助動詞,*,*,*,特殊・デス,基本形,です,デス,デス
。 記号,句点,*,*,*,*,。,。,。
EOS

解説

万病辞書の中身は以下のようになっています。

万病辞書の中身

出現形というのは、電子カルテや退院サマリに実際に現れた症状や病名を表しています。それに対して、標準病名は出現形に対応する標準的な病名となっています。ICD（国際疾病分類）は統計分類であり、疾病をアルファベットと数字を組み合わせたコードで表しています。言語が異なっても同じ疾病は同一のコードで表されるため国際比較をするのに使うことができます。信頼度レベルというのは辞書を作成する際のアノテーションの一致度を表しています。

参考文献

• 万病辞書
• ICDのABC 平成26年版