教師あり学習を使ってオープンドメインのテキストから情報抽出する手法

オープンドメインの情報抽出は、この10年ほどで盛んになってきた自然言語処理の一分野でOpenIE（Open Information Extraction）と呼ばれている。OpenIEでは、ドメインを限定しないテキストからタプルを抽出する。たとえば、「ホンダは本田宗一郎によって創業された」という文であれば (ホンダ; 創業された; 本田宗一郎) というタプルを抽出する。抽出したタプルは知識グラフの構築や質問応答等での有用性が示されている。とりわけ、知識グラフはGartnerのハイプ・サイクル2019年版で取り上げられていることから窺えるように、今後重要な技術となるので、その要素技術としてのOpenIEを知っておく価値はある。

f:id:Hironsan:20191101083408p:plain — ハイプ・サイクル2019年版。画像は5 Trends Appear on the Gartner Hype Cycle for Emerging Technologies, 2019より引用。

本記事では、教師あり学習を使ったOpenIEの手法を紹介する。紹介する手法はNAACL 2018に提出された論文「Supervised Open Information Extraction」で提案された方法である。これまでのOpenIEでは、限られた教師データしか存在しなかったために、半教師あり学習やルールベースのアプローチが主に使われてきた。この論文では、質問応答のデータセットを変換してOpenIEのデータセットを作成し、OpenIEを系列ラベリングとして定式化して解いている。実験の結果、高性能でありつつ、予測速度に優れている点を示した。AllenNLPで実装が公開されており、以下のWebページから体験できる。

f:id:Hironsan:20191101085350g:plain — AllenNLPでのOpenIEのデモ画面

課題を解決するために、この論文では主に以下の2点を行っている。

モデルの作成
データセットの作成

この論文ではOpenIEを以下の図で表されるような系列ラベリングの問題として解いている。系列ラベリングとして解くためにスキーマに工夫をしている。スキーマは系列ラベリングで使われるIOB2であるが、述語(predicate)をP、項(argument)をAとして表現している。項にはポジションが付いており、このポジションがタプル内での項の順番を表している。以下の図でいうと、A0として「Obama」、Pとして「was born」、A1として「in America」が取れるので(Obama; was born; in America)というタプルが得られる。

f:id:Hironsan:20191031111914p:plain — モデルのアーキテクチャ

また、抽出したタプルの信頼度を計算するために、得られたタプルを構成する単語のBIタグの予測確率の積を取っている。このような信頼度の計算方法を使っているので、より述語や項が短いタプルに対して高い信頼度を割り当てることになる。ちなみに、タプルの信頼度を計算するのは、信頼度を使って適合率と再現率をコントロールできるようにするという意図がある。

OpenIEを学習するための教師データが限られているのは先に述べた通りだが、この論文では既存のデータセットを拡張するために質問応答のデータセットを変換してOpenIEの教師データを作成している。質問応答のデータセットとしてはQAMR(Question Answer Meaning Representation)を用いている。たとえば、以下の図の場合、質問文に含まれる「What」を回答である「mercury filling」で置き換えることでOpenIEのデータセットを得ている。このような変換自体は新しいアイデアではなく、先行研究がある。

f:id:Hironsan:20191102125614p:plain — データセットの変換

予測性能は以下の表で示される。提案手法の名前はRnnOIEで、verbがデータ拡張なし、awがデータ拡張を行った場合の性能を示している。この結果を見ると、データ拡張をすることで性能が大きく向上していることを確認できる。ただ、拡張しない場合は既存の手法と比べて優位性があるようには見えない。

f:id:Hironsan:20191102130048p:plain — 予測性能

予測速度に関する結果は以下の表で示される。そもそもなぜ予測速度を載せているのかというと、OpenIEは元々Web上の文書からの情報抽出を対象としていたため、膨大な量の文書を処理するには予測速度が重視されたためである。ちなみにオープンドメインである点もその辺が理由となっている。以下の表は1秒間でどれだけの文を処理できるかということを示している。結果を見ると、既存手法と比べてそれなりに速く処理できていることがわかる。

f:id:Hironsan:20191102130424p:plain — 予測速度に関する結果

感想

読んだ感想としては、結果は出ているが、何を課題にしていたのかがはっきりしない印象が残った。論文で述べていた課題である、半教師あり学習やルールベースのアプローチを使うこと自体は問題ではない。それで性能が出ていればいい話である。そうではなく、それらの手法を使った結果としてどういう問題が出てきたのかという話があればもっと良かったと思う。たとえば、ルールベースの手法を使うとルールが増えるに連れメンテナンスコストが上昇するであるとか、半教師あり学習の場合は作成したデータにノイズが混じりがちといった話があるはずである。それを述べた上で教師あり学習の必要性を示せば説得力が増したのではないか。

また、モデルについても新規性はほとんどない。モデルそのものがBiLSTMにSoftmaxをくっつけただけであるし、タグ付けのスキーマもこの前年のACL2017で固有表現認識と関係抽出を同時に解く論文「Joint Extraction of Entities and Relations Based on a Novel Tagging Scheme」で提案されたものと変わりはない。唯一言えるとしたら入力として与える特徴ベクトルに工夫をしている点であろうか。

論文中でも述べているように、QAのデータセットを変換してOpenIEのデータセットを作るというアイデア自体も新しいものではない。QAMRを変換して作った人はいなかったようだが、新規性としては弱い感じは否めない。

とまあ色々言ったが、実装がシンプルでありAlennNLPで公開されている点から初めに試す手法としてはとても良さそうである。今後はこの論文の手法が教師あり学習を用いたOpenIEのベースラインとして使われるようになるかもしれない。