Ahogrammer

Deep Dive Into NLP, ML and Cloud

単語分散表現の信頼性を考慮した固有表現認識

ACL 2019より以下の論文を紹介。

この論文では、単語分散表現の信頼性を考慮した固有表現認識を行うモデルを提案している。単語分散表現は広く使われているが、低頻度語や未知語のように文脈が十分に存在しない単語の場合はその信頼性は頻出語と比べて低い。しかし、現在のモデルはすべての分散表現を等しく重み付けしているため、それによって性能を損なっている可能性がある。そこでこの論文では、単語の出現頻度を基に分散表現の信頼性を計算し、モデルに組み込んでいる。実験の結果、従来より良い結果を得られた。

以前から知られているが、現在の固有表現認識のモデルは未知語に弱いという課題がある。たとえば、以下の例を考えてみよう。

  • 例: 先日の雨で鬼難橋が流された。

「鬼難橋」というのは私が作った固有表現であり、実際には存在しない。とはいえ、人間が見れば橋であることはすぐに分かる。なぜなら、「橋」という文字が含まれることや「流された」という文脈に着目して判断するからである。しかし、現在の固有表現認識モデルにとっては簡単な話ではない。その理由の一つとして、訓練用データセットに現れた固有表現そのものを記憶し、文脈を有効活用していない点がある。以下のように文脈から明らかな場合でさえ、未知語に対しては上手く認識できないのが現状である。

f:id:Hironsan:20191009082108p:plain
anaGoのデモ画面

この問題を解決するために、この論文では単語分散表現の信頼性を考慮したモデルを提案している。信頼性を測る基本となるのは、ある単語の頻度が高ければその単語の分散表現は信頼できるという考え方である。なぜなら、単語の頻度が高ければ、その文脈はより多様性があり重みの更新も頻繁にされるからである。このようにして信頼性を計算できると、知らない単語(未知語)やかろうじて知っている単語(低頻度語)の場合に文字や文脈の情報をより重視して答えるモデルを作成できる。

信頼性の計算には、単語分散表現を学習させるコーパス中での単語の頻度feと固有表現認識の訓練用データセット中での単語の頻度fnを使う。これらを使ってNumeric signalとBinary signalの2種類の信号を作る。Numeric signalはハイパーパラメータ\lambdaを使って\tanh (\lambda f)で計算される。これには頻度は様々な値を取るのでtanhで正規化する狙いがある。一方、Binary signalは頻度がしきい値を下回ったら1、そうでない場合は0という条件式で計算される。

f:id:Hironsan:20191009092520p:plain
Binary signalの計算式

計算した信頼性はLSTMのゲート機構のようにして使われる。モデル全体の構成は以下の画像で示される。計算した信頼性は単語レベルと文脈レベルで使われる。要するに何を表現したいのかと言うと、単語レベルで使う場合は、信用できない単語の場合は文字表現を重視し、文脈レベルで使う場合は、より文脈を重視した判断をするということである。これにより、「鬼難橋」という未知語が出現した場合に、「橋」という文字情報や「流された」という文脈情報を重視した判断を行うことができるようになる。各レベルでのゲート機構の詳細については論文を参照してもらいたい。

f:id:Hironsan:20191008081309p:plain
提案モデルの概要

実験ではデータセットとしてOntoNotes 5.0を用いている。OntoNotes 5.0には以下のように多様な6つのジャンルが含まれている。

f:id:Hironsan:20191009094920p:plain
OntoNote 5.0のジャンル

ジャンルごとの実験結果を以下の表で示す。結果を見ると、一つのジャンルを除いて、提案モデルがベースラインより優れた性能を発揮していることがわかる。

f:id:Hironsan:20191009095109p:plain
ジャンルごとの性能

未知語に対する性能の検証は、学習とテストでOntoNote 5.0の異なるジャンルのテキストを使うことで行っている。以下の表は学習用データセットとテスト用データセットでのジャンルごとの未知語の割合を示している。たとえば、学習用データセットmzを使い、テスト用データセットbcを使った場合の未知語の割合が81.3%になることを示している。

f:id:Hironsan:20191009095428p:plain
未知語の割合

未知語に対する性能の検証結果は以下の通り。ほとんどの場合において、提案モデルがベースラインより優れた性能であることが確認できる。

f:id:Hironsan:20191009095659p:plain
ジャンル間の性能

感想

個人的には面白い論文であった。というのも、以前にリアルタイムに固有表現認識を行うアプリを作ったときに、モデルが文脈をあまり見ていないことには気づいていたのだが、この論文はその問題に対して一つの解答を示してくれたためである。単なる記憶によって解くのではなく、状況に応じて重視する情報を変えるのは面白い。

現在は事前学習済みのモデルが配布される時代なので、分散表現を学習させたコーパスの情報が必要なのは微妙な点ではあるが、固有表現認識以外のモデルに使える汎用性がある点はポイントが高い。おそらく、ある程度長いテキストの分類にはあまり効かないが、SNSのようなショートテキストや質問応答といったタスクではこの論文の手法を組み込めば性能を向上させられる可能性がある。

未知語に対する性能の検証方法はもう少し改善できるのではないかと思う。現状の検証では、「未知語の割合が様々な場合でも性能を改善できるモデルである」ということしか読み取れないのではないか。それもいいと思うのだが、既知語と未知語のそれぞれについて、提案手法でどれだけ性能が改善されたかを示す方がより説得力のある結果になったのではないか。