Ahogrammer

Deep Dive Into NLP, ML and Cloud

Azure AI Searchを使った同義語によるクエリ拡張とその効果

PythonからAzure AI Searchのシノニムマップを作成し、クエリ拡張をして、その効果を日本語の質問応答データセットで確認してみました。昔からある機能で、とくに何か新しいことをしているわけでもないのですが、使いそうな機会があったので試してみました。

本記事の構成は以下のとおりです。

  • シノニムマップ
  • シノニムマップの作成
  • インデックスの作成
  • 実験設定
  • 実験結果
  • 参考資料
続きを読む

Chain-of-Tableを使った表データに対する推論

RAGを作っていると、論文に出てくる表データを読み取って回答してもらう等、表データを扱いたくなってくる場面が出てきます。そんな欲求を頭の片隅に置いておいたところ、Chain-of-Tableと呼ばれるプロンプトの手法を見かけたので試してみました。

本記事の構成は以下のとおりです。

  • Chain-of-Tableとは
  • Chain-of-Tableの実装
  • 参考資料
続きを読む

意味的知識グラフとApache Solrを使った関連語検索の実装

Manningから出版予定の『AI-Powered Search』(AIを活用した情報検索の意)を冬休み中に読んでいたら、その中で意味的知識グラフ(Semantic Knowledge Graph)と呼ばれるデータ構造について説明していて、関連語の計算やクエリ拡張などに使えるということで興味深かったので紹介しようと思います。最初に意味的知識グラフについて説明したあと、日本語のデータセットに対して試してみます。

AI-Powered Search(https://www.manning.com/books/ai-powered-search

本記事の構成は以下のとおりです。

  • 意味的知識グラフとは
  • 意味的知識グラフを用いた関連語の計算
  • 参考資料
続きを読む