RAG ナレッジベース検索システム

RAG（Retrieval-Augmented Generation、検索拡張生成）は、検索（Retrieval）と生成（Generation）の技術を組み合わせた生成 AI の技術アーキテクチャです

外部のデータベースやナレッジベースを用いて検索を行い、その検索結果を大規模言語モデルと組み合わせることで、より正確で文脈に即した回答を生成します。

RAG 技術の核心は、生成 AI の言語能力とナレッジ検索能力を組み合わせる点にあります。これにより、モデルは質問に回答する際、内部の学習データに依存するだけでなく、外部データベースから最新かつ専門性の高い情報を動的に取得し、それらの情報を生成する回答に反映させることができます。

RAG のフロー

高精度な RAG システム

RAG ナレッジベース検索システムは、ベクトル検索（Vector Search）を用いることで素早く実現でき、基本的なバージョンをリリースすることは可能ですが、回答精度をさらに高めることには難しさが伴います。回答精度はユーザー体験にとって極めて重要であり、システムの回答に対するユーザーの信頼度や満足度に直接影響します。回答精度が不足していると、ユーザーはシステムの回答に疑念を抱き、その結果として利用意欲が低下してしまう可能性があります。

2023 OpenAI 開発者会議の資料によれば、RAG システムは単純なベクトル類似度検索（Vector Search）のみを行い、正しい埋め込みモデル（Embedding Model）を選択した場合でも 45% に達するとされています。さらに HyDE Retrieval、FT Embeddings、Chunk/Embedding Experiments を加えることで、65% の回答精度に到達できます。

MaiAgent RAG は、OpenAI 開発者会議で言及された RAG 技術を含むだけでなく、各種の代表的な NLP アルゴリズムや独自の検索技術も組み合わせています。社内データセットを用いて OpenAI RAG と回答の正確性を比較したところ、両者ともに 95% の回答精度を達成できました。

MaiAgent RAG の回答精度

MaiAgent プラットフォームでは、MaiAgent RAG と OpenAI RAG の 2 種類の RAG を提供しています。以下は各観点での比較表です。

	MaiAgent RAG	OpenAI RAG
モデル対応	すべてのモデルに対応👍	OpenAI モデルのみ対応
環境対応	クラウド・オンプレミスに対応👍	クラウドのみ対応、データを OpenAI に送信する必要がある
回答精度	非常に高い👍	非常に高い👍
対応ファイル形式	一般的な形式すべてに対応👍 doc, docx, xls, xlsx, csv, ppt, pptx, pdf, txt, json, jsonl, md	xlsx, csv 非対応 jsonl 非対応 旧バージョンの Office ファイル（doc, xlsx, ppt）は非対応
文書内の画像への対応	あり（現在は実験的機能）👍	なし
文書内の表への対応	あり（現在は実験的機能）👍	なし
対話中の添付ファイルのアップロード対応	対応👍	対応👍
データチャンクの透明性	可視化👍	ブラックボックス
Debug の難易度	普通👍	ブラックボックスのため Debug 不可
Top K の調整	企業版カスタマイズ機能👍	なし
Embedding モデルの切り替え	企業版カスタマイズ機能👍	なし