検索テスト

LLMを本番公開する前に、検索テストのプレビュー機能を使って、LLMが検索したデータの関連性や内容を事前に確認できます

なぜ検索テストが必要なのですか？

1. 回答の正確性を確保する

• AI アシスタントの回答品質は、お客様の満足度に直接影響します

• 誤った回答や関連性の低い回答は、ブランドへの信頼を損ないます

1. 情報の漏れを防ぐ

• 重要な製品の詳細や安全に関する説明が見落とされるのを防ぎます

• ナレッジベースの利用効率を最適化します

1. 質疑応答の一貫性を高める

• 同じ質問に対して、いつでも一貫した回答が得られるようにします

• ナレッジベースの更新による回答の不安定さを防ぎます

検索テストとチャンクプレビュー機能を通じて、AI アシスタントが使用するデータチャンクの品質をリアルタイムで確認でき、質疑応答の水準を保つことができます。

どのように始めますか？

1. ナレッジベースのページに入り、確認したいナレッジベースを選択して設定に入ります

1. 入ったら「検索テスト」をクリックし、ページに入ります

対話ボックスに検索したい内容を入力します。「キャンプ場を選ぶときに気をつけるべきことは？」と入力し、検索ボタンを押すと、AI アシスタントが入力した対話内容にもとづいて最も関連性の高い文書を検索します。

1. 検索結果を確認する

右側に、AI アシスタントが回答時に検索するチャンクが表示されます。図のように合計 12 個のチャンクがあります（検索チャンク数の設定については、ナレッジベースの作成方法：基本設定を参照してください）

右側は、この質問に回答する際の根拠となる検索内容です。各チャンクには次の情報が表示されます：

• 文字数：チャンクに含まれる文字数

• ヒット回数：AI アシスタントが回答時にこのチャンクを参照した回数（正式な質疑応答のみを集計し、テストの質疑応答はヒット回数の計算には含まれません）

  ヒット回数が多いほど、このチャンクに関する質問がユーザーから多く寄せられていることを意味します。

検索テストは過去のテスト質疑応答を記録するため、履歴をすばやくクリックして再テストでき、同じテーマについて参照データの品質を維持または向上させることができます。

ナレッジチャンクの品質を確認する

検索テストを通じて、AI アシスタントが推論時にどのチャンクを使用しているかを確認でき、さらにそれらのチャンクの内容に最適化が必要かどうかをチェックできます。例えば：

検索結果の中に空白のチャンクが多数見つかり、それらの空白チャンクがすべて「初級キャンプ.pdf」というファイルに属している場合、「初級キャンプ.pdf」のファイル内容がすべて正しいかどうかを確認し、本番公開前に速やかに更新することができます。

Metadata による検索テスト

Metadata 検索とは？

Metadata（メタデータ）検索機能を使うと、文書の内容そのものだけでなく、文書の属性情報にもとづいて正確に検索できます。この機能は特に次のような用途に適しています：

• 文書分類による検索：文書の種類、タグ、分類などの情報にもとづいて検索します

• 属性によるフィルタリング：文書の作成日時、作成者、出典などの属性にもとづいて絞り込みます

• 正確な特定：特定の条件に合致する文書群をすばやく見つけます

Metadata 検索の使い方

検索テストのページでは、次のことができます：

1. 検索モードを選択する：「Metadata 検索」モードに切り替えます

2. 検索条件を指定する：検索したい metadata のフィールドと値を入力します

3. 検索結果を確認する：システムが metadata の条件に合致する文書チャンクを表示します

検索例：

• 特定の分類の文書を検索する：category:製品説明

• 特定の期間の文書を検索する：date:2025-01

• 特定の作成者の文書を検索する：author:カスタマーサポート部

Metadata 検索のメリット

1. より正確な結果

• 文書の属性に直接対して検索するため、関連性のない結果を減らせます

• 正確な絞り込みが必要な場面に適しています

2. より速い特定

• 全文検索が不要で、目的の文書をすばやく見つけられます

• 大量の文書を持つナレッジベースに特に適しています

3. 内容検索との組み合わせ

• 通常の内容検索と組み合わせて使用できます

• まず metadata で範囲を絞り込み、その後に内容検索で正確に特定します

実際の活用シーン

シーン 1：製品文書の管理

• 特定の製品ラインのすべての文書を検索します

• 例：product_line:キャンプ用品

シーン 2：期間による検索

• 最近更新された文書を見つけます

• 例：updated_date:2025-11

シーン 3：文書の種類によるフィルタリング

• 特定の種類の文書のみを確認します（例：操作マニュアル、FAQ など）

• 例：doc_type:FAQ

検索テストが役立つ場面

重要な質問を定期的にテストする

• 中核となる業務に関連する質問を頻繁にテストすることをおすすめします

• ナレッジベースを更新した後に再テストを行います

• テスト結果の改善状況を記録し、比較します

内容の空白点を特定する

• ナレッジのギャップを発見する：よくある質問をテストし、ヒット結果がまったくないクエリを見つけ出します

• 例：「テントの防水等級の説明」をテストしたところ関連チャンクがなかった → 防水仕様の文書を補う必要があります

内容の網羅性を評価する

• 回答の深さを確認する：AI の回答が質問のすべての側面を網羅しているかを確認します

• 例：「キャンプの安全上の注意事項」を検索 → 天候、野生動物、火の取り扱いの安全など、各側面を網羅しているかを確認します

質問テストのコツ

次のことができます：

• 同じ質問をさまざまな言い方で尋ねる

• 複雑な状況や複数条件のクエリをテストする

• 専門用語や製品名の検索効果を検証する

これらのテストのコツを通じて、回答の正確性と網羅性を総合的に評価できます。