> For the complete documentation index, see [llms.txt](https://docs.maiagent.ai/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://docs.maiagent.ai/maiagent-user-guide/maiagent-user-guide-ja/agent-ops/test-datasets.md). # テストデータセットの管理 ## テストデータセットとは? テストデータセットとは、あらかじめ準備したテストケースの集合で、AI アシスタントの応答品質と正確性を検証するために使用します。標準化されたテストデータセットを作成することで、以下のことが可能になります。 **応答品質の確保** * AI アシスタントがよくある質問に対して期待どおりに応答するかを検証できます * ナレッジベースの更新後に応答が劣化しないことを確認できます * 応答品質の変化傾向を継続的に追跡できます **効率の向上** * 複数の質問をまとめてテストでき、1 件ずつ手動で検証する必要がありません * 再利用可能なテストケースを作成でき、テスト時間を節約できます * 問題を素早く特定し、速やかに調整できます **チームでの協業** * すべてのテストケースを一元管理できます * 複数のメンバーが共同でテストデータを保守できます * テストケースの作成者と更新日時を追跡できます ## テストデータセット管理へのアクセス方法左側の機能メニューから「**AgentOps**」に入り、「**テストデータセット**」をクリックすると、テストデータセット管理ページが表示されます。

ページには以下の情報が表示されます。 * **テストデータセット ID**: システムが自動生成する一意の識別コード * **テストデータセット名**: データセットに設定した名前 * **テストケース数**: そのデータセットに含まれるテストケースの総数 * **作成者**: このデータセットを作成したユーザー * **作成日時**: データセットを作成した日付と時刻 * **最終更新**: データセットを最後に変更した日時 * **操作ボタン**: 編集、削除などの機能 ## テストデータセットの作成 ### 1. 作成を開始するページ右上の「**Create Dataset**」ボタンをクリックして、新しいテストデータセットの作成を開始します。 ### 2. 基本情報を設定する表示されるダイアログで、以下の情報を入力します。 **テストデータセット名** (必須) * 「商品照会テストセット」「カスタマーサポートよくある質問テスト」など、意味のわかる名前を使用することをおすすめします * 後の管理や用途の識別に役立ちます **テストデータセットの説明** (任意) * このテストセットの用途とカバー範囲を記載します * 例:「商品仕様の照会機能をテストするためのもので、よくある商品に関する質問 50 件を含む」 **AI アシスタントの選択** (必須) * テスト対象の AI アシスタントを選択します * 1 つのテストデータセットは、1 つまたは複数の AI アシスタントに対応できます ### 3. テストケースを追加するテストデータセットを作成した後、そこにテストケースを追加する必要があります。各テストケースには以下が含まれます。 **テスト質問** * ユーザーが尋ねる可能性のある質問 * さまざまな言い回しやシチュエーションを網羅することをおすすめします **期待される応答** * AI アシスタントがどのように回答すべきか * キーワード、文章、または完全な段落で指定できます * システムは実際の応答が期待する内容を含んでいるかを照合します **テストケースの例:** ``` 質問: 御社の返品ポリシーは何ですか? 期待される応答: ご購入後 7 日以内であれば無条件で返品可能です。商品は新品未使用の状態を保つ必要があります質問: 返金はどのように申請しますか? 期待される応答: 会員センターの注文管理ページから返金を申請してください。審査が通過した後、3〜5 営業日以内に返金されます質問: 返品の送料は誰が負担しますか? 期待される応答: 商品の不良の場合は当社が送料を負担し、お客様のご都合による返品の場合はお客様が負担します ``` ## テストデータセットの管理 ### テストデータセットの検索ページ上部の検索バーを使うと、以下の方法で目的のデータセットを素早く見つけられます。 * テストデータセット ID * テストデータセット名 * 説明文のキーワードキーワードを入力すると、システムがリアルタイムでフィルタリングし、条件に合致するデータセットを表示します。 ### テストデータセットの編集操作欄の「**編集**」ボタンをクリックすると、以下のことができます。 * テストデータセット名と説明の変更 * テストケースの追加、編集、削除 * テストケースの順序の調整 {% hint style="info" %} テストケースを定期的に見直して更新し、テスト内容を実際の業務ニーズと一致させ続けることをおすすめします {% endhint %} ### テストデータセットの削除操作欄の「**削除**」ボタンをクリックすると、不要になったテストデータセットを削除できます。 {% hint style="warning" %} テストデータセットを削除すると元に戻せませんので、慎重に操作してください。そのデータセットがすでに自動評価で使用されている場合、関連する評価記録は保持されますが、同じテストを再度実行することはできなくなります。 {% endhint %} ## テストデータセットのベストプラクティス ### 1. 構造化されたテスト分類を作成する業務ニーズに応じてテストケースをグループ分けします。 ``` 商品関連ナレッジベーステスト: ├── 商品照会テストセット (50 件) ├── 価格相談テストセット (30 件) └── 在庫確認テストセット (20 件) カスタマーサポートフローテスト: ├── 注文処理テストセット (40 件) ├── 返品・交換フローテストセット (35 件) └── 会員サービステストセット (25 件) ``` ### 2. 複数の言い回しを網羅する同じ概念でも異なる言い回しがあり得るため、テストケースで以下を網羅することをおすすめします。 ``` フォーマルな言い回し: 御社の営業時間を教えていただけますか? 口語的な言い回し: 何時から開いてますか? 短い言い回し: 営業時間完全な文: 御社の営業時間が何時から何時までか知りたいです ``` ### 3. 境界ケースを含める極端なケースや曖昧な質問をテストします。 * 不完全な質問:「価格」「どうすればいい」 * 誤字を含む質問:「商品の規格」(誤字入り) * 複合的な質問:「価格はいくら? 返品できる? どんな色がある?」 * ナレッジの範囲外の質問: AI アシスタントがどう対応するかをテスト ### 4. テストデータを定期的に更新する * **新機能のリリース時**: 対応するテストケースを追加します * **ナレッジベースの更新後**: 関連するテストケースの調整が必要かを確認します * **問題が見つかったとき**: そのシチュエーションのテストケースを直ちに追加し、再発を防ぎます * **定期的な見直し**: 毎月または四半期ごとに、テストケースが現状に即しているかを確認します ### 5. 適切なテスト数を設定する各テストデータセットには以下を含めることをおすすめします。 * **最低 20 件のテストケース**: 基本的なシチュエーションを確実に網羅します * **推奨 30〜50 件のテストケース**: テストの網羅率と実行時間のバランスをとります * **特殊な場合は 100 件以上も可**: 複雑な業務ロジックに適しています ## よくある質問 ### Q1: テストデータセットと自動評価の関係は何ですか? テストデータセットは自動評価の基礎です。まずテストデータセットを作成し、その後「自動評価」機能でテストデータセットと AI アシスタントを選択すると、システムが自動的にテストを実行し、評価レポートを生成します。 > 詳細は次を参照してください: [自動評価](/maiagent-user-guide/maiagent-user-guide-ja/agent-ops/evaluations.md) ### Q2: 1 つのテストデータセットで複数の AI アシスタントをテストできますか? できます。自動評価の際に、同じテストデータセットを異なる AI アシスタントと組み合わせて選択し、同じテストケースのもとで各 AI アシスタントのパフォーマンスの違いを比較できます。 ### Q3: テストケースの期待される応答は完全に一致する必要がありますか? その必要はありません。システムは AI アシスタントの実際の応答が、期待される応答の重要な内容を「含んでいるか」を確認します。キーワードや重要な文を設定でき、実際の応答にそれらが含まれていれば合格とみなされます。 ### Q4: 大量のテストケースを一括でインポートするにはどうすればよいですか? 現在は、コピー＆ペーストの方法でテストケースをまとめて追加できます。今後のバージョンでは Excel または CSV ファイルのインポート機能に対応する予定です。ご期待ください。 ### Q5: テストデータセットを他の組織メンバーと共有できますか? できます。同じ組織のすべてのメンバーがテストデータセットを閲覧・利用できます。「作成者」欄でどのメンバーがデータセットを作成したかを識別でき、チームでの協業に役立ちます。 ### Q6: AI アシスタントを削除すると、関連するテストデータセットは消えますか? 消えません。テストデータセットは独立して管理されており、AI アシスタントを削除してもテストデータセットは保持されます。同じテストデータセットを他の AI アシスタントのテストに利用できます。 *** ## 次のステップテストデータセットを作成した後は、以下のことができます。 * [自動評価](/maiagent-user-guide/maiagent-user-guide-ja/agent-ops/evaluations.md) に進んでテストを実行し、結果を確認する * [AI アシスタント監視](/maiagent-user-guide/maiagent-user-guide-ja/agent-ops/evaluations.md#ai-zhu-li-jian-kong) を通じて AI アシスタントの実際の稼働状況を追跡する * 評価結果に基づいて、ナレッジベースの内容や AI アシスタントの設定を調整する --- # Agent Instructions This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com. ## Querying This Documentation If you need additional information that is not directly available in this page, you can query the documentation dynamically by asking a question. Perform an HTTP GET request on the current page URL with the `ask` query parameter, and the optional `goal` query parameter: ``` GET https://docs.maiagent.ai/maiagent-user-guide/maiagent-user-guide-ja/agent-ops/test-datasets.md?ask=&goal= ``` `ask` is the immediate question: it should be specific, self-contained, and written in natural language. `goal` is optional and describes the broader end goal you are ultimately trying to accomplish on behalf of the user. GitBook uses it to tailor the answer towards what is most useful for that goal. The response will contain a direct answer to the question and relevant excerpts and sources from the documentation. Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.