Ctrlk
註冊/登入
For the complete documentation index, see llms.txt. This page is also available as Markdown.

テストデータセットの管理

テストデータセットを作成し、テストケースを体系的に管理して、AI アシスタントの応答品質を検証します

テストデータセットとは?

テストデータセットとは、あらかじめ準備したテストケースの集合で、AI アシスタントの応答品質と正確性を検証するために使用します。標準化されたテストデータセットを作成することで、以下のことが可能になります。

応答品質の確保

  • AI アシスタントがよくある質問に対して期待どおりに応答するかを検証できます

  • ナレッジベースの更新後に応答が劣化しないことを確認できます

  • 応答品質の変化傾向を継続的に追跡できます

効率の向上

  • 複数の質問をまとめてテストでき、1 件ずつ手動で検証する必要がありません

  • 再利用可能なテストケースを作成でき、テスト時間を節約できます

  • 問題を素早く特定し、速やかに調整できます

チームでの協業

  • すべてのテストケースを一元管理できます

  • 複数のメンバーが共同でテストデータを保守できます

  • テストケースの作成者と更新日時を追跡できます

テストデータセット管理へのアクセス方法

左側の機能メニューから「AgentOps」に入り、「テストデータセット」をクリックすると、テストデータセット管理ページが表示されます。

テストデータセット管理画面

ページには以下の情報が表示されます。

  • テストデータセット ID: システムが自動生成する一意の識別コード

  • テストデータセット名: データセットに設定した名前

  • テストケース数: そのデータセットに含まれるテストケースの総数

  • 作成者: このデータセットを作成したユーザー

  • 作成日時: データセットを作成した日付と時刻

  • 最終更新: データセットを最後に変更した日時

  • 操作ボタン: 編集、削除などの機能

テストデータセットの作成

1. 作成を開始する

ページ右上の「Create Dataset」ボタンをクリックして、新しいテストデータセットの作成を開始します。

2. 基本情報を設定する

表示されるダイアログで、以下の情報を入力します。

テストデータセット名 (必須)

  • 「商品照会テストセット」「カスタマーサポートよくある質問テスト」など、意味のわかる名前を使用することをおすすめします

  • 後の管理や用途の識別に役立ちます

テストデータセットの説明 (任意)

  • このテストセットの用途とカバー範囲を記載します

  • 例:「商品仕様の照会機能をテストするためのもので、よくある商品に関する質問 50 件を含む」

AI アシスタントの選択 (必須)

  • テスト対象の AI アシスタントを選択します

  • 1 つのテストデータセットは、1 つまたは複数の AI アシスタントに対応できます

3. テストケースを追加する

テストデータセットを作成した後、そこにテストケースを追加する必要があります。各テストケースには以下が含まれます。

テスト質問

  • ユーザーが尋ねる可能性のある質問

  • さまざまな言い回しやシチュエーションを網羅することをおすすめします

期待される応答

  • AI アシスタントがどのように回答すべきか

  • キーワード、文章、または完全な段落で指定できます

  • システムは実際の応答が期待する内容を含んでいるかを照合します

テストケースの例:

テストデータセットの管理

テストデータセットの検索

ページ上部の検索バーを使うと、以下の方法で目的のデータセットを素早く見つけられます。

  • テストデータセット ID

  • テストデータセット名

  • 説明文のキーワード

キーワードを入力すると、システムがリアルタイムでフィルタリングし、条件に合致するデータセットを表示します。

テストデータセットの編集

操作欄の「編集」ボタンをクリックすると、以下のことができます。

  • テストデータセット名と説明の変更

  • テストケースの追加、編集、削除

  • テストケースの順序の調整

テストケースを定期的に見直して更新し、テスト内容を実際の業務ニーズと一致させ続けることをおすすめします

テストデータセットの削除

操作欄の「削除」ボタンをクリックすると、不要になったテストデータセットを削除できます。

テストデータセットを削除すると元に戻せませんので、慎重に操作してください。そのデータセットがすでに自動評価で使用されている場合、関連する評価記録は保持されますが、同じテストを再度実行することはできなくなります。

テストデータセットのベストプラクティス

1. 構造化されたテスト分類を作成する

業務ニーズに応じてテストケースをグループ分けします。

2. 複数の言い回しを網羅する

同じ概念でも異なる言い回しがあり得るため、テストケースで以下を網羅することをおすすめします。

3. 境界ケースを含める

極端なケースや曖昧な質問をテストします。

  • 不完全な質問:「価格」「どうすればいい」

  • 誤字を含む質問:「商品の規格」(誤字入り)

  • 複合的な質問:「価格はいくら? 返品できる? どんな色がある?」

  • ナレッジの範囲外の質問: AI アシスタントがどう対応するかをテスト

4. テストデータを定期的に更新する

  • 新機能のリリース時: 対応するテストケースを追加します

  • ナレッジベースの更新後: 関連するテストケースの調整が必要かを確認します

  • 問題が見つかったとき: そのシチュエーションのテストケースを直ちに追加し、再発を防ぎます

  • 定期的な見直し: 毎月または四半期ごとに、テストケースが現状に即しているかを確認します

5. 適切なテスト数を設定する

各テストデータセットには以下を含めることをおすすめします。

  • 最低 20 件のテストケース: 基本的なシチュエーションを確実に網羅します

  • 推奨 30〜50 件のテストケース: テストの網羅率と実行時間のバランスをとります

  • 特殊な場合は 100 件以上も可: 複雑な業務ロジックに適しています

よくある質問

Q1: テストデータセットと自動評価の関係は何ですか?

テストデータセットは自動評価の基礎です。まずテストデータセットを作成し、その後「自動評価」機能でテストデータセットと AI アシスタントを選択すると、システムが自動的にテストを実行し、評価レポートを生成します。

詳細は次を参照してください: 自動評価

Q2: 1 つのテストデータセットで複数の AI アシスタントをテストできますか?

できます。自動評価の際に、同じテストデータセットを異なる AI アシスタントと組み合わせて選択し、同じテストケースのもとで各 AI アシスタントのパフォーマンスの違いを比較できます。

Q3: テストケースの期待される応答は完全に一致する必要がありますか?

その必要はありません。システムは AI アシスタントの実際の応答が、期待される応答の重要な内容を「含んでいるか」を確認します。キーワードや重要な文を設定でき、実際の応答にそれらが含まれていれば合格とみなされます。

Q4: 大量のテストケースを一括でインポートするにはどうすればよいですか?

現在は、コピー＆ペーストの方法でテストケースをまとめて追加できます。今後のバージョンでは Excel または CSV ファイルのインポート機能に対応する予定です。ご期待ください。

Q5: テストデータセットを他の組織メンバーと共有できますか?

できます。同じ組織のすべてのメンバーがテストデータセットを閲覧・利用できます。「作成者」欄でどのメンバーがデータセットを作成したかを識別でき、チームでの協業に役立ちます。

Q6: AI アシスタントを削除すると、関連するテストデータセットは消えますか?

消えません。テストデータセットは独立して管理されており、AI アシスタントを削除してもテストデータセットは保持されます。同じテストデータセットを他の AI アシスタントのテストに利用できます。

次のステップ

テストデータセットを作成した後は、以下のことができます。

  • 自動評価 に進んでテストを実行し、結果を確認する

  • AI アシスタント監視 を通じて AI アシスタントの実際の稼働状況を追跡する

  • 評価結果に基づいて、ナレッジベースの内容や AI アシスタントの設定を調整する

前へAgentOps 総覧次へ自動評価と AI アシスタントの監視

最終更新

役に立ちましたか？