評価インサイトレポート

本ページでは、評価インサイト機能を使ってAIアシスタントのテスト結果をすばやく把握し、システムが自動生成する改善提案を受け取る方法をご紹介します。

評価インサイトとは？

評価インサイトは、AgentOpsの自動テストを拡張した機能です。バッチテストを1回完了すると、システムは各種指標のスコアを表示するだけでなく、テスト結果を自動的に分析し、「インサイトレポート」を生成します。

このレポートでは、次の内容をお知らせします。

• テスト結果の全体的なパフォーマンス

• 主な問題はどこにあるか

• 具体的にどう改善すべきか

• どの項目を優先して対応すべきか

ベテランのコンサルタントにテストレポートを見てもらい、改善提案書を受け取るようなイメージです。

評価インサイトの主なメリット

📊 自動化された分析

複雑な評価データを手動で読み解く必要はありません。システムが問題のパターンを自動的に識別し、わかりやすいレポートにまとめます。

🎯 優先順位の提案

システムは問題の深刻度や影響範囲に応じて、どの項目を優先的に対応すべきかを提案するため、改善作業をより効率的に進められます。

💡 具体的な改善の方向性

「問題がある」と伝えるだけでなく、どの設定を調整すべきか、どのような内容を補うべきかといった、具体的な改善提案を提供します。

🌐 多言語サポート

インサイトレポートは繁体字中国語、簡体字中国語、英語など複数の言語に対応しており、チームのニーズに合わせて適切な言語を選択できます。

評価インサイト機能の使い方

ステップ1：バッチテストを完了する

1. 「AgentOps」→「自動テスト」に進みます

2. バッチテストを1回実行します（AgentOps操作ガイドを参照）

3. テストが完了するまで待ちます

自動テスト一覧。各テストの成功率と平均応答秒数を表示します

ステップ2：評価結果を確認する

1. テスト結果の詳細ページに進みます

2. 各種評価指標を確認します

3. 「インサイトレポート」セクションを見つけます

テスト詳細ページ：成功率、AIインサイト概要、指標統計、改善提案を含みます

ステップ3：レポートの言語を選択する

インサイトレポートのセクションでは、レポートの表示言語を選択できます。

• 繁体字中国語：台湾のチームに適しています

• 簡体字中国語：中国大陸のチームに適しています

• 英語：国際的なチームや英語のレポートが必要な場面に適しています

言語を選択すると、システムが対応する言語のインサイトレポートを自動的に生成します。

ステップ4：インサイトレポートを読む

インサイトレポートには、通常以下の内容が含まれます。

1. 全体評価の概要

• テスト合格率

• 主な強み

• 改善が必要な領域

2. 問題分析

• 回答の関連性に関する問題

• 安全性リスク（バイアス、攻撃的な表現、ハルシネーション）

• 応答速度の問題

3. 改善提案

• 優先対応項目（「高優先度」「中優先度」「低優先度」として表示）

• 具体的な改善ステップ

• 期待される改善効果

ステップ5：提案に基づいて改善する

1. レポートの優先順位に従って、問題を1項目ずつ対応します

2. 具体的な改善ステップを参考に、AIアシスタントの設定を調整します

3. 調整が完了したら、再度テストを実行して効果を検証します

評価インサイトの算出方法

システムは以下の要素を総合的に考慮してインサイトレポートを生成します。

• 評価指標：各評価スコアの高低と分布

• 失敗ケース：失敗ケースの件数と失敗原因

• 問題パターン：類似する問題が繰り返し発生する頻度

• ベストプラクティス：業界標準と最適化の提案

インサイトレポートの生成には一定の処理時間が必要で、通常はテスト完了後1〜2分以内に生成されます。

実際の活用シーン

🏥 医療クリニックのカスタマーサポート

テスト結果：

• 合格率：72%

• ハルシネーションスコア：やや高め

インサイトレポートの提案：

「テストの結果、一部の回答に検証されていない医療アドバイスが含まれていることが判明しました。ロール指示の中で『診断や治療に関するアドバイスは提供せず、予約および診療所の情報のみを提供してください』と明確に制限することをおすすめします。」

🏢 企業内ナレッジマネジメント

テスト結果：

• 合格率：88%

• 回答の関連性：やや低め

インサイトレポートの提案：

「テストの結果、一部の回答が簡潔すぎる、または質問に完全に答えていないことが判明しました。ナレッジベースに、より詳細な操作手順や事例を補うことをおすすめします。」

よくある質問

Q1：インサイトレポートはダウンロードできますか？

現在、インサイトレポートはシステム内でのみ閲覧できます。レポートの内容をコピーし、社内ドキュメントとして整理することをおすすめします。

Q2：インサイトレポートはテスト結果に応じて自動的に更新されますか？

はい。新しいバッチテストを実行するたびに、システムは最新のテスト結果を反映した新しいインサイトレポートを生成します。

Q3：インサイトレポートの言語は切り替えられますか？

はい、いつでもレポートの言語を切り替えられます。システムが対応する言語のレポートを再生成します。

Q4：インサイトレポートの提案はすべて実行しなければなりませんか？

必ずしもその必要はありません。実際のニーズやリソースに応じて、「高優先度」の項目から優先的に対応していただけます。システムの提案はあくまで参考としての方向性であり、業務上のニーズに合わせて調整いただけます。

Q5：なぜ私のテストではインサイトレポートが生成されないのですか？

考えられる原因：

• テストケースの数が少なすぎる（10件以上を推奨）

• テストがまだ完了していない

• システムが処理中（1〜2分ほどお待ちください）