自動評価と AI アシスタントの監視

AI アシスタントの応答品質、パフォーマンス指標、コストを自動テストおよびリアルタイムで監視します

自動評価

自動評価機能では、あらかじめ作成したテストデータセットを使用して、AI アシスタントの応答品質を自動的にテストできます。システムはテスト質問を AI アシスタントに送信し、実際の応答と期待される応答を照合して、詳細な評価レポートを生成します。

自動評価へのアクセス

左側のメニューから「AgentOps」に入り、「自動テスト」をクリックします。

このページには、評価名、テストセット、AI アシスタント、成功率、平均秒数、作成日時を含むすべての評価記録が表示されます。

テストの作成と実行

1. テストデータセットが作成済みであることを確認します（テストデータセット管理を参照）

2. 「テストを作成」ボタンをクリックします

3. 評価名と説明を入力し、テストデータセットと AI アシスタントを選択します

4. 「評価を開始」をクリックすると、システムがすべてのテストケースを自動的に実行します

評価の実行時間はテストケースの数によって異なり、通常 50 件のテストケースで約 2〜3 分かかります。

カスタム評価指標を使用する

組み込み指標に加えて、自然言語を使用してチーム独自の評価基準を定義できます。たとえば、カスタマーサポート責任者の Mai は、カスタマーサポートアシスタントが礼儀正しく共感的に対応しているかを確認したいと考えています。そこで「カスタマーサポートの口調」という指標を作成し、判定基準を入力して合格しきい値を設定します。評価が完了すると、結果で各ケースの「カスタマーサポートの口調」スコアを確認し、調整が必要な応答を特定できます。

1

評価を作成する際に、名前、テストセット、AI アシスタント、評価モデルなどの基本設定を完了します。

2

「カスタム指標」セクションで「カスタム指標を追加」をクリックし、識別しやすい指標名と評価基準を入力します。

3

チームの品質基準に応じて合格しきい値を調整し、「確認」をクリックして評価を開始します。

マルチターン対話に切り替えると、最大ターン数、3 種類の評価指標、シミュレーション言語を設定できます

自然言語でカスタマーサポートの口調の評価基準を設定します

システムは英字の大文字と小文字を区別せずに名前を照合します。カスタム指標には、11 種類の組み込み指標と重複する名前は使用できません。名前が競合する場合は、チームの判定目的を表す名前に変更してください。

マルチターン対話を評価する

マルチターン評価は、確認のやり取りが必要なタスクのチェックに適しています。返品対応を例にすると、品質管理担当者の Miki は、アシスタントが最初に注文番号を尋ね、次に返品理由を確認して、その後の手続きを説明することを期待しています。そこでマルチターンのテストケースを作成し、シナリオと期待される結果を入力して評価を実行します。完了後は、最後の回答だけでなく対話記録を展開し、各ターンの応答とナレッジベースから取得した内容を確認できます。

1

まず「テストセット」で対象のテストセットを開き、マルチターンのテストケースにシナリオ、期待される結果、シミュレーションユーザーのペルソナを追加します。

2

「自動テスト」に戻って「評価を作成」をクリックし、「マルチターン対話」に切り替えます。

3

テストセット、AI アシスタント、評価モデルを選択し、最大ターン数、評価指標、シミュレーション言語を設定して評価を開始します。少なくとも 1 つの評価指標を有効にする必要があります。

4

評価が完了したら結果を開き、個別のケースをクリックして詳細を展開します。各指標のスコア、対話記録、各ターンの「取得内容」を確認します。個別のケースが失敗した場合、そのケースにはエラーが個別に表示され、ほかのケースの結果が非表示になることはありません。

ケースを展開すると、各ターンのアシスタントの応答と、そのターンで使用されたナレッジベースの内容を確認できます

実行中のマルチターン評価を続ける必要がない場合は、評価詳細で「評価をキャンセル」をクリックして確認します。システムは現在のケースの処理完了後に、それ以降のケースを停止します。完了済みのスコアと対話記録は保持され、ステータスは「一部完了」、未処理のケースは「評価待ち」と表示されます。

キャンセル後も完了済みのケースは保持され、未処理のケースは評価待ちのままになります

評価結果の確認

評価記録をクリックすると、詳細レポートを確認できます。

詳細レポートには以下が含まれます。

• 成功率：テストに合格したケースの割合

• AI インサイト：システムが自動分析した評価概要と改善提案

• 指標統計：品質評価、回答関連性などの指標

• テストケース明細：各質問の期待される応答、実際の応答、評価、ステータス

成功率の参考基準：

AI アシスタントの種類	推奨成功率
製品照会アシスタント	≥ 95%
カスタマーサポートアシスタント	≥ 90%
汎用対話アシスタント	≥ 80%

インサイトレポートの詳細については、こちらを参照してください：評価インサイトレポート

評価記録の管理

• 検索とフィルタリング：テストセット、AI アシスタント、またはキーワードで記録をフィルタリングします

• 再実行：ナレッジベースや AI 設定を変更した後、再テストして改善効果を検証します

• エクスポート：評価結果を Excel 形式でエクスポートします

評価名と説明の編集

テストの完了後も、テストを削除したり再実行したりせずに、評価名と説明を変更できます。テストデータセット、AI アシスタント、評価結果、実行ステータスは変更されません。

たとえば、Mai が毎週のカスタマーサポート品質テストを作成した後、評価名の週番号に誤りがあることに気づいたとします。自動テスト一覧から編集画面を開き、名前を修正してテストの目的を追記します。保存すると、一覧には新しい内容がすぐに表示され、元のテスト結果もそのまま保持されます。

1

自動テスト一覧を開く

左側のメニューから「AgentOps」→「自動テスト」に移動します。

2

編集画面を開く

変更する評価を探し、その行の「操作」列にある「編集」アイコンをクリックします。

3

変更して保存する

「評価名」または「説明」を変更し、「確定」をクリックします。評価名は必須で、最大 200 文字まで入力できます。説明は空欄でも構いません。

編集画面には現在の評価名と説明があらかじめ入力されています

実行中、完了済み、または失敗した評価のいずれも、名前と説明を変更できます。この操作では識別用の情報のみが更新され、テストは再実行されません。

---

AI アシスタント監視

AI アシスタント監視は、リアルタイムの対話運用データを提供し、各対話の処理詳細、パフォーマンス指標、品質評価を詳しく把握できるようにします。

AI アシスタント監視へのアクセス

左側のメニューから「AgentOps」に入り、「AI アシスタント監視」をクリックします。

監視項目の説明

項目	説明
ユーザー入力メッセージ	ユーザーが AI に送信した質問
出力メッセージ	AI アシスタントの応答内容
AI アシスタント	この対話を処理した AI アシスタントの名前
ユーザーフィードバック	高評価 👍 または低評価 👎
誠実性スコア	応答がナレッジベースの内容に忠実かどうか
回答関連性スコア	応答と質問の関連度
応答時間	AI が応答を生成するまでの全体の時間
LLM 処理推論時間	LLM の推論と応答生成にかかった時間
総文字数	対話で消費された総文字数（質問と回答を含む）
LLM	使用した言語モデルの名前
ユーザー	対話を開始したユーザー
ソース	この記録が対話（ユーザーによる質問）か、スケジュール実行（エージェントのスケジュールによる自動実行）かを示します
メンバー	組織のメンバーとして対話を開始した人を示します。対応するメンバーがいない場合（スケジュール実行など）は「—」と表示されます

画像検索の使用量を確認する

AI アシスタントがナレッジベースの画像検索を使用すると、システムは画像ベクトル化の使用量を別途記録します。個別の対話記録から、その応答で使用されたリソースを確認できます：

1

AgentOps → AI アシスタント監視に移動し、対話記録に切り替えます。

2

確認する応答を見つけ、右端の詳細情報をクリックします。

3

下にスクロールして、Token と Credit の内訳を確認します。通常のテキストベクトル化はベクトル化に表示されます。その応答で画像検索が使用されている場合は、画像ベクトル化も表示され、Token と Credit の合計にもこの項目が含まれます。

個別の対話の使用量内訳。「画像ベクトル化」は、応答で画像検索が実際に使用された場合にのみ表示されます

画像ベクトル化が表示されなくても、記録が失われているわけではありません。この項目は、その応答で画像ベクトル化の使用量が実際に発生した場合にのみ表示されます。画像検索が使用されていない場合、画面には従来のベクトル化の内訳が表示されます。

たとえば、Mai の会社のカスタマーサポート責任者が、商品アシスタントにカタログ画像から部品の外観を識別させたとします。テスト後にこの対話の詳細情報を開くと、画像ベクトル化と対応する Credits を確認できます。これにより、画像検索と通常のテキスト検索のコストを区別し、画像カタログやアシスタントの設定を調整するかどうかを判断できます。

検索とフィルタリング

• キーワード検索：入力/出力メッセージまたはユーザー名を検索します

• LLM フィルタリング：特定の言語モデルを選択し、異なるモデルのパフォーマンスを比較します

• AI アシスタントフィルタリング：特定のアシスタントを選択し、その運用状況を追跡します

• 期間：直近 7 日間、30 日間、90 日間、またはカスタム日付を選択します

• エクスポート：監視データを Excel または CSV 形式でエクスポートします

• ソースフィルター：対話またはスケジュール実行のみを表示します

• メンバーフィルター：組織のメンバーを 1 人以上選択し、その人たちが開始した対話のみを表示します

メンバーとソースで対話記録を絞り込む

対話記録のフィルターには、初期状態ですべてのソースとすべてのメンバーのドロップダウンがあります。一覧にもソースとメンバーの列があり、「誰が質問したか」と「人が質問したのか、スケジュールで自動実行されたのか」をそれぞれ確認できます。

たとえば、カスタマーサポート責任者が、新しい同僚がここ数週間に社内の AI アシスタントをどのように使ったかを確認したい場合を考えます。対話記録でソースを対話に設定してスケジュール実行の記録を除外し、すべてのメンバーからその同僚を選択します。一覧にはその同僚の対話だけが表示されます。内容を確認してからエクスポートをクリックすれば、エンジニアにデータ抽出を依頼せずに、同じ一覧を研修担当者へ渡せます。

1. メンバーで絞り込む

左側のメニューで AgentOps → AI アシスタント監視に進み、対話記録に切り替えます。すべてのメンバーをクリックし、確認したいメンバーを選択します。複数選択やキーワード検索もできます。

「すべてのメンバー」から対象者を選択します（メンバーの名前とメールアドレスはマスクされています）

選択すると、そのメンバーが開始した対話だけが一覧に表示されます。キーワード、AI アシスタント、エラー状態、日付などのフィルターと組み合わせることもできます。表の右側のメンバー列には、各記録に対応するメンバーが表示されます。

1 人のメンバーで絞り込むと、右側の「メンバー」列に各記録の対象者が表示されます（マスクされています）

2. ソースでスケジュール実行を絞り込む

エージェントのスケジュールによって自動実行されたタスクも対話記録に表示され、ソース列にはスケジュール実行と表示されます。通常のユーザーによる質問は対話と表示されます。すべてのソースをクリックすると、どちらか一方だけを表示できます。

ソースで「スケジュール実行」を選択すると、メンバーフィルターとエクスポートボタンが無効になります。エクスポートボタンにカーソルを合わせると理由が表示されます

「スケジュール実行」を選択した場合の制限

• スケジュール実行には対応するメンバーやユーザーフィードバックがないため、メンバーと評価のフィルターは無効になり、選択内容もクリアされます。

• エクスポートは現在、通常の対話にのみ対応しています。ソースがスケジュール実行の場合はボタンが無効になるため、エクスポートする前にソースフィルターを解除してください。

• ダッシュボードの統計には通常の対話だけが含まれます。スケジュール実行は対話記録で確認してください。

スケジュール実行の記録で詳細をクリックすると、基本情報に、その実行のスケジュール名、ソース、ステータスが表示されます。識別情報にはスケジュール IDも表示されるため、記録を生成したスケジュールを確認できます。

スケジュール実行記録の基本情報には、スケジュール名、ソースの「スケジュール実行」、ステータスの「成功」が表示されます

エクスポートリクエスト

対話記録でエクスポートをクリックすると、現在のフィルター条件（メンバーとソースを含む）に基づいて Excel ファイルがバックグラウンドで作成され、「エクスポートリクエストを作成しました。処理中です...」と表示されます。左側のメニューで AgentOps → エクスポートリクエストに進むと、各リクエストのステータス、リクエストしたユーザー、記録数、ファイルサイズ、処理時間、作成日時と完了日時を確認できます。ステータスが完了になったら、操作列からダウンロードできます。

エクスポートリクエスト一覧には、ステータス、リクエストしたユーザー（マスクされています）、記録数、ファイルサイズが表示されます

複数の管理者が同じ組織を利用している場合は、ユーザー列で各エクスポートファイルの作成者を確認し、ダウンロードまたは削除するファイルを判断できます。

ダッシュボード指標とエラー率

「ダッシュボード」タブに切り替えると、サービス全体の指標と、直前の同じ長さの期間と比較した変化率を確認できます：

指標	説明
対話数	期間内に AI アシスタントが応答した回数です。同じ対話内でも AI が応答したターンごとに 1 回として集計します。有人オペレーターが対応した応答と、スケジュールによる自動実行は集計されません（定義の詳細は以下を参照してください）
エラー率	システムエラーが発生した応答の割合（計算方法は以下を参照）
平均応答時間	メッセージを受信してから応答が完了するまでの平均時間
平均 TTFT	ユーザーがメッセージを送信してから最初の文字が表示されるまでの平均時間

対話数、応答時間、エラー率の推移、LLM モデル分布などのグラフも表示されます。また、「アシスタントサービスランキング」では、各アシスタントのエラー率と応答速度を比較できます。

ダッシュボードの指標カードと推移グラフ

対話数の計算方法

ダッシュボードの「対話数」と「対話量の推移」は、AI アシスタントが応答するたびに 1 回として集計されます。「いくつの対話が開始されたか」を示すものではありません。

状況	集計対象	集計数
ユーザーがサービスにアクセスしたが、メッセージを送信しなかった	対象外	0
ユーザーがメッセージを 1 件送信し、AI が 1 回応答した	対象	1
同じ対話内でユーザーが 5 回質問し、AI が 5 回応答した	対象	5
ユーザーがメッセージを送信したが、有人オペレーターが引き継いで応答した	対象外	0
ユーザーがメッセージを送信し、AI の応答時にエラーが発生した	対象	1
スケジュールによってタスクが自動実行された	対象外	0

「いくつの対話が開始されたか」を確認するには、AI アシスタントの「利用分析」ページにある「対話回数」を参照してください。こちらはユーザーが最初のメッセージを送信した時点で 1 回と数え、対話のターン数にかかわらず 1 回のみ集計します。有人オペレーターが引き継いだ対話も対象です。2 つの数値は定義が異なるため、通常はダッシュボードの「対話数」が「利用分析」の「対話回数」より大きくなります。詳しくは、利用分析を参照してください。

エラー率の計算方法

エラー率 ＝ システムエラーが発生した応答数 ÷ 総応答数 × 100%

モデル呼び出しの失敗やタイムアウトなど、システムレベルのエラーのみが集計されます。過大評価を避けるため、以下はエラーに含まれません：

• ユーザーによる応答の中断（Client Interrupt）

• コンテンツ保護機能（Hook）による正常なブロック

エラー率は「サービスの安定性」を示す指標であり、回答品質のスコアではありません。エラー率が異常に上昇した場合は、該当するアシスタントの対話記録を確認し、モデルの異常や外部ツール連携の失敗などの原因を特定してください。「回答の良し悪し」を評価する場合は、忠実性／回答関連性の評価と、ユーザーによる高評価／低評価のフィードバックをあわせて確認してください。

監視のベストプラクティス

毎日の確認：直近 24 時間の対話を確認し、異常な応答時間やエラーを特定します

パフォーマンスのボトルネックの特定：

• 応答時間 > 10 秒：ナレッジベースの検索効率を確認するか、より高速な LLM の利用を検討します

• Token 使用量が多すぎる：System Prompt や対話履歴を短縮できるか評価します

品質問題の追跡：

1. キーワード検索を使用して問題のある対話を見つけます

2. 根本原因を分析します（ナレッジベース不足 / AI の理解誤り / モデルの制約）

3. 問題のケースをテストデータセットに追加し、自動評価を実行して修正を検証します

---

よくある質問

Q：自動評価と AI アシスタント監視は何が違いますか？

	自動評価	AI アシスタント監視
用途	定期的な品質テスト	リアルタイムの運用監視
データソース	あらかじめ設定したテストデータセット	実際のユーザー対話
主な指標	成功率、応答時間	パフォーマンス、コスト、品質評価
適した対象	品質検証、回帰テスト	日常的な監視、問題の切り分け

Q：評価はどのくらいの頻度で実行すればよいですか？

推奨：コア機能は週 1 回、完全なテストは月 1 回、重要なアップデート後はただちに実行します。

Q：評価は実際のユーザーに影響しますか？

いいえ。自動評価は独立した環境を使用するため、実際のユーザーの対話を妨げることはありません。

Q：監視データはどのくらいの期間保持されますか？

デフォルトでは 90 日間保持されます。重要なデータは定期的にエクスポートして長期保存できます。