AI カスタマーサービスの品質管理
AI カスタマーサービス品質管理ガイド:忠実性、回答関連性、コンテキスト精度の3つの評価指標を理解し、評価レポートから問題を見つけ、3つのステップでロール指示とナレッジベースを改善します。
対象者:カスタマーサービス責任者、品質管理担当者、カスタマーサービス研修担当者
このページの内容:1. クイックスタート:AI カスタマーサービスの3つの品質指標|2. 評価レポートの読み方|3. 実践事例:アパレル業界でよくある問題|4. 3ステップの改善プラン|5. 日常管理チェックリスト|付録A:問題診断早見表|付録 B:システム評価指標の対応表|よくある質問 Q&A|おわりに
1. クイックスタート:AI カスタマーサービスの3つの品質指標
評価レポートのスコアを確認するには?
操作パス:AgentOps(サイドバー)→ AI アシスタント監視 → 会話記録 タブ
表の 品質スコア 列には、代表スコアとして忠実性スコアが表示されます。スコアにマウスを合わせると、品質スコアの詳細 で各指標(忠実性スコア、回答関連性スコア、コンテキスト精度スコア)を確認できます。操作列の 詳細 アイコンをクリックすると、その会話の詳細が開きます。


なぜ評価が必要なのでしょうか?
カスタマーサービス担当者の通話録音を確認するのと同様に、AI の回答品質も確認する必要があります。 システムが各会話を自動で採点するため、問題をすばやく見つけられます。
3つの主要指標
忠実性スコア
AI の情報は正しく、でたらめや根拠のない内容がないかを確認します
85 点以上 ✅ 60-84 点 ⚠️ 60 点未満 ❌
回答関連性スコア
AI が顧客の本当に知りたいことに回答しているかを確認します
85 点以上 ✅ 60-84 点 ⚠️ 60 点未満 ❌
コンテキスト精度スコア
AI が適切な参照資料を見つけ、コンテキストに的確に対応しているかを確認します
85 点以上 ✅ 60-84 点 ⚠️ 60 点未満 ❌
簡単な判断方法
2. 評価レポートの読み方
レポート例
よくある3種類の問題
問題 A:忠実性スコアが低い(60 点未満)
症状:AI が誤った情報や根拠のない内容を回答します
よくある原因:
参照資料が古くなっています(価格、在庫、ポリシーが更新されています)
資料の内容が矛盾しています(文書によって説明が異なります)
AI がデータベースの内容に基づかず、自分で回答を「推測」しています
影響:顧客に誤った情報が伝わり、苦情につながる可能性があります
問題 B:回答関連性スコアが低い(60 点未満)
症状:AI が顧客の本当に知りたいことに回答していません
よくある原因:
AI の説明が長く、要点を伝えていません
質問と関係のない内容を回答しています
背景を説明するだけで、具体的な回答をしていません
影響:顧客がもう一度質問する必要があり、満足度が下がります
問題 C:コンテキスト精度スコアが低い(60 点未満)
症状:AI が誤った参照資料、または十分に的確ではない資料を見つけています
よくある原因:
キーワード検索が不正確です
異なる商品/カテゴリの情報を混同しています
参照資料のタイトルや分類が不明確です
影響:AI が適切に回答しようとしても、資料を間違えると回答も誤ってしまいます
3. 実践事例:アパレル業界でよくある問題
事例 1:価格を間違える(忠実性スコアが低い)
📊 問題の発見
顧客の質問:「このダウンジャケットはいくらですか?」
AI の回答:「このダウンジャケットの価格は 3,990 円です。」
評価結果:
忠実性スコア (faithfulness_score):38 点 ❌
回答関連性スコア (answer_relevancy_score):95 点 ✅
コンテキスト精度スコア (context_precision_score):85 点 ✅
実際の状況: 商品の価格は割引後の 2,990 円に変更されていますが、AI は元の価格を回答しています。
💡 改善プラン
ステップ 1:資料を確認します
ナレッジベースの「商品価格表」を開きます
価格が更新されていないことを確認します
ステップ 2:資料を更新します
❌ 問題のある資料
✅ 修正後の資料
ステップ 3:AI に指示します
「AI 回答方針」に次の内容を追加します:
「価格を回答する際は、必ず最新の価格であることを確認し、適用期間を説明してください。割引キャンペーンがある場合は、通常価格と割引価格の両方を伝えてください。」
事例 2:質問に答えていない(回答関連性スコアが低い)
📊 問題の発見
顧客の質問:「購入した商品が体に合わなかったら、返品できますか?」
AI の回答:「S、M、L、XL など、さまざまなサイズをご用意しています。各商品のサイズ表は商品ページに記載しています。購入前にサイズ表を参考にして採寸することをおすすめします。」
評価結果:
忠実性スコア (faithfulness_score):90 点 ✅
回答関連性スコア (answer_relevancy_score):35 点 ❌
コンテキスト精度スコア (context_precision_score):60 点 ⚠️
問題診断: 顧客は「返品できるか」を聞いていますが、AI は「サイズの選び方」を説明しており、肝心の質問にまったく答えていません。
💡 改善プラン
ステップ 1:回答方針を調整します
「AI 回答方針」に次の内容を追加します:
基本方針:まず顧客の核心となる質問に答えます
誤った例:
顧客の質問:「返品できますか?」
AI の回答:「当社は充実したアフターサービスを提供しています...」❌(返品できるかを説明していません)
適切な例:
顧客の質問:「返品できますか?」
AI の回答:「はい、できます。商品到着から 7 日以内で、未使用の場合は返品を申請できます...」✅(直接回答しています)
ステップ 2:資料の構成を整理します
❌ 問題のある資料(要点がまとまっていません)
✅ 修正後の資料
改善のポイント:
✅ 最初に「できます」または「できません」と直接回答します
✅ Q&A 形式でわかりやすくまとめます
✅ 明確な条件を示し、トラブルを防ぎます
事例 3:違う商品の資料を取得する(コンテキスト精度スコアが低い)
📊 問題の発見
顧客の質問:「黒のニットトップスの素材は何ですか?」
AI の回答:「このニットトップスは綿 100% です。柔らかく快適で、四季を通じて着用できます。」
評価結果:
忠実性スコア (faithfulness_score):88 点 ✅
回答関連性スコア (answer_relevancy_score):90 点 ✅
コンテキスト精度スコア (context_precision_score):48 点 ❌
実際の状況: 黒のニットトップスはウール 70% + ポリエステル 30% ですが、AI は「白のニットトップス」の資料(綿 100%)を取得しています。
💡 改善プラン
ステップ 1:資料のラベルを確認します
問題のある資料のファイル名:
問題点:すべてのニットトップスが1つの文書に含まれているため、AI が区別しにくくなっています。
ステップ 2:資料の構成を改善します
✅ 修正案 A:文書を分けます
✅ 修正案 B:見出しを明確にします
ステップ 3:AI に指示します
「AI 回答方針」に次の内容を追加します:
「顧客が商品の色や型番に言及した場合は、参照資料がその色や型番の情報であることを必ず確認してください。同じ商品でも、色によって素材や仕様が異なる場合があります。」
4. 3ステップの改善プラン
問題を見つけたら、次の手順で対応します:
ステップ 1:資料の内容を更新します
適用する状況:
✅ 忠実性スコアが低い場合(資料が誤っている、または古くなっています)
✅ コンテキスト精度スコアが低い場合(資料が整理されていない、ラベルが不明確です)
チェックリスト:
資料の品質例:
❌ 良くない資料
✅ 良い資料
ステップ 2:AI 回答方針を調整します
本ガイドの「AI 回答方針」は、Agent の ロール指示 に対応します(AI アシスタント → Agent を選択 → 設定 → 回答モード設定 → ロール指示)。
適用する状況:
✅ 回答関連性スコアが低い場合(質問に答えていません)
✅ 忠実性スコアが低い場合(AI が推測したり、根拠のない内容を回答したりします)
AI 回答方針のテンプレート:
ステップ 3:技術チームに報告します
適用する状況:
コンテキスト精度スコアが継続して低い場合
同じ問題が繰り返し発生する場合
資料と方針を調整しても改善しない場合
報告内容:
5. 日常管理チェックリスト
日常の確認
問題を見つけたとき:
回答品質の追跡
1. データの振り返り
2. 問題の分析
3. 改善活動
付録A:問題診断早見表
忠実性スコアが低い
資料が古い、誤っている、AI が根拠のない内容を回答しています
ステップ 1:資料の内容を更新します
回答関連性スコアが低い
AI が質問に答えていません
ステップ 2:回答方針を調整します
コンテキスト精度スコアが低い
AI が誤った資料や的確でない資料を取得しています
ステップ 1:資料のラベルを改善します
複数の指標が低い
システム全体の問題です
ステップ 1+2、必要に応じてステップ 3 を行います
改善の優先順位
付録 B:システム評価指標の対応表
主要指標(正解例は不要です)
この3つの指標は本ガイドの中心となるもので、日常のカスタマーサービスの会話評価にそのまま活用できます:
忠実性スコア
Faithfulness
AI の回答がデータベースの内容に沿っているか、根拠のない内容や作り話がないかを評価します
回答関連性スコア
Answer Relevancy
AI の回答が顧客の質問に関連しているか、質問から外れていないかを評価します
コンテキスト精度スコア
Context Precision
AI の回答がコンテキストに的確に対応し、適切な参照資料を取得しているかを評価します
高度な指標(正解例が必要です)
以下の指標は、事前に「正解例」(ground truth) を用意する必要があり、テストケースの評価に適しています:
回答正確性
Answer Correctness
AI の回答と正解例を比較し、正確性を評価します
回答類似度
Answer Similarity
AI の回答と正解例の意味的な類似度を評価します
コンテキスト再現率
Context Recall
システムが必要な参照資料をすべて取得しているかを評価します
その他の利用可能な指標(DeepEval)
AgentOps → 自動テスト の評価結果では、システムが以下の追加指標も提供しており、より総合的な品質確認に活用できます:
バイアス
Bias
回答に偏見や差別的な内容が含まれていないかを検出します
有害性
Toxicity
回答に不適切な内容や攻撃的な内容が含まれていないかを検出します
ハルシネーション
Hallucination
AI が事実と異なる内容を生成していないかを検出します
コンテキスト関連性
Contextual Relevancy
取得した参照資料が質問に関連しているかを評価します
利用の推奨事項
日常の監視:3つの主要指標(忠実性スコア、回答関連性スコア、コンテキスト精度スコア)を使用します
テスト評価:高度な指標と組み合わせ、正解例を用意して体系的に評価します
品質管理:自動テスト結果のバイアスと有害性の指標に注意し、回答が企業の基準に沿っていることを確認します
よくある質問 Q&A
Q1:技術に詳しくなくても、AI カスタマーサービスを管理できますか? A:はい、できます!カスタマーサービス担当者を管理するのと同じように、次のことを行えば十分です:
毎日評価レポートを確認し、問題のある会話を見つけます
資料が正確で、必要な情報がそろっているかを確認します
AI の「回答方針」を調整します(接客トークの研修と同じです)
Q2:スコアはどのように付けられますか?AI が自分を評価するのでしょうか? A:いいえ。専用の「評価システム」が自動で採点します。別の AI が「品質管理」を担当し、最初の AI の回答を確認するような仕組みです。
Q3:3つの指標はすべて重要ですか?1つだけを見てもよいですか? A:異なる問題を示すため、3つすべてを確認することをおすすめします:
忠実性スコア (
faithfulness_score):AI がデータベースの内容に沿い、根拠のない内容を回答していないかを確認します回答関連性スコア (
answer_relevancy_score):AI が質問を理解し、関連する回答をしているかを確認しますコンテキスト精度スコア (
context_precision_score):AI がコンテキストに的確に対応し、適切な参照資料を取得しているかを確認します
1つだけを見ると、重要な問題を見落とす可能性があります。
Q4:改善後、どのくらいで効果が現れますか? A:
資料の更新:すぐに反映されます(当日中に改善を確認できます)
回答方針の調整:すぐに反映されます
技術的な調整:2-4 週間かかります(問題の複雑さによって異なります)
おわりに
AI カスタマーサービスの管理は、人のカスタマーサービスチームの管理と同じです:
✅ 定期的に品質を確認します(評価レポートを確認します) ✅ 知識を継続して更新します(資料の内容を更新します) ✅ 接客トークを改善します(回答方針を調整します) ✅ 改善の効果を記録します(スコアの変化を追跡します)
このガイドに沿って取り組めば、技術に詳しくなくても AI カスタマーサービスを継続的に改善できます!
最終更新
役に立ちましたか?