AI カスタマーサポートの品質管理

対象者：カスタマーサポート責任者、品質管理担当者、カスタマーサポート研修担当者

1. クイックスタート：AIカスタマーサポートの3つの品質指標

評価レポートのスコアはどこで確認できますか？

パス：AgentOps（サイドバー）→ AIアシスタント監視

表内では各対話の3大評価指標を直接確認でき、「表示」をクリックすると詳細を確認できます。

なぜ評価が必要なのですか？

カスタマーサポート担当者の通話録音を振り返るのと同じように、AIの回答品質もチェックする必要があります。 システムが対話ごとに自動でスコアを付け、問題点をすばやく見つけるお手伝いをします。

---

3つのコア指標

指標名	わかりやすい説明	評価基準
誠実性スコア	AIが述べた情報が正確か、でたらめや想像で答えていないか	85点以上 ✅ 60〜84点 ⚠️ 60点未満 ❌
回答関連性スコア	AIが顧客の本当に聞きたいことに答えているか	85点以上 ✅ 60〜84点 ⚠️ 60点未満 ❌
コンテキスト精度スコア	AIが正しい参考資料を見つけ、コンテキストに的確に対応できているか	85点以上 ✅ 60〜84点 ⚠️ 60点未満 ❌

---

かんたん判定法

3つの指標すべて > 80点  → ✅ 今回の回答は非常に良い
いずれか1つが < 60点    → ❌ ただちに改善が必要
2つ以上が < 70点        → ⚠️ システム的な問題、全面的な見直しが必要

---

2. 評価レポートの読み解き方

レポート例

対話番号：#20240120-001
顧客の質問：「XLサイズの黒いトレンチコートはまだ在庫がありますか？」
AIの回答：「黒いトレンチコートは現在在庫があり、XLサイズはご注文いただけます。」

評価結果：
├─ 誠実性スコア (faithfulness_score)：45点 ❌ （在庫ありと答えたが、実際には在庫なし）
├─ 回答関連性スコア (answer_relevancy_score)：90点 ✅ （確かに在庫の質問に答えている）
└─ コンテキスト精度スコア (context_precision_score)：70点 ⚠️ （トレンチコートの資料は見つけたが、サイズ情報が不正確）

問題診断：AIが誤った在庫情報を回答した

---

よくある3つの問題タイプ

問題A：誠実性スコアが低い（< 60点）

症状：AIが述べた情報が誤っている、または想像で答えている

よくある原因：

• 参考資料が古い（価格・在庫・ポリシーが更新済み）

• 資料同士が矛盾している（文書ごとに記載が異なる）

• AIが資料ベースの内容に基づかず「推測」で答えている

影響：顧客が誤った情報を受け取り、クレームにつながるおそれがあります

---

問題B：回答関連性スコアが低い（< 60点）

症状：AIが顧客の本当に聞きたいことに答えていない

よくある原因：

• AIがあれこれ話しているが、要点を伝えていない

• 質問とずれた、関係のない内容を答えている

• 背景の説明のみで、実際の答えを示していない

影響：顧客が再度質問する必要が生じ、満足度が低下します

---

問題C：コンテキスト精度スコアが低い（< 60点）

症状：AIが誤った参考資料を見つける、または精度が不十分

よくある原因：

• キーワード検索が不正確

• 異なる商品／カテゴリの資料を混同している

• 参考資料のタイトルやカテゴリがあいまい

影響：AIがきちんと答えようとしても、誤った資料を使えば誤った答えになります

---

3. 実践事例：アパレル業界でよくある問題

事例1：価格を間違える（誠実性スコアが低い）

📊 問題の発見

顧客の質問：「このダウンジャケットはいくらですか？」

AIの回答：「このダウンジャケットの販売価格は29,900円です。」

評価結果：

• 誠実性スコア (faithfulness_score)：38点 ❌

• 回答関連性スコア (answer_relevancy_score)：95点 ✅

• コンテキスト精度スコア (context_precision_score)：85点 ✅

実際の状況： この商品はすでに19,900円（割引後）に値下げされていますが、AIは依然として通常価格を回答しています。

---

💡 改善策

ステップ1：資料を確認する

• ナレッジベース内の「商品価格表」を開く

• 価格が更新されていないことを発見

ステップ2：資料を更新する

❌ 問題のある資料

ダウンジャケットシリーズ
- クラシックダウンジャケット：29,900円
- ロング丈ダウンジャケット：49,900円

✅ 修正後の資料

ダウンジャケットシリーズ（2024年冬季価格）

商品名：クラシックダウンジャケット
- 通常価格：29,900円
- 割引価格：19,900円（2024/1/1より）
- キャンペーン期間：2024/1/1 - 2024/2/28

商品名：ロング丈ダウンジャケット
- 通常価格：49,900円
- 割引価格：39,900円（2024/1/1より）
- キャンペーン期間：2024/1/1 - 2024/2/28

更新日：2024/1/15

ステップ3：AIに注意を促す

「AI回答原則」に次を追記します：

「価格を回答する際は、必ず最新価格であるかを確認し、適用期間を説明してください。割引キャンペーンがある場合は、通常価格と割引価格の両方を同時にお知らせしてください。」

---

事例2：質問とずれた回答（回答関連性スコアが低い）

📊 問題の発見

顧客の質問：「買ったけどサイズが合わないので、返品できますか？」

AIの回答：「当店ではS、M、L、XLなど多様なサイズをご用意しています。各商品のサイズ表は商品ページに記載されています。ご購入前にサイズ表を参考に採寸することをおすすめします。」

評価結果：

• 誠実性スコア (faithfulness_score)：90点 ✅

• 回答関連性スコア (answer_relevancy_score)：35点 ❌

• コンテキスト精度スコア (context_precision_score)：60点 ⚠️

問題診断： 顧客は「返品できるか」を聞いているのに、AIは「サイズの選び方」を話しており、核心の質問にまったく答えていません。

---

💡 改善策

ステップ1：回答原則を調整する

「AI回答原則」に次を追記します：

コア原則：まず顧客の核心的な質問に答える

誤った例：

• 顧客が「返品できますか？」と質問

• AIが「当店では充実したアフターサービスを…」と回答 ❌（できるかどうかを述べていない）

正しい例：

• 顧客が「返品できますか？」と質問

• AIが「可能です。商品到着後7日以内で、未使用であれば返品をお申し込みいただけます…」と回答 ✅（直接答えている）

ステップ2：資料構造を再編する

❌ 問題のある資料（散漫すぎる）

アフターサービスのご案内

当店はお客様の権利を重視し、充実したアフターサービスを提供しています。
商品をご購入の際はサイズ表をよくお読みになり、適切なサイズをお選びください。
ご不明な点があれば、お気軽にカスタマーサポートまでお問い合わせください…

✅ 修正後の資料

返品・交換規定

Q：返品できますか？
A：可能です。到着後7日以内で、商品が未使用、タグが付いたままであれば返品をお申し込みいただけます。

返品条件：
✅ 商品が未使用・未洗濯・試着が10分を超えていない
✅ タグ・パッケージが完全
✅ 到着後7日以内に申請

返品の流れ：
1. カスタマーサポート専用ダイヤル 0800-XXX-XXX へお電話、またはオンラインフォームにご入力
2. カスタマーサポートが返品先住所と伝票番号をご案内
3. 7〜14日以内に元のお支払い方法へ返金

---

Q：交換できますか？
A：可能です。到着後7日以内であれば、サイズや色を無料で交換できます（同一商品に限る）。

交換の流れ：
1. カスタマーサポートに連絡し在庫を確認
2. 商品を返送（返品と同じ条件）
3. 商品到着後3日以内に新しい商品を発送

改善のポイント：

• ✅ 冒頭で「可能です」または「できません」と直接答える

• ✅ Q&A形式を用いて一目でわかるようにする

• ✅ 明確な条件を列挙し、トラブルを避ける

---

事例3：誤った商品を見つける（コンテキスト精度スコアが低い）

📊 問題の発見

顧客の質問：「黒いニットトップスの素材は何ですか？」

AIの回答：「このニットトップスは綿100%の素材を使用しており、柔らかく快適で、オールシーズン着用に適しています。」

評価結果：

• 誠実性スコア (faithfulness_score)：88点 ✅

• 回答関連性スコア (answer_relevancy_score)：90点 ✅

• コンテキスト精度スコア (context_precision_score)：48点 ❌

実際の状況： 黒いニットトップスはウール70％＋ポリエステル30％ですが、AIが見つけたのは「白いニットトップス」の資料（綿100％）でした。

---

💡 改善策

ステップ1：資料の表記を確認する

問題のある資料のファイル名：

ニットトップス.pdf

問題点：すべてのニットトップスが同一の文書にまとめられており、AIが区別しにくくなっています。

ステップ2：資料構造を改善する

✅ 修正策A：文書を分ける

商品資料/
├─ ニットトップス_黒_型番A001.pdf
├─ ニットトップス_白_型番A002.pdf
├─ ニットトップス_グレー_型番A003.pdf

✅ 修正策B：明確なタイトル

# ニットトップス商品情報

## 黒いニットトップス（型番：A001）
- 色：黒
- 素材：ウール70% + ポリエステル30%
- 適した季節：秋冬
- 洗濯方法：手洗い、乾燥機不可

## 白いニットトップス（型番：A002）
- 色：白
- 素材：綿100%
- 適した季節：春夏秋冬
- 洗濯方法：洗濯機可、低温乾燥

## グレーのニットトップス（型番：A003）
- 色：グレー
- 素材：ウール50% + アクリル50%
- 適した季節：秋冬
- 洗濯方法：ドライクリーニング

ステップ3：AIに注意を促す

「AI回答原則」に次を追記します：

「顧客が商品の色や型番に言及した場合は、参考資料がその色・型番の情報であるかを必ず確認してください。同じ型でも色が異なれば、素材や仕様が異なる場合があります。」

---

4. 3ステップ改善策

問題を発見したら、次の流れで対応します：

スコアが低いことを発見
    ↓
ステップ1：資料の内容を更新する（最重要）
    ↓
ステップ2：AI回答原則を調整する
    ↓
ステップ3：技術チームに報告する（必要な場合）

---

ステップ1：資料の内容を更新する

適用される状況：

• ✅ 誠実性スコアが低い（資料が誤っている、または古い）

• ✅ コンテキスト精度スコアが低い（資料が混乱している、表記が不明確）

チェックリスト：

• 資料は最新版か？

• 価格・在庫・ポリシーは正しいか？

• 異なる商品の資料が明確に区別されているか？

• タイトルは明確か？（AIが見つけやすいか）

• 箇条書きや表で表現されているか？（長文ではなく）

資料品質の例：

❌ 良くない資料

返品のご案内

一部の商品は返品可能ですが、一定の条件を満たす必要があります。
一部の特殊商品は返品できませんので、ご購入前にご注意ください。
返品が必要な場合はカスタマーサポートにご連絡ください。

✅ 良い資料

返品規定

返品可能な商品：
✅ 一般衣料品（トップス、ボトムス、アウター）
✅ アクセサリー（バッグ、帽子、マフラー）

返品不可の商品：
❌ 下着・水着
❌ 特価商品（半額以下）
❌ オーダーメイド商品

返品条件（すべて満たす場合に返品可能）：
1. 到着後7日以内
2. 商品が未使用（タグが完全、試着の跡がない）
3. パッケージが完全

返品の流れ：
1. カスタマーサポート専用ダイヤル 0800-XXX-XXX へお電話
2. 注文番号をお伝えください
3. カスタマーサポートが返品先住所をご案内
4. 商品を返送（書留のご利用をおすすめします）
5. 商品到着後7〜14日で返金

連絡方法：
- カスタマーサポート専用ダイヤル：0800-XXX-XXX（09:00-21:00）
- オンラインカスタマーサポート：公式サイト右下のチャットボックス
- Email：[e-mail]

---

ステップ2：AI回答原則を調整する

適用される状況：

• ✅ 回答関連性スコアが低い（質問とずれた回答）

• ✅ 誠実性スコアが低い（AIがでたらめに推測、想像で答える）

AI回答原則のテンプレート：

# AIカスタマーサポート回答原則

## コア規則

1. **まず核心的な質問に答える**
   - 顧客が「できるかどうか」を聞く → まず「可能です」または「できません」と答える
   - 顧客が「いくらか」を聞く → まず価格を述べる
   - 顧客が「どうやるか」を聞く → まず手順を示す

2. **確信のあることだけを述べる**
   - すべての情報は参考資料に基づくこと
   - 不確かな場合は「この点については有人カスタマーサポートの対応が必要です」と述べる
   - 推測や仮定は絶対にしないこと

3. **細部に注意する**
   - 色・サイズ・型番を混同しない
   - 価格は最新のものであることを確認する
   - キャンペーン期間を明確に説明する

## 回答フォーマット

### ポリシー系の質問（返品・交換、会員、優待）
第1段：「可能です」または「できません」と直接答える
第2段：条件を説明する（箇条書きで）
第3段：顧客がどうすればよいかを伝える（手順または連絡方法）

### 商品系の質問（価格、素材、在庫）
第1段：質問に直接答える（価格／素材／在庫の有無）
第2段：商品情報を補足する（仕様、サイズ、色）
第3段：購入リンクまたは次のステップ

### 手続き系の質問（買い方、返品の仕方、交換の仕方）
第1段：手続きを要約する（3〜5ステップ）
第2段：各ステップを詳しく説明する
第3段：注意事項または連絡方法

## 禁止事項

❌ 「通常」「一般的に」「だいたい」と言わない（明確にすること）
❌ 異なる商品の情報を混同しない
❌ 重要な条件（価格、サイズ、期限）を省略しない
❌ 顧客が述べていない情報を推測しない

## 例

✅ 良い回答：
顧客：「このアウターは返品できますか？」 AI：「可能です。商品到着後7日以内で、以下の条件を満たす場合は返品をお申し込みいただけます：
商品が未使用、タグが完全
パッケージに破損がない
特価商品でない
返品の流れ： カスタマーサポート専用ダイヤル 0800-XXX-XXX へお電話ください。返品先住所とご案内をお伝えします。 返金は約7〜14営業日で元のお支払い方法へ戻ります。」

❌ 良くない回答：
顧客：「このアウターは返品できますか？」 AI：「当店はお客様の権利を重視し、充実したアフターサービスを提供しています。 ご購入前に商品説明をよくお読みになり、適切なサイズをお選びください。 ご不明な点があればお気軽にカスタマーサポートまで…」 （返品できるかどうかに直接答えていない）

---

ステップ3：技術チームに報告する

適用される状況：

• コンテキスト精度スコアが継続的に低い

• 同じ問題が繰り返し発生する

• 資料と原則を調整しても改善しない

報告内容：

問題タイプ：コンテキスト精度スコアが低い

問題の説明：
顧客が「黒」の商品を尋ねると、AIが「白」やその他の色の資料をよく見つけてしまう。

影響範囲：
約15％の商品照会でこの状況が発生する

すでに試みた改善：
✅ 異なる色の商品資料をファイルごとに分けた
✅ タイトルに色を明確に表記した
⚠️ 問題は完全には解決していない

提案する技術的調整：
システムが「色」のキーワードをより的確に識別できるよう支援してほしい

添付ファイル：
- test_cases_color_queries.csv（100件のテスト質問）
- current_results.csv（現在のシステムの検索結果）
- expected_results.csv（期待される正しい結果）

---

5. 日常管理チェックリスト

日常チェック

問題を発見したとき：

同種の問題が3回以上
→ ただちに対応（資料の更新または原則の調整）

価格・ポリシーの誤りに関わる場合
→ 緊急修正、当日中に完了

たまにしか起きない問題の場合
→ 記録して観察し、検討議題に加える

---

回答品質の追跡

1. データの振り返り

今週の統計：
- 総対話数：___ 件
- 平均誠実性スコア (faithfulness_score)：___ 点
- 平均回答関連性スコア (answer_relevancy_score)：___ 点
- 平均コンテキスト精度スコア (context_precision_score)：___ 点
- 異常対話数：___ 件（____%）

2. 問題分析

高頻度の問題 Top 3：
1. ________（__ 回）- どの指標が低いか？
2. ________（__ 回）- どの指標が低いか？
3. ________（__ 回）- どの指標が低いか？

3. 改善アクション

今週やること：
□ ___ 件の資料を更新（担当者：___）
□ ___ 項目の回答原則を調整（担当者：___）
□ ___ 件の技術問題を報告（担当者：___）

来週の目標：
- 異常対話率を < ____% まで下げる
- すべての指標の平均を > ___ 点にする

---

付録Ａ：問題診断クイックリファレンス

スコアの状況	考えられる原因	改善方法
誠実性スコアが低い	資料が古いまたは誤り、AIの想像	ステップ1：資料の内容を更新する
回答関連性スコアが低い	AIが質問とずれた回答をする	ステップ2：回答原則を調整する
コンテキスト精度スコアが低い	AIが誤った資料を見つける、精度不足	ステップ1：資料の表記を改善する
複数の指標が低い	システム的な問題	ステップ1+2、必要に応じてステップ3

---

改善の優先順位

第一優先：誠実性スコア < 60点
→ 顧客に誤った情報や想像の内容を伝え、クレームを招くおそれがある

第二優先：回答関連性スコア < 60点
→ 顧客体験が悪く、繰り返し質問が必要になる

第三優先：コンテキスト精度スコア < 60点
→ 問題は目立たないものの、長期的に品質に影響する

---

付録B：システム評価指標対照表

主に使用する指標（標準解答が不要）

この3つの指標は本ガイドの中核であり、日常のカスタマーサポート対話の評価にそのまま適用できます：

日本語名	英語正式名称	説明
誠実性スコア	Faithfulness	AIの回答が資料ベースの内容に沿っているか、想像や捏造をしていないかを評価
回答関連性スコア	Answer Relevancy	AIの回答が顧客の質問に関連しているか、質問とずれていないかを評価
コンテキスト精度スコア	Context Precision	AIの回答がコンテキストに的確に対応しているか、正しい参考資料を見つけたかを評価

上級指標（標準解答が必要）

以下の指標はあらかじめ「標準解答」(ground truth) を準備する必要があり、テストケース評価に適しています：

日本語名	英語正式名称	説明
回答正確性	Answer Correctness	AIの回答と標準解答を照合し、正確性を評価
回答類似度	Answer Similarity	AIの回答と標準解答の意味的な類似度を評価
参考資料再現率	Context Recall	システムが必要な参考資料をすべて検索できたかを評価

その他の利用可能な指標（DeepEval）

システムは以下の追加評価指標もサポートしており、より包括的な品質検査に利用できます：

日本語名	英語名称	説明
バイアス検出	Bias	回答にバイアスや差別的な内容が含まれていないかを検出
毒性検出	Toxicity	回答に不適切または攻撃的な内容が含まれていないかを検出
ハルシネーション検出	Hallucination	AIが事実と異なる内容を生成していないかを検出
コンテキスト関連性	Contextual Relevancy	検索した参考資料が質問に関連しているかを評価

利用上の推奨事項

1. 日常監視：3つの主要指標（誠実性スコア、回答関連性スコア、コンテキスト精度スコア）を使用する

2. テスト評価：上級指標と組み合わせ、標準解答を準備してシステム的に評価する

3. 品質チェック：バイアス検出と毒性検出を有効にし、回答が企業規範に沿っていることを確認する

---

よくある質問 Q&A

Q1：技術に詳しくありませんが、AIカスタマーサポートを管理できますか？ A：できます！カスタマーサポート担当者を管理するのと同じように、必要なのは次のことだけです：

• 毎日評価レポートを見て、問題のある対話を見つける

• 資料が正しく完全かを確認する

• AIの「回答原則」を調整する（カスタマーサポートのトークを研修するのと同じ）

---

Q2：スコアはどうやって付けられるのですか？AIが自分で自分を評価するのですか？ A：いいえ。スコアは専用の「評価システム」が自動で付けます。もう1つのAIが「品質管理」役としてそばにいて、1つ目のAIの回答をチェックするようなイメージです。

---

Q3：3つの指標はすべて重要ですか？1つだけ見ればよいですか？ A：3つすべてを見ることをおすすめします。それぞれが異なる問題を反映しているからです：

• 誠実性スコア (faithfulness_score)：AIが資料ベースの内容に沿っているか、想像で答えていないか

• 回答関連性スコア (answer_relevancy_score)：AIが質問を理解しているか、回答が関連しているか

• コンテキスト精度スコア (context_precision_score)：AIがコンテキストに的確に対応しているか、正しい参考資料を見つけたか

1つだけ見ると、重要な問題を見逃すおそれがあります。

---

Q4：改善後、どのくらいで効果が現れますか？ A：

• 資料の更新：即時反映（当日には改善を確認できます）

• 回答原則の調整：即時反映

• 技術的調整：2〜4週間が必要（問題の複雑さによる）

---

おわりに

AIカスタマーサポートの管理は、人間のカスタマーサポートチームを管理することと同じです：

✅ 定期的に品質をチェックする（評価レポートを見る） ✅ 知識を継続的に更新する（資料の内容を更新する） ✅ サービストークを最適化する（回答原則を調整する） ✅ 改善の成果を記録する（スコアの変化を追跡する）

このガイドに沿って進めれば、技術に詳しくなくても、AIカスタマーサポートをどんどん良くしていけます！