> For the complete documentation index, see [llms.txt](https://docs.maiagent.ai/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://docs.maiagent.ai/maiagent-user-guide/ja/serve/ai-quality-guide.md).

# AI カスタマーサービスの品質管理

AI カスタマーサービス品質管理ガイド：忠実性、回答関連性、コンテキスト精度の3つの評価指標を理解し、評価レポートから問題を見つけ、3つのステップでロール指示とナレッジベースを改善します。

> **対象者**：カスタマーサービス責任者、品質管理担当者、カスタマーサービス研修担当者

このページの内容：[1. クイックスタート：AI カスタマーサービスの3つの品質指標](#quick-start-three-quality-metrics)｜[2. 評価レポートの読み方](#how-to-read-evaluation-report)｜[3. 実践事例：アパレル業界でよくある問題](#case-study-common-issues-in-apparel)｜[4. 3ステップの改善プラン](#three-step-improvement-plan)｜[5. 日常管理チェックリスト](#daily-management-checklist)｜[付録Ａ：問題診断早見表](#appendix-a-issue-diagnosis-reference)｜[付録 B：システム評価指標の対応表](#appendix-b-system-evaluation-metrics)｜[よくある質問 Q\&A](#faq)｜[おわりに](#closing)

## 1. クイックスタート：AI カスタマーサービスの3つの品質指標 <a href="#quick-start-three-quality-metrics" id="quick-start-three-quality-metrics"></a>

#### **評価レポートのスコアを確認するには？** <a href="#how-to-view-evaluation-report-scores" id="how-to-view-evaluation-report-scores"></a>

**操作パス**：AgentOps（サイドバー）→ <mark style="color:blue;">AI アシスタント監視</mark> → <mark style="color:blue;">会話記録</mark> タブ

表の <mark style="color:blue;">品質スコア</mark> 列には、代表スコアとして忠実性スコアが表示されます。スコアにマウスを合わせると、<mark style="color:blue;">品質スコアの詳細</mark> で各指標（忠実性スコア、回答関連性スコア、コンテキスト精度スコア）を確認できます。操作列の <mark style="color:blue;">詳細</mark> アイコンをクリックすると、その会話の詳細が開きます。

<figure><img src="https://2584873290-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FTvHx8hgwYGDTLD3A7xoW%2Fuploads%2Fgit-blob-950549b00e99dbaec4d44f7bcc8ca3316cff2603%2Fai-quality-monitoring-records.png?alt=media" alt="Agent 監視の会話記録タブ。表に品質スコア列があり、操作列に詳細のツールチップが表示されています"><figcaption><p>Agent 監視 → 会話記録タブの品質スコア列と詳細ボタン</p></figcaption></figure>

{% hint style="info" %}
品質スコアを生成するには、Agent で自動評価を有効にする必要があります。<mark style="color:blue;">AI アシスタント</mark> → Agent を選択 → <mark style="color:blue;">設定</mark> → <mark style="color:blue;">詳細設定</mark> に進み、<mark style="color:blue;">自動評価を有効にする</mark> をオンにして保存します。有効にすると、システムは LLM を使用して各会話の品質スコアを計算し、組織の利用枠を消費します。無効の場合、品質スコア列には「-」が表示されます。
{% endhint %}

<figure><img src="https://2584873290-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FTvHx8hgwYGDTLD3A7xoW%2Fuploads%2Fgit-blob-20c725240807ab3a1c1673d4648b1ff390ad1d05%2Fai-quality-enable-evaluation.png?alt=media" alt="Agent の詳細設定にある自動評価を有効にするスイッチ"><figcaption><p>Agent の詳細設定で自動評価を有効にします</p></figcaption></figure>

#### なぜ評価が必要なのでしょうか？ <a href="#why-evaluation-is-needed" id="why-evaluation-is-needed"></a>

カスタマーサービス担当者の通話録音を確認するのと同様に、AI の回答品質も確認する必要があります。\
システムが各会話を自動で採点するため、問題をすばやく見つけられます。

***

#### 3つの主要指標 <a href="#three-core-metrics" id="three-core-metrics"></a>

| 指標名             | わかりやすい説明                                | 評価基準                                      |
| --------------- | --------------------------------------- | ----------------------------------------- |
| **忠実性スコア**      | AI の情報は正しく、でたらめや根拠のない内容がないかを確認します       | <p>85 点以上 ✅<br>60-84 点 ⚠️<br>60 点未満 ❌</p> |
| **回答関連性スコア**    | AI が顧客の本当に知りたいことに回答しているかを確認します          | <p>85 点以上 ✅<br>60-84 点 ⚠️<br>60 点未満 ❌</p> |
| **コンテキスト精度スコア** | AI が適切な参照資料を見つけ、コンテキストに的確に対応しているかを確認します | <p>85 点以上 ✅<br>60-84 点 ⚠️<br>60 点未満 ❌</p> |

***

#### 簡単な判断方法 <a href="#simple-evaluation-method" id="simple-evaluation-method"></a>

```
3つの指標がすべて > 80 点  → ✅ 良い回答です
いずれかの指標が < 60 点  → ❌ すぐに改善が必要です
2つ以上の指標が < 70 点  → ⚠️ システム全体の問題として、全面的な見直しが必要です
```

***

## 2. 評価レポートの読み方 <a href="#how-to-read-evaluation-report" id="how-to-read-evaluation-report"></a>

#### レポート例 <a href="#report-example" id="report-example"></a>

```
会話番号：#20240120-001
顧客の質問：「黒のトレンチコートの XL サイズはまだ在庫がありますか？」
AI の回答：「黒のトレンチコートは現在在庫があり、XL サイズをご注文いただけます。」

評価結果：
├─ 忠実性スコア (faithfulness_score)：45 点 ❌ （在庫があると回答していますが、実際にはありません）
├─ 回答関連性スコア (answer_relevancy_score)：90 点 ✅ （在庫に関する質問に回答しています）
└─ コンテキスト精度スコア (context_precision_score)：70 点 ⚠️ （トレンチコートの資料は見つかっていますが、サイズ情報が十分に正確ではありません）

問題診断：AI が誤った在庫情報を回答しています
```

***

#### よくある3種類の問題 <a href="#three-common-issue-types" id="three-common-issue-types"></a>

**問題 A：忠実性スコアが低い（60 点未満）**

**症状**：AI が誤った情報や根拠のない内容を回答します

**よくある原因**：

* 参照資料が古くなっています（価格、在庫、ポリシーが更新されています）
* 資料の内容が矛盾しています（文書によって説明が異なります）
* AI がデータベースの内容に基づかず、自分で回答を「推測」しています

**影響**：顧客に誤った情報が伝わり、苦情につながる可能性があります

***

**問題 B：回答関連性スコアが低い（60 点未満）**

**症状**：AI が顧客の本当に知りたいことに回答していません

**よくある原因**：

* AI の説明が長く、要点を伝えていません
* 質問と関係のない内容を回答しています
* 背景を説明するだけで、具体的な回答をしていません

**影響**：顧客がもう一度質問する必要があり、満足度が下がります

***

**問題 C：コンテキスト精度スコアが低い（60 点未満）**

**症状**：AI が誤った参照資料、または十分に的確ではない資料を見つけています

**よくある原因**：

* キーワード検索が不正確です
* 異なる商品/カテゴリの情報を混同しています
* 参照資料のタイトルや分類が不明確です

**影響**：AI が適切に回答しようとしても、資料を間違えると回答も誤ってしまいます

***

## 3. 実践事例：アパレル業界でよくある問題 <a href="#case-study-common-issues-in-apparel" id="case-study-common-issues-in-apparel"></a>

#### 事例 1：価格を間違える（忠実性スコアが低い） <a href="#case-1-wrong-price-low-honesty-score" id="case-1-wrong-price-low-honesty-score"></a>

**📊 問題の発見**

**顧客の質問**：「このダウンジャケットはいくらですか？」

**AI の回答**：「このダウンジャケットの価格は 3,990 円です。」

**評価結果**：

* 忠実性スコア (faithfulness\_score)：**38 点** ❌
* 回答関連性スコア (answer\_relevancy\_score)：95 点 ✅
* コンテキスト精度スコア (context\_precision\_score)：85 点 ✅

**実際の状況**：\
商品の価格は割引後の 2,990 円に変更されていますが、AI は元の価格を回答しています。

***

**💡 改善プラン**

**ステップ 1：資料を確認します**

* ナレッジベースの「商品価格表」を開きます
* 価格が更新されていないことを確認します

**ステップ 2：資料を更新します**

❌ **問題のある資料**

```
ダウンジャケットシリーズ
- 定番ダウンジャケット：3,990 円
- ロングダウンジャケット：4,990 円
```

✅ **修正後の資料**

```
ダウンジャケットシリーズ（2024 年冬季価格）

商品名：定番ダウンジャケット
- 通常価格：3,990 円
- 割引価格：2,990 円（2024/1/1 から）
- キャンペーン期間：2024/1/1 - 2024/2/28

商品名：ロングダウンジャケット
- 通常価格：4,990 円
- 割引価格：3,990 円（2024/1/1 から）
- キャンペーン期間：2024/1/1 - 2024/2/28

更新日：2024/1/15
```

**ステップ 3：AI に指示します**

「AI 回答方針」に次の内容を追加します：

> 「価格を回答する際は、必ず最新の価格であることを確認し、適用期間を説明してください。割引キャンペーンがある場合は、通常価格と割引価格の両方を伝えてください。」

***

#### 事例 2：質問に答えていない（回答関連性スコアが低い） <a href="#case-2-irrelevant-answer-low-relevance-score" id="case-2-irrelevant-answer-low-relevance-score"></a>

**📊 問題の発見**

**顧客の質問**：「購入した商品が体に合わなかったら、返品できますか？」

**AI の回答**：「S、M、L、XL など、さまざまなサイズをご用意しています。各商品のサイズ表は商品ページに記載しています。購入前にサイズ表を参考にして採寸することをおすすめします。」

**評価結果**：

* 忠実性スコア (faithfulness\_score)：90 点 ✅
* 回答関連性スコア (answer\_relevancy\_score)：**35 点** ❌
* コンテキスト精度スコア (context\_precision\_score)：60 点 ⚠️

**問題診断**：\
顧客は「返品できるか」を聞いていますが、AI は「サイズの選び方」を説明しており、肝心の質問にまったく答えていません。

***

**💡 改善プラン**

**ステップ 1：回答方針を調整します**

「AI 回答方針」に次の内容を追加します：

> **基本方針：まず顧客の核心となる質問に答えます**
>
> 誤った例：
>
> * 顧客の質問：「返品できますか？」
> * AI の回答：「当社は充実したアフターサービスを提供しています...」❌（返品できるかを説明していません）
>
> 適切な例：
>
> * 顧客の質問：「返品できますか？」
> * AI の回答：「はい、できます。商品到着から 7 日以内で、未使用の場合は返品を申請できます...」✅（直接回答しています）

**ステップ 2：資料の構成を整理します**

❌ **問題のある資料（要点がまとまっていません）**

```
アフターサービスのご案内

当社はお客様の権利を重視し、充実したアフターサービスを提供しています。
商品をご購入の際はサイズ表をよく確認し、適切なサイズをお選びください。
ご不明な点がございましたら、カスタマーサービスまでお問い合わせください...
```

✅ **修正後の資料**

```
返品・交換規定

Q：返品できますか？
A：はい、できます。商品到着から 7 日以内で、未使用かつタグがそろっている場合は返品を申請できます。

返品条件：
✅ 商品が未使用、未洗濯で、試着時間が 10 分を超えていません
✅ タグと梱包がそろっています
✅ 商品到着から 7 日以内に申請してください
❌ セール品と下着類は返品できません

返品手順：
1. カスタマーサービス専用ダイヤル 0800-XXX-XXX に電話するか、オンラインフォームに入力してください
2. カスタマーサービスが返品先の住所と受付番号をご案内します
3. 7-14 日以内に元のお支払い方法で返金します

---

Q：交換できますか？
A：はい、できます。商品到着から 7 日以内であれば、無料でサイズや色を交換できます（同じ商品に限ります）。

交換手順：
1. カスタマーサービスに連絡し、在庫を確認してください
2. 商品を返送してください（返品と同じ条件です）
3. 商品を受け取ってから 3 日以内に交換品を発送します
```

**改善のポイント**：

* ✅ 最初に「できます」または「できません」と直接回答します
* ✅ Q\&A 形式でわかりやすくまとめます
* ✅ 明確な条件を示し、トラブルを防ぎます

***

#### 事例 3：違う商品の資料を取得する（コンテキスト精度スコアが低い） <a href="#case-3-wrong-product-low-context-precision-score" id="case-3-wrong-product-low-context-precision-score"></a>

**📊 問題の発見**

**顧客の質問**：「黒のニットトップスの素材は何ですか？」

**AI の回答**：「このニットトップスは綿 100% です。柔らかく快適で、四季を通じて着用できます。」

**評価結果**：

* 忠実性スコア (faithfulness\_score)：88 点 ✅
* 回答関連性スコア (answer\_relevancy\_score)：90 点 ✅
* コンテキスト精度スコア (context\_precision\_score)：**48 点** ❌

**実際の状況**：\
黒のニットトップスはウール 70% + ポリエステル 30% ですが、AI は「白のニットトップス」の資料（綿 100%）を取得しています。

***

**💡 改善プラン**

**ステップ 1：資料のラベルを確認します**

問題のある資料のファイル名：

```
針織上衣.pdf
```

問題点：すべてのニットトップスが1つの文書に含まれているため、AI が区別しにくくなっています。

**ステップ 2：資料の構成を改善します**

✅ **修正案 A：文書を分けます**

```
商品資料/
├─ 針織上衣_黑色_型號A001.pdf
├─ 針織上衣_白色_型號A002.pdf
├─ 針織上衣_灰色_型號A003.pdf
```

✅ **修正案 B：見出しを明確にします**

```markdown
# ニットトップスの商品情報

## 黒のニットトップス（型番：A001）
- 色：黒
- 素材：ウール 70% + ポリエステル 30%
- 適した季節：秋冬
- お手入れ：手洗いしてください。タンブル乾燥はできません

## 白のニットトップス（型番：A002）
- 色：白
- 素材：綿 100%
- 適した季節：春夏秋冬
- お手入れ：洗濯機で洗えます。低温でタンブル乾燥してください

## グレーのニットトップス（型番：A003）
- 色：グレー
- 素材：ウール 50% + アクリル 50%
- 適した季節：秋冬
- お手入れ：ドライクリーニングしてください
```

**ステップ 3：AI に指示します**

「AI 回答方針」に次の内容を追加します：

> 「顧客が商品の色や型番に言及した場合は、参照資料がその色や型番の情報であることを必ず確認してください。同じ商品でも、色によって素材や仕様が異なる場合があります。」

***

## 4. 3ステップの改善プラン <a href="#three-step-improvement-plan" id="three-step-improvement-plan"></a>

問題を見つけたら、次の手順で対応します：

```
スコアが低すぎることを発見します
    ↓
ステップ 1：資料の内容を更新します（最も重要です）
    ↓
ステップ 2：AI 回答方針を調整します
    ↓
ステップ 3：技術チームに報告します（必要に応じて）
```

***

#### ステップ 1：資料の内容を更新します <a href="#step-1-update-content" id="step-1-update-content"></a>

**適用する状況**：

* ✅ 忠実性スコアが低い場合（資料が誤っている、または古くなっています）
* ✅ コンテキスト精度スコアが低い場合（資料が整理されていない、ラベルが不明確です）

**チェックリスト**：

* [ ] 資料は最新のバージョンですか？
* [ ] 価格、在庫、ポリシーは正確ですか？
* [ ] 異なる商品の資料は明確に区別されていますか？
* [ ] 見出しは明確ですか？（AI が見つけやすいようにします）
* [ ] 箇条書きや表で示していますか？（長い文章ではなく、整理して示します）

**資料の品質例**：

❌ **良くない資料**

```
返品のご案内

一部の商品は返品できますが、一定の条件を満たす必要があります。
特殊な商品の中には返品できないものがありますので、購入前にご確認ください。
返品をご希望の場合はカスタマーサービスにご連絡ください。
```

✅ **良い資料**

```
返品規定

返品可能な商品：
✅ 一般衣料品（トップス、パンツ、アウター）
✅ 小物（バッグ、帽子、マフラー）

返品できない商品：
❌ 下着類、水着
❌ セール品（50% 引き以上）
❌ カスタマイズ商品

返品条件（すべて満たす必要があります）：
1. 商品到着から 7 日以内です
2. 商品が未使用です（タグがそろっており、試着の跡がありません）
3. 梱包がそろっています

返品手順：
1. カスタマーサービス専用ダイヤル 0800-XXX-XXX に電話してください
2. 注文番号を伝えてください
3. カスタマーサービスが返品先の住所をご案内します
4. 商品を返送してください（書留の利用をおすすめします）
5. 商品を受け取ってから 7-14 日で返金します

連絡先：
- カスタマーサービス専用ダイヤル：0800-XXX-XXX（09:00-21:00）
- オンラインサポート：公式サイト右下のチャット欄
- Email：service@example.com
```

***

#### ステップ 2：AI 回答方針を調整します <a href="#step-2-adjust-ai-answer-principles" id="step-2-adjust-ai-answer-principles"></a>

本ガイドの「AI 回答方針」は、Agent の <mark style="color:blue;">ロール指示</mark> に対応します（<mark style="color:blue;">AI アシスタント</mark> → Agent を選択 → <mark style="color:blue;">設定</mark> → <mark style="color:blue;">回答モード設定</mark> → <mark style="color:blue;">ロール指示</mark>）。

**適用する状況**：

* ✅ 回答関連性スコアが低い場合（質問に答えていません）
* ✅ 忠実性スコアが低い場合（AI が推測したり、根拠のない内容を回答したりします）

**AI 回答方針のテンプレート**：

```markdown
# AI カスタマーサービスの回答方針

## 基本ルール

1. **まず核心となる質問に答えます**
   - 顧客が「できますか」と聞いたら → まず「できます」または「できません」と回答します
   - 顧客が「いくらですか」と聞いたら → まず価格を伝えます
   - 顧客が「どうすればよいですか」と聞いたら → まず手順を示します

2. **確実なことだけを伝えます**
   - すべての情報は参照資料に基づく必要があります
   - 不明な場合は「この件は有人のカスタマーサービスによる対応が必要です」と伝えます
   - 推測や仮定は絶対にしません

3. **細部に注意します**
   - 色、サイズ、型番を混同しません
   - 価格が最新であることを確認します
   - キャンペーン期間を明確に説明します

## 回答形式

### ポリシーに関する質問（返品・交換、会員、特典）
第1段落：「できます」または「できません」と直接回答します 
第2段落：条件を説明します（箇条書きにします） 
第3段落：顧客が行うことを伝えます（手順または連絡先）

### 商品に関する質問（価格、素材、在庫）
第1段落：質問に直接回答します（価格/素材/在庫の有無） 
第2段落：商品情報を補足します（仕様、サイズ、色） 
第3段落：購入リンクまたは次のステップを示します

### 手順に関する質問（購入、返品、交換の方法）
第1段落：手順をまとめます（3-5 ステップ） 
第2段落：各ステップを詳しく説明します 
第3段落：注意事項または連絡先を示します

## 禁止事項

❌ 「通常」「一般的には」「おそらく」といった表現を使いません（明確に伝えます）
❌ 異なる商品の情報を混同しません
❌ 重要な条件（価格、サイズ、期限）を省略しません
❌ 顧客が伝えていない情報を推測しません

## 例

✅ 良い回答：
顧客：「このアウターは返品できますか？」 AI：「はい、できます。商品到着から 7 日以内で、次の条件を満たしている場合は返品を申請できます。
商品が未使用で、タグがそろっています
梱包に破損がありません
セール品ではありません
返品手順：カスタマーサービス専用ダイヤル 0800-XXX-XXX にお電話ください。返品先の住所と手順をご案内します。約 7-14 営業日で、元のお支払い方法に返金します。」

❌ 良くない回答：
顧客：「このアウターは返品できますか？」 AI：「当社はお客様の権利を重視し、充実したアフターサービスを提供しています。購入前に商品説明をよく確認し、適切なサイズを選ぶことをおすすめします。ご不明な点がございましたらカスタマーサービスまでお問い合わせください...」 （返品できるかどうかを直接回答していません）
```

***

#### ステップ 3：技術チームに報告します <a href="#step-3-escalate-to-technical-team" id="step-3-escalate-to-technical-team"></a>

**適用する状況**：

* コンテキスト精度スコアが継続して低い場合
* 同じ問題が繰り返し発生する場合
* 資料と方針を調整しても改善しない場合

**報告内容**：

```
問題の種類：コンテキスト精度スコアが低いです

問題の説明：
顧客が「黒」の商品について質問すると、AI は「白」や別の色の資料を取得することがよくあります。

影響範囲：
商品に関する質問の約 15% で、この問題が発生しています

実施済みの改善：
✅ 色ごとの商品資料を別々のファイルに分けました
✅ 見出しに色を明確に記載しました
⚠️ 問題はまだ完全には解決していません

希望する技術的な調整：
「色」のキーワードを、システムがより正確に識別できるようにしてほしいです

添付ファイル：
- test_cases_color_queries.csv（100 件のテスト質問）
- current_results.csv（現在のシステムの検索結果）
- expected_results.csv（期待する正しい結果）
```

***

## 5. 日常管理チェックリスト <a href="#daily-management-checklist" id="daily-management-checklist"></a>

#### 日常の確認 <a href="#daily-checks" id="daily-checks"></a>

**問題を見つけたとき：**

```
同じ種類の問題が ≥ 3 回発生した場合
→ すぐに対応します（資料の更新または方針の調整）

価格やポリシーの誤りがある場合
→ 緊急で修正し、当日中に完了します

単発の問題の場合
→ 記録して状況を観察し、議論の対象にします
```

***

#### 回答品質の追跡 <a href="#response-quality-tracking" id="response-quality-tracking"></a>

**1. データの振り返り**

```
今週の統計：
- 会話総数：___ 件
- 平均忠実性スコア (faithfulness_score)：___ 点
- 平均回答関連性スコア (answer_relevancy_score)：___ 点
- 平均コンテキスト精度スコア (context_precision_score)：___ 点
- 問題のある会話数：___ 件（____%）
```

**2. 問題の分析**

```
発生頻度の高い問題 Top 3：
1. ________（__ 回）- どの指標が低いですか？
2. ________（__ 回）- どの指標が低いですか？
3. ________（__ 回）- どの指標が低いですか？
```

**3. 改善活動**

```
今週の対応：
□ ___ 件の資料を更新します（担当者：___）
□ ___ 項目の回答方針を調整します（担当者：___）
□ ___ 件の技術的な問題を報告します（担当者：___）

来週の目標：
- 問題のある会話の割合を < ____% に下げます
- すべての指標の平均を > ___ 点にします
```

***

## 付録Ａ：問題診断早見表 <a href="#appendix-a-issue-diagnosis-reference" id="appendix-a-issue-diagnosis-reference"></a>

| スコアの状況             | 考えられる原因                         | 改善方法                        |
| ------------------ | ------------------------------- | --------------------------- |
| **忠実性スコアが低い**      | 資料が古い、誤っている、AI が根拠のない内容を回答しています | ステップ 1：資料の内容を更新します          |
| **回答関連性スコアが低い**    | AI が質問に答えていません                  | ステップ 2：回答方針を調整します           |
| **コンテキスト精度スコアが低い** | AI が誤った資料や的確でない資料を取得しています       | ステップ 1：資料のラベルを改善します         |
| **複数の指標が低い**       | システム全体の問題です                     | ステップ 1+2、必要に応じてステップ 3 を行います |

***

#### 改善の優先順位 <a href="#improvement-priority-order" id="improvement-priority-order"></a>

```
最優先：忠実性スコア < 60 点
→ 顧客に誤った情報や根拠のない内容を伝え、苦情につながる可能性があります

第2優先：回答関連性スコア < 60 点  
→ 顧客体験が悪くなり、繰り返し質問する必要があります

第3優先：コンテキスト精度スコア < 60 点
→ 問題が目立たなくても、長期的に品質へ影響します
```

***

## 付録 B：システム評価指標の対応表 <a href="#appendix-b-system-evaluation-metrics" id="appendix-b-system-evaluation-metrics"></a>

#### 主要指標（正解例は不要です） <a href="#primary-metrics-no-reference-answer-needed" id="primary-metrics-no-reference-answer-needed"></a>

この3つの指標は本ガイドの中心となるもので、日常のカスタマーサービスの会話評価にそのまま活用できます：

| 中国語名            | 英語の正式名称           | 説明                                            |
| --------------- | ----------------- | --------------------------------------------- |
| **忠実性スコア**      | Faithfulness      | AI の回答がデータベースの内容に沿っているか、根拠のない内容や作り話がないかを評価します |
| **回答関連性スコア**    | Answer Relevancy  | AI の回答が顧客の質問に関連しているか、質問から外れていないかを評価します        |
| **コンテキスト精度スコア** | Context Precision | AI の回答がコンテキストに的確に対応し、適切な参照資料を取得しているかを評価します    |

#### 高度な指標（正解例が必要です） <a href="#advanced-metrics-reference-answer-required" id="advanced-metrics-reference-answer-required"></a>

以下の指標は、事前に「正解例」(ground truth) を用意する必要があり、テストケースの評価に適しています：

| 中国語名          | 英語の正式名称            | 説明                            |
| ------------- | ------------------ | ----------------------------- |
| **回答正確性**     | Answer Correctness | AI の回答と正解例を比較し、正確性を評価します      |
| **回答類似度**     | Answer Similarity  | AI の回答と正解例の意味的な類似度を評価します      |
| **コンテキスト再現率** | Context Recall     | システムが必要な参照資料をすべて取得しているかを評価します |

#### その他の利用可能な指標（DeepEval） <a href="#other-available-metrics-deepeval" id="other-available-metrics-deepeval"></a>

AgentOps → <mark style="color:blue;">自動テスト</mark> の評価結果では、システムが以下の追加指標も提供しており、より総合的な品質確認に活用できます：

| 中国語名          | 英語名                  | 説明                              |
| ------------- | -------------------- | ------------------------------- |
| **バイアス**      | Bias                 | 回答に偏見や差別的な内容が含まれていないかを検出します     |
| **有害性**       | Toxicity             | 回答に不適切な内容や攻撃的な内容が含まれていないかを検出します |
| **ハルシネーション**  | Hallucination        | AI が事実と異なる内容を生成していないかを検出します     |
| **コンテキスト関連性** | Contextual Relevancy | 取得した参照資料が質問に関連しているかを評価します       |

#### 利用の推奨事項 <a href="#usage-recommendations" id="usage-recommendations"></a>

1. **日常の監視**：3つの主要指標（忠実性スコア、回答関連性スコア、コンテキスト精度スコア）を使用します
2. **テスト評価**：高度な指標と組み合わせ、正解例を用意して体系的に評価します
3. **品質管理**：自動テスト結果のバイアスと有害性の指標に注意し、回答が企業の基準に沿っていることを確認します

***

## よくある質問 Q\&A <a href="#faq" id="faq"></a>

**Q1：技術に詳しくなくても、AI カスタマーサービスを管理できますか？**\
A：はい、できます！カスタマーサービス担当者を管理するのと同じように、次のことを行えば十分です：

* 毎日評価レポートを確認し、問題のある会話を見つけます
* 資料が正確で、必要な情報がそろっているかを確認します
* AI の「回答方針」を調整します（接客トークの研修と同じです）

***

**Q2：スコアはどのように付けられますか？AI が自分を評価するのでしょうか？**\
A：いいえ。専用の「評価システム」が自動で採点します。別の AI が「品質管理」を担当し、最初の AI の回答を確認するような仕組みです。

***

**Q3：3つの指標はすべて重要ですか？1つだけを見てもよいですか？**\
A：異なる問題を示すため、3つすべてを確認することをおすすめします：

* **忠実性スコア** (`faithfulness_score`)：AI がデータベースの内容に沿い、根拠のない内容を回答していないかを確認します
* **回答関連性スコア** (`answer_relevancy_score`)：AI が質問を理解し、関連する回答をしているかを確認します
* **コンテキスト精度スコア** (`context_precision_score`)：AI がコンテキストに的確に対応し、適切な参照資料を取得しているかを確認します

1つだけを見ると、重要な問題を見落とす可能性があります。

***

**Q4：改善後、どのくらいで効果が現れますか？**\
A：

* 資料の更新：すぐに反映されます（当日中に改善を確認できます）
* 回答方針の調整：すぐに反映されます
* 技術的な調整：2-4 週間かかります（問題の複雑さによって異なります）

***

## おわりに <a href="#closing" id="closing"></a>

AI カスタマーサービスの管理は、人のカスタマーサービスチームの管理と同じです：

✅ **定期的に品質を確認します**（評価レポートを確認します）\
✅ **知識を継続して更新します**（資料の内容を更新します）\
✅ **接客トークを改善します**（回答方針を調整します）\
✅ **改善の効果を記録します**（スコアの変化を追跡します）

このガイドに沿って取り組めば、技術に詳しくなくても AI カスタマーサービスを継続的に改善できます！


---

# Agent Instructions
This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com.

## Querying This Documentation
If you need additional information that is not directly available in this page, you can query the documentation by asking a question.

Perform an HTTP GET request on the following URL with the `ask` and `goal` query parameters:

```
GET https://docs.maiagent.ai/maiagent-user-guide/ja/serve/ai-quality-guide.md?ask=<question>&goal=<user_goal>
```

`ask` is the immediate question: it should be specific, self-contained, and written in natural language.
`goal` is what the user is ultimately trying to achieve, the reason they need the answer. Sharing it helps GitBook give you a better, more relevant answer. A goal is most helpful when it describes the outcome the user wants rather than restating the question. For example, with `ask=how do I create an API token`, a goal like `automate deployments from our CI pipeline` lets GitBook tailor the answer to that use case.

The response will contain a direct answer to the question and relevant excerpts and sources from the documentation.

Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.