> For the complete documentation index, see [llms.txt](https://docs.maiagent.ai/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://docs.maiagent.ai/tech/ja/advanced-genai-tech/evaluation.md).

# 回答の評価とモニタリング結果

MaiAgent の回答評価に関する技術説明：Agent モニタリングと自動評価で使用する指標、必要なデータ、スコアの方向性、テストケースの合否判定について説明します。

MaiAgent は、運用開始後に回答ごとにスコアを算出する **Agent モニタリング**と、テストセットを使って一括実行する**自動評価**の 2 つの方法で Agent の回答品質を評価します。本ページでは、それぞれの指標と計算方法を説明します。管理画面で評価を作成し、結果を確認する操作については、ユーザーマニュアルの[自動評価と Agent モニタリング](https://docs.maiagent.ai/build/agent-ops/evaluations)をご覧ください。ご自身のシステムからテストセットを作成し、評価を実行して結果を取得する方法については、API ドキュメントの[評価とテストセット](https://docs.maiagent.ai/api/api-reference/ping-gu-he-ce-shi-ji)をご覧ください。

## 2 つの評価方法の違い <a href="#two-modes" id="two-modes"></a>

| 項目         | Agent モニタリング                                        | 自動評価                                              |
| ---------- | --------------------------------------------------- | ------------------------------------------------- |
| 評価対象       | 実際の会話における各回答                                        | テストセットの質問に Agent が実際に回答した後、採点します                  |
| 有効にする方法    | Agent の <mark style="color:blue;">自動評価を有効にする</mark> | AgentOps で評価を作成します                                |
| 採点フレームワーク  | Ragas                                               | DeepEval（4.1.7）                                   |
| 採点に使用するモデル | プラットフォームに設定された評価モデル                                 | 評価作成時に選択する <mark style="color:blue;">評価モデル</mark> |
| 指標         | 固定の 3 項目（以下を参照）                                     | 組み込み指標を組み合わせ、カスタム指標も追加できます                        |
| 費用         | 採点には組織の利用枠を消費します                                    | 回答と採点の両方で組織の利用枠を消費します                             |

{% hint style="info" %}
オンプレミス環境では、Agent モニタリングが使用する評価モデルと Embedding モデルをプラットフォームのシステム設定で指定します。オンプレミス環境から接続できるモデルを指定しないと、採点が失敗します。
{% endhint %}

## Agent モニタリングの指標 <a href="#monitoring-metrics" id="monitoring-metrics"></a>

Agent の <mark style="color:blue;">自動評価を有効にする</mark> を有効にすると、回答が完了するたびにプラットフォームがバックグラウンドで以下のスコアを計算し、Agent モニタリングに結果を表示します。

| 指標                            | 判定内容                              |
| ----------------------------- | --------------------------------- |
| Faithfulness（忠実度）             | 回答の内容すべてに、検索された文章内で根拠が見つかるかを判定します |
| Answer Relevancy（回答の関連性）      | 回答が質問に的確に答えているかを判定します             |
| Context Precision（コンテキストの適合率） | 検索された文章と質問の関連度を判定します。期待する回答は不要です  |

実際の会話には期待する回答がないため、モニタリングでは期待する回答が必要な指標を計算しません。

## 自動評価の指標 <a href="#evaluation-metrics" id="evaluation-metrics"></a>

### シングルターン評価 <a href="#single-turn-metrics" id="single-turn-metrics"></a>

Agent が各質問に実際に回答した後、以下の指標で採点します（管理画面に表示される名称は「管理画面の名称」欄を参照してください）。

| 指標                   | 管理画面の名称                                     | 判定内容                             | 管理画面で評価を作成する場合                             |
| -------------------- | ------------------------------------------- | -------------------------------- | ------------------------------------------ |
| Faithfulness         | <mark style="color:blue;">品質スコア</mark>      | 回答が検索された文章に忠実かを判定します             | 常に計算します                                    |
| Answer Relevancy     | <mark style="color:blue;">回答の関連性</mark>     | 回答が質問に答えているかを判定します               | 常に計算します                                    |
| Contextual Precision | <mark style="color:blue;">コンテキストの適合率</mark> | 関連する文章が上位に並んでいるかを判定します           | 常に計算します（期待する回答が必要です）                       |
| Contextual Relevancy | <mark style="color:blue;">コンテキストの関連性</mark> | 検索された文章全体と質問の関連度を判定します           | 常に計算します（期待する回答が必要です）                       |
| Contextual Recall    | <mark style="color:blue;">コンテキストの再現率</mark> | 期待する回答に必要な情報がすべて検索されているかを判定します   | 常に計算します（期待する回答が必要です）                       |
| Bias                 | <mark style="color:blue;">バイアス</mark>       | 回答にバイアスが含まれるかを判定します              | 常に計算します                                    |
| Toxicity             | <mark style="color:blue;">有害性</mark>        | 回答に不適切または有害な内容が含まれるかを判定します       | 常に計算します                                    |
| Hallucination        | <mark style="color:blue;">ハルシネーション</mark>   | 回答が検索された内容と矛盾するかを判定します           | 常に計算します                                    |
| PII Leakage          | <mark style="color:blue;">PII 漏えい</mark>    | 回答が個人識別情報を漏えいしているかを判定します         | 任意（<mark style="color:blue;">安全性指標</mark>） |
| Role Violation       | <mark style="color:blue;">役割違反</mark>       | 回答が Agent 本来の役割から逸脱しているかを判定します   | 任意（<mark style="color:blue;">安全性指標</mark>） |
| Misuse               | <mark style="color:blue;">不正利用</mark>       | Agent が想定外の用途に使用されているかを判定します     | 任意（<mark style="color:blue;">安全性指標</mark>） |
| Non-Advice           | <mark style="color:blue;">専門的助言の回避</mark>   | 回答が医療、法律、金融などの専門的助言を避けているかを判定します | 任意（<mark style="color:blue;">安全性指標</mark>） |

* 管理画面で作成するシングルターン評価では、コンテキストに関する 3 つの指標を計算するため、**すべての質問に&#x20;**<mark style="color:blue;">**期待する回答**</mark>**&#x20;が必要です**。期待する回答が入力されていない質問は <mark style="color:blue;">スキップ済み</mark> と表示され、回答も採点も行いません。
* プラットフォームの評価サービスは、Task Completion、Tool Correctness、Summarization の 3 つの指標にも対応していますが、管理画面で評価を作成する場合には有効になりません。

### マルチターン評価 <a href="#multi-turn-metrics" id="multi-turn-metrics"></a>

マルチターン評価では、シミュレーションユーザーがテストケースのシナリオに沿って Agent と会話し（最大ターン数は 2～10、デフォルトは 6）、以下の指標で採点します。少なくとも 1 つの組み込み指標を有効にするか、カスタム指標を設定する必要があります。

| 指標                                                                 | 判定内容                      |
| ------------------------------------------------------------------ | ------------------------- |
| <mark style="color:blue;">ターンごとの忠実度（Turn Faithfulness）</mark>      | 各ターンの回答が検索された内容に忠実かを判定します |
| <mark style="color:blue;">ターンごとの関連性（Turn Relevancy）</mark>         | 各ターンの回答が質問に答えているかを判定します   |
| <mark style="color:blue;">会話の完遂度（Conversation Completeness）</mark> | 会話全体がユーザーの目標を達成したかを判定します  |

### カスタム指標（GEval） <a href="#custom-metrics" id="custom-metrics"></a>

シングルターン評価とマルチターン評価のどちらにも <mark style="color:blue;">カスタム指標</mark> を追加できます。自然言語で <mark style="color:blue;">評価基準</mark> を記述するか、<mark style="color:blue;">評価ステップ</mark> を列挙すると、評価モデルが基準に沿って 0～1 のスコアを付けます。

| 制限                                      | ルール                                                                    |
| --------------------------------------- | ---------------------------------------------------------------------- |
| 数量                                      | 1 回の評価につき最大 10 個です                                                     |
| 名称                                      | 最大 100 文字です。同じ評価内で重複できません（大文字と小文字は区別しません）。また、そのモードの組み込み指標と同じ名称は使用できません |
| 評価基準                                    | 最大 2,000 文字です                                                          |
| 評価ステップ                                  | 最大 10 件、各ステップは最大 500 文字です                                              |
| <mark style="color:blue;">合格しきい値</mark> | 0～1、デフォルトは 0.5 です                                                      |

シングルターン評価のカスタム指標は、質問、Agent の回答、検索された文章に基づいて採点します。マルチターン評価のカスタム指標は、会話全体の文字起こしに基づいて採点し、検索された文章は参照しません。

## スコアの方向性と合否判定 <a href="#scoring" id="scoring"></a>

* スコアの範囲は 0～1 です。組み込み指標には DeepEval のデフォルトの合格しきい値 0.5 を使用します。
* 各テストケースのスコアは DeepEval の元の方向性を維持します。**バイアス、有害性、ハルシネーション、不正利用はスコアが低いほど良く**、その他の指標は高いほど良くなります。評価の統計値では、この 4 つを「1 − スコア」に換算し、すべての統計値で高いほど良くなるようにします。
* シングルターン評価で質問の合否を判定する際は、以下の 3 グループの主要指標を順番に確認します。いずれかのグループで 1 つでも指標がしきい値を満たさなければ、その質問は不合格です。
  1. 安全性：バイアス、有害性、ハルシネーション、PII 漏えい、役割違反、不正利用、専門的助言の回避
  2. 成果：回答の関連性（および Task Completion）
  3. 根拠：コンテキストの再現率
* その他の指標（品質スコア、コンテキストの適合率、コンテキストの関連性、カスタム指標など）もしきい値を満たす必要があります。上記の 3 グループすべてが計算され、すべて合格している場合に限り、その他の指標がしきい値を満たさなくても合否には影響しません。
* 不安定（flaky）とマークされた質問も実行して結果を保存しますが、合格率には含めません。

## Faithfulness と Hallucination の違い <a href="#faithfulness-vs-hallucination" id="faithfulness-vs-hallucination"></a>

どちらも回答と検索された内容の関係を確認しますが、観点が異なります。

| 観点      | Faithfulness（品質スコア）               | Hallucination（ハルシネーション） |
| ------- | --------------------------------- | ----------------------- |
| 評価する問い  | 回答中のどれだけの記述が、検索された内容に根拠を持つかを評価します | 回答が検索された内容と矛盾するかを評価します  |
| スコアの方向性 | 高いほど良くなります                        | 各テストケースのスコアは低いほど良くなります  |

例えば、検索された内容が「台北 101 の高さは 508 メートルで、2004 年に完成しました」で、回答に「かつて世界で最も高い建物でした」という一文が追加されている場合です。この一文には検索された内容に根拠がないため、Faithfulness が下がります。一方、Hallucination は回答が検索された内容と矛盾していないかを確認します。

## スコアが低い場合の確認ポイント <a href="#troubleshooting" id="troubleshooting"></a>

* **コンテキストの再現率や適合率が低い場合**：検索で正しい文章が見つかっていません。まず[検索テスト](https://docs.maiagent.ai/build/knowledge-base/test-search-result)で確認し、ナレッジベースの内容、パーサー、検索パラメータを調整してください。[RAG ナレッジベース検索システム](/tech/ja/quickstart/rag.md#parameters)を参照してください。
* **品質スコアが低く、コンテキストのスコアは正常な場合**：文章は見つかっていますが、回答がその文章に基づいていません。システムプロンプトを確認するか、より高性能なモデルに変更してください。
* **回答の関連性が低い場合**：回答が質問に的確に答えていません。システムプロンプトの制約が厳しすぎる場合や、質問がナレッジベースの範囲外の場合によく発生します。
* **スコア全般が不安定な場合**：採点自体は評価モデルの判断に依存します。より高性能な評価モデルを選択してください。


---

# Agent Instructions
This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com.

## Querying This Documentation
If you need additional information that is not directly available in this page, you can query the documentation by asking a question.

Perform an HTTP GET request on the following URL with the `ask` and `goal` query parameters:

```
GET https://docs.maiagent.ai/tech/ja/advanced-genai-tech/evaluation.md?ask=<question>&goal=<user_goal>
```

`ask` is the immediate question: it should be specific, self-contained, and written in natural language.
`goal` is what the user is ultimately trying to achieve, the reason they need the answer. Sharing it helps GitBook give you a better, more relevant answer. A goal is most helpful when it describes the outcome the user wants rather than restating the question. For example, with `ask=how do I create an API token`, a goal like `automate deployments from our CI pipeline` lets GitBook tailor the answer to that use case.

The response will contain a direct answer to the question and relevant excerpts and sources from the documentation.

Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.