> For the complete documentation index, see [llms.txt](https://docs.maiagent.ai/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://docs.maiagent.ai/build/agent-ops/evaluation-insights.md).
# 評估洞察報告
評估洞察報告：批次測試完成後自動分析指標分數、歸納問題類型並產生改善建議，說明計算方式與應用場景。
本篇將介紹如何使用評估洞察功能，協助您快速理解 Agent 的測試結果，並獲得系統自動生成的改善建議。
## 什麼是評估洞察？
評估洞察是 AgentOps 自動化測試的延伸功能。當您完成一次單輪批次測試後，系統不僅會顯示各項指標分數，還會自動分析測試結果，在評估詳情頁產生「AI 洞察」區塊（本頁稱為洞察報告）。多輪對話評估目前不產生洞察報告。
這份報告會告訴您：
* **測試結果的整體表現如何**
* **哪些指標的通過率偏低**
* **具體該如何改善**
* **優先處理哪些項目**
就像請一位資深顧問幫您看過測試報告，並給您一份改善建議書。
## 評估洞察的核心優勢
### 📊 自動化分析
不需要手動解讀複雜的評分數據，系統會自動識別問題模式並整理成易懂的報告。
### 🎯 優先順序建議
系統會依據問題的嚴重程度和影響範圍，建議您優先處理哪些項目，讓改善工作更有效率。
### 💡 具體改善方向
不只告訴您「有問題」，還會提供具體的改善建議，例如應該調整哪些設定、補充哪些內容。
### 🌐 多語言支援
洞察報告以建立評估當下的後台介面語言產生，例如以繁體中文介面建立評估，報告就是繁體中文。
## 如何使用評估洞察功能
### 步驟一：完成批次測試
1. 進入「AgentOps」→「自動化測試」
2. 執行一次批次測試（參考 [自動評估](/build/agent-ops/evaluations.md#auto-evaluation)）
3. 等待測試完成
### 步驟二：查看評估結果
1. 在自動化測試列表該列的「操作」欄點第一個（文件）圖示，進入評估詳情頁
2. 查看各項評分指標
3. 找到「AI 洞察」區塊
### 步驟三：報告語言
AI 洞察區塊沒有語言選單。洞察報告以建立評估當下的後台介面語言產生；需要特定語言的報告時，請先把後台介面切換到該語言，再建立評估。
### 步驟四：閱讀洞察報告
AI 洞察區塊包含以下內容：
#### 1. 整體評估摘要
「評估總結」以兩三句話說明這次評估的整體表現，以及主要的強項與問題。
#### 2. 問題分析
「指標統計」為每個評估指標（例如回答相關性、上下文精確度、偏見、冒犯性、幻覺）列出：
* 通過率，並依通過率標示良好（80% 以上）、警告（50% 以上、未滿 80%）或嚴重（未滿 50%）
* 失敗案例數／已完成案例數
* 平均分
這裡的統計涵蓋所有已完成的測資（含標記為不穩定的測資），基準與上方成功率不同。
#### 3. 改善建議
「改進建議」逐條列出建議行動，每條包含：
* 優先順序：高、中、低
* 原因分析：為什麼建議這樣做
* 影響指標：這條建議對應哪些指標
### 步驟五：依據建議進行改善
1. 依照報告中的優先順序，逐項處理問題
2. 參考具體改善步驟調整 Agent 設定
3. 完成調整後，再次執行測試驗證效果
## 評估洞察的計算方式
評估結束時，系統先彙整各指標的通過率、失敗案例數與平均分，再交給 AI 依這些統計判斷失敗屬於系統性還是偶發、依嚴重程度排出優先順序，寫出總結與改善建議。AI 依據的是指標統計，不會逐題閱讀每個案例的回覆內容；要了解單一案例為什麼失敗，請在詳情頁下方的案例列表查看。
{% hint style="info" %}
洞察報告在評估收尾時產生；評估結束後才會出現在詳情頁。若產生洞察時發生錯誤，評估分數仍會保留，只是這次評估不會有 AI 洞察區塊。
{% endhint %}
## 實際應用場景
### 🏥 醫療診所客服
**指標統計**：
* 幻覺：通過率 40%（嚴重）
* 回答相關性：通過率 90%（良好）
**改進建議**（示意）：
* 建議行動：在角色指令限制回答範圍，要求只依知識庫內容回答，查無資料時請使用者洽詢診所
* 優先順序：高
* 原因分析：幻覺通過率未滿 50%，代表多數回覆含有知識庫以外的內容
* 影響指標：幻覺
建議內容由 AI 依指標統計推得；哪些回覆出現了知識庫以外的內容，請在詳情頁下方的案例列表逐筆查看。
### 🏢 企業內部知識管理
**指標統計**：
* 上下文召回率：通過率 45%（嚴重）
* 回答相關性：通過率 70%（警告）
**改進建議**（示意）：
* 建議行動：檢查知識庫是否涵蓋測試問題所需的資料，並調整檢索設定，讓相關段落能被找到
* 優先順序：高
* 原因分析：上下文召回率偏低，代表檢索到的段落經常缺少回答所需的資訊，連帶影響回答相關性
* 影響指標：上下文召回率、回答相關性
## 常見問題
### Q1：洞察報告可以下載嗎？
可以，但只有狀態為「已完成」的評估可以匯出，「部分完成」的評估不能匯出。在評估詳情頁按「匯出報告」，系統會在背景產生 Excel，完成後按鈕改為「下載報告」，再按一次即可下載；流程見 [取消、繼續與匯出](/build/agent-ops/evaluations.md#cancel-resume-export)。Excel 中的「建議與洞察」工作表包含摘要、建議行動與指標統計。
### Q2：洞察報告會隨著測試結果自動更新嗎？
每次執行新的批次測試，系統都會為這次評估產生一份洞察報告；舊評估的報告不會被改寫。對部分完成的評估按「繼續評測」後，系統會依最新結果重新產生該評估的洞察報告。
### Q3：洞察報告的語言可以切換嗎？
目前不提供切換報告語言。報告以建立評估當下的後台介面語言產生，之後切換介面語言，報告內文仍維持原本的語言。
### Q4：洞察報告的建議一定要全部執行嗎？
不一定。您可以依據實際需求和資源，優先處理「優先順序 高」的項目。系統的建議是參考方向，您可以根據業務需求調整。
### Q5：為什麼我的測試沒有生成洞察報告？
可能原因：
* 這是多輪對話評估：多輪評估目前不產生洞察報告
* 評估尚未結束
* 評估失敗：沒有任何案例成功完成時，不會產生洞察報告
* 產生洞察時發生錯誤：分數仍會保留，但這次評估沒有洞察報告
---
# Agent Instructions
This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com.
## Querying This Documentation
If you need additional information that is not directly available in this page, you can query the documentation by asking a question.
Perform an HTTP GET request on the following URL with the `ask` and `goal` query parameters:
```
GET https://docs.maiagent.ai/build/agent-ops/evaluation-insights.md?ask=&goal=
```
`ask` is the immediate question: it should be specific, self-contained, and written in natural language.
`goal` is what the user is ultimately trying to achieve, the reason they need the answer. Sharing it helps GitBook give you a better, more relevant answer. A goal is most helpful when it describes the outcome the user wants rather than restating the question. For example, with `ask=how do I create an API token`, a goal like `automate deployments from our CI pipeline` lets GitBook tailor the answer to that use case.
The response will contain a direct answer to the question and relevant excerpts and sources from the documentation.
Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.