# 評估洞察報告

本篇將介紹如何使用評估洞察功能，協助您快速理解 AI 助理的測試結果，並獲得系統自動生成的改善建議。

## 什麼是評估洞察？ <a href="#what-is-evaluation-insight" id="what-is-evaluation-insight"></a>

評估洞察是 AgentOps 自動化測試的延伸功能。當您完成一次批次測試後，系統不僅會顯示各項指標分數，還會自動分析測試結果，並生成一份「洞察報告」。

這份報告會告訴您：

* **測試結果的整體表現如何**
* **主要問題出在哪裡**
* **具體該如何改善**
* **優先處理哪些項目**

就像請一位資深顧問幫您看過測試報告，並給您一份改善建議書。

## 評估洞察的核心優勢 <a href="#core-advantages" id="core-advantages"></a>

### 📊 自動化分析 <a href="#automated-analysis" id="automated-analysis"></a>

不需要手動解讀複雜的評分數據，系統會自動識別問題模式並整理成易懂的報告。

### 🎯 優先順序建議 <a href="#priority-recommendations" id="priority-recommendations"></a>

系統會依據問題的嚴重程度和影響範圍，建議您優先處理哪些項目，讓改善工作更有效率。

### 💡 具體改善方向 <a href="#concrete-improvement-directions" id="concrete-improvement-directions"></a>

不只告訴您「有問題」，還會提供具體的改善建議，例如應該調整哪些設定、補充哪些內容。

### 🌐 多語言支援 <a href="#multilingual-support" id="multilingual-support"></a>

洞察報告支援繁體中文、簡體中文、英文等多種語言，您可以依據團隊需求選擇適合的語言。

## 如何使用評估洞察功能 <a href="#how-to-use-evaluation-insight" id="how-to-use-evaluation-insight"></a>

### 步驟一：完成批次測試 <a href="#step-complete-batch-test" id="step-complete-batch-test"></a>

1. 進入「<mark style="color:blue;">AgentOps</mark>」→「<mark style="color:blue;">自動化測試</mark>」
2. 執行一次批次測試（參考 [AgentOps 操作指南](https://github.com/Playma-Co-Ltd/maiagent-user-guide-gitbook/blob/main/zh-tw/agent-builder/agentops-automated-test.md)）
3. 等待測試完成

<figure><img src="/files/BIIBNfLCHJZ68w0UJsFi" alt="自動化測試列表"><figcaption><p>自動化測試列表，顯示各次測試的成功率與平均回應秒數</p></figcaption></figure>

### 步驟二：查看評估結果 <a href="#step-view-evaluation-results" id="step-view-evaluation-results"></a>

1. 進入測試結果詳情頁
2. 查看各項評分指標
3. 找到「洞察報告」區塊

<figure><img src="/files/zF4b6tNqcqK4cbvKVynP" alt="評估詳情與洞察報告"><figcaption><p>測試詳情頁面：包含成功率、AI 洞察摘要、指標統計與改進建議</p></figcaption></figure>

### 步驟三：選擇報告語言 <a href="#step-select-report-language" id="step-select-report-language"></a>

在洞察報告區塊中，您可以選擇報告的顯示語言：

* **繁體中文**：適合台灣團隊使用
* **簡體中文**：適合中國大陸團隊使用
* **英文**：適合國際團隊或需要英文報告的情境

選擇語言後，系統會自動生成對應語言的洞察報告。

### 步驟四：閱讀洞察報告 <a href="#step-read-insight-report" id="step-read-insight-report"></a>

洞察報告通常包含以下內容：

#### 1. 整體評估摘要 <a href="#overall-evaluation-summary" id="overall-evaluation-summary"></a>

* 測試通過率
* 主要優勢
* 需要改善的領域

#### 2. 問題分析 <a href="#issue-analysis" id="issue-analysis"></a>

* 回答相關性問題
* 安全性風險（偏見、冒犯性、幻覺）
* 回應速度問題

#### 3. 改善建議 <a href="#improvement-suggestions" id="improvement-suggestions"></a>

* 優先處理項目（標示為「高優先級」、「中優先級」、「低優先級」）
* 具體改善步驟
* 預期改善效果

### 步驟五：依據建議進行改善 <a href="#step-apply-improvements" id="step-apply-improvements"></a>

1. 依照報告中的優先順序，逐項處理問題
2. 參考具體改善步驟調整 AI 助理設定
3. 完成調整後，再次執行測試驗證效果

## 評估洞察的計算方式 <a href="#how-insights-are-calculated" id="how-insights-are-calculated"></a>

系統會綜合考量以下因素來生成洞察報告：

* **評分指標**：各項評分的高低和分布
* **失敗案例**：失敗案例的數量和失敗原因
* **問題模式**：相似問題的重複出現頻率
* **最佳實踐**：業界標準和優化建議

{% hint style="info" %}
洞察報告的生成需要一定的處理時間，通常在測試完成後的 1-2 分鐘內生成。
{% endhint %}

## 實際應用場景 <a href="#use-cases" id="use-cases"></a>

### 🏥 醫療診所客服 <a href="#use-case-medical-clinic" id="use-case-medical-clinic"></a>

**測試結果**：

* 通過率：72%
* 幻覺分數：偏高

**洞察報告建議**：

> 「測試發現部分回答包含未經驗證的醫療建議。建議在角色指令中明確限制：『請勿提供診斷或治療建議，僅提供掛號和診所資訊。』」

### 🏢 企業內部知識管理 <a href="#use-case-enterprise-knowledge-management" id="use-case-enterprise-knowledge-management"></a>

**測試結果**：

* 通過率：88%
* 回答相關性：偏低

**洞察報告建議**：

> 「測試發現部分回答過於簡略或未完整回答問題。建議在知識庫中補充更詳細的操作步驟和範例。」

## 常見問題 <a href="#faq" id="faq"></a>

### Q1：洞察報告可以下載嗎？ <a href="#faq-download-insight-report" id="faq-download-insight-report"></a>

目前洞察報告僅能在系統中查看，建議您可以複製報告內容並整理成內部文件。

### Q2：洞察報告會隨著測試結果自動更新嗎？ <a href="#faq-auto-update-insight-report" id="faq-auto-update-insight-report"></a>

是的，每次執行新的批次測試後，系統都會生成新的洞察報告，反映最新的測試結果。

### Q3：洞察報告的語言可以切換嗎？ <a href="#faq-switch-report-language" id="faq-switch-report-language"></a>

可以，您可以隨時切換報告語言，系統會重新生成對應語言的報告。

### Q4：洞察報告的建議一定要全部執行嗎？ <a href="#faq-must-follow-all-suggestions" id="faq-must-follow-all-suggestions"></a>

不一定。您可以依據實際需求和資源，優先處理「高優先級」的項目。系統的建議是參考方向，您可以根據業務需求調整。

### Q5：為什麼我的測試沒有生成洞察報告？ <a href="#faq-no-insight-generated" id="faq-no-insight-generated"></a>

可能原因：

* 測試案例數量過少（建議至少 10 個以上）
* 測試尚未完成
* 系統處理中（請稍候 1-2 分鐘）


---

# Agent Instructions: Querying This Documentation

If you need additional information that is not directly available in this page, you can query the documentation dynamically by asking a question.

Perform an HTTP GET request on the current page URL with the `ask` query parameter:

```
GET https://docs.maiagent.ai/agent-ops/evaluation-insights.md?ask=<question>
```

The question should be specific, self-contained, and written in natural language.
The response will contain a direct answer to the question and relevant excerpts and sources from the documentation.

Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.
