回覆評估與監測結果

查看回覆評估結果

AI 助理 → 配置 → 回覆評估

MaiAgent 回覆評估頁面

評分指標

MaiAgent 平台提供回覆評估功能，針對每次問答留下紀錄與自動算分，分數包含

指標	描述	影響原因	問題	回覆	檢索上下文	正確答案
誠實性評分（Faithfulness）	LLM 是否有如實的回答，而非自行捏造答案回答	LLM、RAG、知識庫		✅	✅
回答相關性評分（Answer Relevance）	LLM 是否切中要點的回答，是否不完整或包含冗餘文字	LLM、RAG、知識庫	✅	✅
上下文精準度評分（Context Precision）	RAG 檢索的內容是否跟問題相關	RAG、知識庫	✅		✅
回答正確性評分（Answer Correctness）	回覆與正確答案的正確性	LLM、RAG、知識庫		✅		✅
回答相似度評分（Answer Similarity）	回覆與正確答案的語意相似度	LLM、RAG、知識庫		✅		✅
上下文召回率評分（Context Recall）	RAG 檢索的內容與正確答案相比，是否都有檢索出資料	RAG、知識庫			✅	✅

回覆評估指標關係圖

分數偏低的原因釐清與解決分法

• LLM 能力問題，無法根據參考資料回答問題

  • 解決方法：更換能力更強的 LLM

• RAG 檢索能力，是否有找到與問題相關的資料

  • 解決方法：聯繫 MaiAgent 官方

• 知識庫的資料提供是否充足

  • 解決方法：補充正確的知識庫資料與 FAQ 常見問題