搜尋測試

在 LLM 正式上線前，可以先透過搜尋測試預覽功能，確認 LLM 所搜尋到的資料相關性與內容

為什麼需要搜尋測試？

1. 確保回應準確性

• Agent 的回應品質直接影響客戶滿意度

• 錯誤或不相關的答案會損害品牌信任度

1. 避免資訊遺漏

• 避免重要產品細節或安全說明被忽略

• 優化知識庫的使用效率

1. 提升問答一致性

• 確保相同問題在不同時間都能得到一致的答案

• 避免因知識庫更新導致的回應不穩定

透過搜尋測試與片段預覽功能，您可以即時查看 Agent 使用的資料片段品質，確保您的問答水準。

如何開始？

1. 進入知識庫頁面，選擇要查看的知識庫並進入設定

1. 進入後點選左側的 「AI 搜尋」（頁面標題為 「知識庫搜尋測試」）

在對話框內輸入要搜尋的內容：「挑選露營區要注意什麼？」，按下搜尋鍵後，Agent 就會根據您的對話內容搜尋最相關的文件。

1. 查看搜尋結果

右側會出現 Agent 回答時會檢索的片段，如圖共有 12 個片段（檢索片段數量設定請參考：如何建立知識庫：基本設置）

右側為針對此問題回答時根據的檢索內容，每個片段會顯示：

• 字數：片段涵蓋的字數

• 命中次數：Agent 在回答時參考此片段的次數 (只統計正式問答，測試問答不會納入命中次數計算中)

  命中次數越高代表使用者詢問較多關於此片段的問題。

搜尋結果區右上角的 全部摺疊／全部展開 可一次收合或展開所有片段；每個片段可切換 原始文字 與 標記關鍵字，並可按 預覽 開啟原始文件對應的位置（缺少文件資訊的結果會顯示「暫無法預覽」）。

搜尋框旁的時鐘圖示是 「搜尋歷史」：保留這台瀏覽器最近 10 筆查詢，點任一筆即可重新搜尋，方便用同一組問題比較調整前後的差異；清除歷史 可全部清掉。歷史只存在您的瀏覽器，換裝置或其他成員看不到。

AI 摘要

搜尋框旁的 「AI 摘要」 開關預設開啟：每次搜尋後，除了列出片段，上方還會多一段由 LLM 根據這些片段整理出來的摘要，讓您直接看到「用這批片段能不能答出這個問題」，不必逐一讀完片段。

• 開關旁的下拉選單可 選擇模型（預設使用系統設定），想比較不同模型的整理效果時再換。

• 摘要是額外的 LLM 呼叫，會依所選模型消耗組織的 Credits；只想看檢索結果時關掉開關即可。

• 畫面顯示「AI 摘要功能尚未啟用，請聯繫管理員」代表組織尚未設定可用的模型；「Credit 餘額不足，無法生成 AI 摘要」請先儲值；「搜尋無結果，無法生成摘要」則是沒有片段可整理，請改寫問題或檢查文件。

AI 摘要只用於這個測試頁，不代表 Agent 對話時的實際回覆：Agent 還會套用角色指令、回答模式與其他設定。要看完整回覆品質請到 自動評估與 Agent 監控。

檢查知識片段品質

透過搜尋測試，可以確定 Agent 在推理時使用哪些片段，進而檢查這些片段的內容是否需要優化，如：

若在搜尋結果中發現許多空白的片段，且這些空白片段都屬於「初級露營.pdf」這個檔案，這時就能檢查「初級露營.pdf」的檔案內容是否都正確，並在正式上線前即時更新。

搜尋模式與查詢元資料條件

搜尋測試頁的左側可以調整兩件事：用哪一種方式搜尋，以及只在哪些文件或標籤範圍內搜尋。

選擇搜尋模式

在 搜尋模式 選擇其中一種：

搜尋模式	怎麼找	適合測試
混合搜尋（預設）	同時比對語意與關鍵字，再合併結果	一般問題，最接近 Agent 對話時的檢索方式
語意搜尋	只比對語意，措辭不同也找得到	自然語言的提問
關鍵字搜尋	只比對字詞	產品型號、專有名詞、代碼是否找得到

搜尋模式只影響這次的搜尋測試；Agent 對話時一律使用平台設定的檢索方式（預設為混合搜尋，見技術人員手冊 - 混合檢索）。關鍵字搜尋 只支援 Elasticsearch，知識庫改接其他類型的自帶向量資料庫時無法使用。

搜尋結果有相關度分數嗎？

搜尋測試的片段依相關程度由高到低排列，但不顯示分數，知識庫檢索 API 的回應同樣不含分數；請以排序判斷相關程度。Web Chat 引用節點上的 相關度 百分比是 Agent 回答當下對被引用片段的評分，見 引用來源顯示。搜尋沒有任何片段時，畫面會顯示沒有結果；開著 AI 摘要時則顯示「搜尋無結果，無法生成摘要」。

什麼是查詢元資料條件？

查詢元資料（Query Metadata）用來限定這次搜尋的範圍：只在指定的檔案、FAQ，或符合指定標籤條件的文件中搜尋。它和設定在聯絡人、對話上的查詢元資料是同一種條件，所以可以用搜尋測試模擬「某位聯絡人提問時，會檢索到哪些片段」。概念說明見 查詢元資料。

如何設定查詢元資料條件

1. 在搜尋測試頁左側的 Query Metadata 區塊，點選右上角的 查詢構建器。知識庫還沒有任何文件或 FAQ 時，這個按鈕無法點選。

2. 在查詢構建器勾選要開放的文件或 FAQ；需要依標籤篩選時，開啟標籤過濾並設定條件。操作方式同 查詢構建器。

3. 確認後，Query Metadata 區塊會以 JSON 顯示目前的條件，並標示共有幾個條件。

4. 輸入問題並點選 搜尋，結果只會包含條件範圍內的片段。

什麼時候用

• 驗證權限範圍：確認套用某組條件後，不該看到的文件確實不會被檢索出來。

• 縮小範圍排查：某個問題的結果混入其他文件時，先限定在預期的文件內測試，判斷問題出在內容本身還是檢索範圍。

實際應用場景

• 會員分級內容：產品價格表只開放給 VIP 會員。用查詢構建器只勾選一般會員可看的文件或標籤，詢問「價格是多少？」，確認結果中不會出現價格表的片段。

• 型號查詢：客戶常用型號提問，例如「A100 的保固多久？」。切換到 關鍵字搜尋 測試型號是否找得到；找不到時，檢查文件中的型號寫法是否和客戶的寫法一致。

搜尋測試協助您

定期測試重要問題

• 建議經常測試核心業務相關問題

• 在知識庫更新後進行重新測試

• 記錄並比較測試結果的改善情況

識別內容空白點

• 發現知識缺口：測試常見問題，找出完全沒有命中結果的查詢

• 範例：測試「帳篷防水等級說明」發現無相關片段 → 需補充防水規格文件

平台不會自動記錄「檢索不到內容」的使用者提問，也沒有零結果查詢的報表。要從正式對話找出知識缺口，請用 對話平台分析 的「知識庫缺口」分類，或在 Agent 監控 逐筆查看回答時實際檢索到的片段，再把缺少的內容補進知識庫。

評估內容完整性

• 檢查回答深度：確認AI回答是否涵蓋問題的所有面向

• 範例：查詢「露營安全注意事項」→ 檢查是否涵蓋天氣、野生動物、用火安全等各個層面

問題測試技巧

您可以：

• 用不同方式詢問同一個問題

• 測試複雜情境和多重條件查詢

• 驗證專業術語和產品名稱的檢索效果

透過這些測試技巧，全面評估回覆的正確度及完整性。