For the complete documentation index, see llms.txt. This page is also available as Markdown.

對話詳情與執行時間軸

在 AI 助理監控的對話詳情頁,用執行時間軸、完整對話紀錄與用量面板,查出一則回覆為什麼慢、為什麼答錯、花了多少 Credit

每一則 Agent 回覆在「AgentOps」→「AI 助理監控」→「對話紀錄」都有一筆紀錄;點最右側的「詳情」進入對話詳情頁。這一頁把一次回覆從收到訊息到送出答案的每個步驟攤開來,是排查「為什麼慢」「為什麼答錯」「為什麼這麼貴」的主要畫面。

想知道
看哪一區

這幾秒花在哪、哪一步是瓶頸

模型實際看到了什麼(系統提示、記憶、檢索結果)

工具有沒有被呼叫、回了什麼

執行時間軸 的工具步驟

Token、Credit、Prompt 快取省了多少

要把這筆紀錄交給工程師或留存稽核

頁面結構

頁首有「上一筆紀錄」/「下一筆紀錄」(依目前列表的順序切換)、「複製連結」與「匯出」。往下依序是:

  1. 基本資訊:用戶輸入訊息、輸出訊息、AI 助理、LLM、用戶、來源、回應時間、使用者反饋等;排程執行的紀錄另有排程名稱與狀態。

  2. 識別資訊:記錄 ID、對話 ID、對話平台 ID、AI 助理 ID、用戶訊息 ID、機器人訊息 ID(排程執行另有排程 ID),每個都可複製,方便回報問題時對照。

  3. 完整對話紀錄:送給模型的完整上下文與模型回覆。

  4. 執行時間軸:每個步驟的耗時、Token 與 Credit。

  5. 用量與效能面板:對話文字統計、Credit 消耗統計、LLM 呼叫明細、處理時間分析、串流效能指標、字數使用統計。

  6. 品質評分詳情、參考資料、錯誤訊息與加入 FAQ:見 AI 客服品質管理 與 對話紀錄加入 FAQ。

執行時間軸

標題下方會先告訴你「這 N 秒花在哪?」,右側圖例標示三種顏色:LLM、工具,以及紅框的瓶頸。時間軸依發生順序列出每個步驟,每一步顯示耗時、Token與Credit;耗時最長的步驟會以紅框標成瓶頸,並預設展開。點任一步驟可「展開詳情」/「收合詳情」。

步驟類型

步驟
內容
排查重點

前處理(N 步)

分派延遲、服務初始化、載入訊息、載入上下文、等待附件、輸入處理、檢索準備等階段,收合成一組,展開可看「前處理階段明細」

等待附件或分派延遲偏長時,問題不在模型而在前置作業

檢索

知識庫向量化(Embedding)與檢索

檢索慢通常是知識庫過大或 Reranker 設定

第 N 輪 LLM

Agent 模式下每一次模型呼叫算一輪。顯示輸入來源(來自使用者訊息/來自工具結果/來自上一輪 LLM)、決策(直接回覆/呼叫 N 個工具/繼續至第 N 輪 LLM)、LLM 請求與回應的送出與接收時間、本輪的輸入/輸出 Token 與合計、Credit(含快取折抵)

輪數太多代表 Agent 反覆呼叫工具;單輪耗時長則是模型本身慢

工具執行詳情

工具名稱、狀態(成功/失敗/逾時)、輸入參數、輸出結果、API 工具的請求 URL,以及結果送到哪裡(第 N 輪 LLM 或最終回覆)

工具失敗或逾時、回傳內容不如預期,直接在這裡看

Hook 執行紀錄

這則訊息經過的輸入 Hook/輸出 Hook與處置結果

回覆被遮罩或攔截時,看是哪一條 Hook 做的,詳見 Hook 執行紀錄

Guardrail 評估結果

安全防護的判定動作(NONE 代表放行、BLOCKED 代表攔截)

回覆被擋下時先看這裡

後處理操作

儲存回覆、排程評估、更新用量等收尾動作

一般很短,偏長代表系統負載

查看模型看到的內容

展開 LLM 步驟的「LLM 請求與回應」,可以用三種檢視切換送給模型的內容:

  • 分類:把請求拆成系統提示詞、對話歷史、長期記憶、檢索結果、工具回傳結果、目前使用者訊息、可用工具與其他,每類標示項數。要確認「知識庫有沒有撈到正確段落」「記憶有沒有帶進去」就看這裡。

  • 格式化:依角色(系統/使用者/助理/工具)逐則顯示。

  • 原始:未經整理的原始內容。

每個區塊右上角有「複製」,可把該段內容複製給工程師。

時間軸只在這則回覆有留下追蹤資料時顯示;較舊的紀錄或部分回答模式只會有基本資訊與用量面板。

完整對話紀錄

「完整對話紀錄」以對話形式呈現這次模型呼叫的全部內容,每則訊息標示角色 System/User/Assistant/Tool,並以標籤標出它在這次回覆中的用途:

標籤
意思

系統提示

角色指令與平台組出的系統提示詞

長期記憶

持久記憶或跨對話檢索帶進來的內容,見 Agent 的記憶

歷史對話

同一段對話中較早的往返

本輪輸入

使用者這一次送出的訊息

模型回覆

模型這一次的輸出

長訊息預設截斷,點「展開全文」看完整內容、「收合」收起。完整對話紀錄與執行時間軸互相連結:在時間軸點「查看來源」會跳到對應的訊息,在對話紀錄點「回到使用者訊息」則回到時間軸起點。

用量與效能面板

對話文字統計

這則回覆各環節的 Token 用量:向量化、圖片向量化(只在有使用圖片搜尋時顯示)、重排序、LLM 輸入、LLM 輸出、LLM Cache 建立、LLM Cache 讀取,以及 Token 總計。Cache 讀取的 Token 是從 Prompt 快取命中的部分,以優惠費率計費。

Credit 消耗統計

同樣的環節換算成 Credits,加總為 Credit 總計;下方的「已透過 Prompt 快取節省」是平台自動啟用 Prompt 快取後,這則回覆相較未命中快取少付的 Credit。計費規則見 Credits 額度。

LLM 呼叫明細

Agent 模式下每一次 LLM 呼叫的序號、耗時與 Token,各欄加總約等於上方統計(允許進位誤差)。輪數多、每輪 Token 都高時,可考慮縮短角色指令或限制 最大迭代次數。

處理時間分析

項目
說明

附件處理

對話附件上傳與解析的時間

向量化/重排序

知識庫檢索的兩個階段

AI 模型推理

LLM 推理與生成回覆的完整過程

系統開銷

完整回覆耗時扣除上述階段後的剩餘時間:系統初始化、請求驗證、Agent 工作流準備等

核心處理時間/完整回覆耗時

前者是各處理階段的加總,後者是使用者實際等待的時間

串流效能指標與系統效能瀑布圖

指標
說明

First Token Time

從 LLM 開始生成到吐出第一個 Token 的時間,反映模型啟動速度

First Token From Request

從送出請求到收到第一個 Token 的總延遲,含前處理、檢索、向量化,是使用者感受到的「等多久才開始出字」

生成速度

串流期間平均每秒生成的 Token 數(TPS),越高越流暢

總生成時間/生成 Token 總數

完整回應的生成時間與 Token 數

效能狀態

依 First Token 延遲與生成速度綜合判定為優秀/良好/需要優化

「系統效能瀑布圖」把各階段依時間先後畫成橫條,總耗時為全長,一眼看出哪一段最長;想看每一步的細節再到 執行時間軸。

字數使用統計

輸入字數、輸出字數與字數總計,對應 Agent「使用分析」分頁的對話字數。

匯出

頁首「匯出」下拉有三種格式,皆直接下載到瀏覽器,不經過匯出請求:

格式
內容
用途

匯出 JSON

這筆紀錄的完整資料,含基本資訊、識別資訊、追蹤步驟與用量

交給工程師重現問題、匯入自己的分析工具

匯出 Markdown

同樣內容整理成可閱讀的 Markdown

貼進工單或會議紀錄

匯出 Credit 稽核

這筆回覆逐筆交易的 Credit 對照 Excel

對帳與稽核。此匯出是逐筆交易紀錄,不含「已透過 Prompt 快取節省」這類推導值;紀錄沒有 Credit 稽核資料時選項會停用

要一次匯出多筆對話紀錄,請回到「對話紀錄」列表用篩選條件後按「匯出」,由 匯出請求 在背景產生 Excel。

排查範例

  • 使用者抱怨「等很久才開始回」:先看串流效能指標的 First Token From Request;再到執行時間軸找紅框瓶頸——若落在前處理的「等待附件」或「檢索」,問題在前置作業而非模型。

  • Agent 答錯但知識庫明明有資料:展開 LLM 步驟的「分類」檢視,看檢索結果有沒有撈到正確段落;沒有就回頭用 搜尋測試 調整知識庫,有撈到但答錯就修角色指令。

  • 這一題怎麼花了這麼多 Credit:看 LLM 呼叫明細的輪數與每輪輸入 Token;輪數多代表工具反覆呼叫,可檢查工具描述或限制最大迭代次數。

最後更新於

這有幫助嗎?