Ctrlk
註冊/登入
For the complete documentation index, see llms.txt. This page is also available as Markdown.

回覆長度與 Agent 執行上限

設定 Agent 每次回覆的長度上限（最大輸出 Token 數），以及 Agent 模式的工具呼叫次數上限（最大迭代次數，預設 20）與執行逾時時間；說明達到工具使用上限時使用者會看到什麼。

Agent 的 進階設定 有兩組上限：

  • 回覆長度：最大輸出 Token 數，限制 AI 每次回覆最多能寫多長，說明從下方功能簡介開始。

  • Agent 執行上限：最大迭代次數（也就是工具呼叫次數上限，預設 20）與 執行逾時時間（秒），限制 Agent 模式的 Agent 每回答一則訊息最多呼叫幾輪工具、最多跑多久。想查「工具最多能呼叫幾次」或回覆出現「已達本輪的工具使用上限」，請直接看 Agent 執行上限。

功能簡介

自訂輸出 Token 上限功能讓您能精確控制 Agent 每次回覆的最大長度。透過調整此設定,您可以根據不同應用情境,讓 Agent 產生簡短摘要或詳細說明,同時有效控制 Token 消耗成本。

Token 說明

Token 是 AI 模型處理文字的基本單位。一般而言:

  • 中文:1 個字約等於 1.5-2 個 Tokens

  • 英文:1 個單字約等於 1-1.5 個 Tokens

  • 標點符號也會計入 Token 數量

設定輸出 Token 上限

進入設定頁面

  1. 點選左側選單「AI 助理」

  2. 選擇要設定的 Agent

  3. 點選「設定」按鈕

  4. 切換至「進階設定」頁籤

調整 Token 上限

  1. 選擇 Token 上限模式

    • 「使用模型最大值」：直接套用所選模型支援的最大輸出 Token 數（預設）

    • 「自訂數量」：自行指定上限

  2. 輸入自訂數值（選擇「自訂數量」時）

    • 在數字輸入框輸入目標數值

    • 可輸入範圍依所選模型而定，畫面會即時顯示該模型允許的範圍（如下圖的「範圍：512 - 64000 tokens」）

  3. 儲存設定

    • 點選「儲存」按鈕

    • 設定立即生效,無需重啟 Agent

進階設定：最大輸出 Token 數
Agent 進階設定頁面：可選擇「使用模型最大值」或「自訂數量」來控制輸出 Token 上限

注意事項

  • 設定過低可能導致回覆被截斷,影響完整性

  • 設定過高會增加 Token 消耗成本

  • 建議依實際需求調整,並透過測試找到最佳平衡點

建議設定值

根據不同應用情境,以下是推薦的 Token 上限設定:

應用情境
建議 Token 數
說明

簡短問答

256 - 512

適合快速回答,如 FAQ 機器人 約 100-200 中文字

一般客服

512 - 1024

平衡詳細度與成本 約 200-400 中文字

專業諮詢

1024 - 2048

提供詳細說明與解決方案 約 400-800 中文字

內容生成

2048 - 4096

生成長篇文章或報告 約 800-1600 中文字

程式碼生成

1024 - 2048

產生完整的程式碼片段 含註解與說明

應用情境範例

情境一:FAQ 快速回答機器人

需求:客戶常問的問題需要簡短明確的回答,避免冗長說明

設定方式:

  • 輸出 Token 上限:256-512

  • 角色指令:「請用簡短明確的方式回答問題,不超過 3 句話」

  • 預期效果:快速回應,降低 Token 消耗

範例對話:

情境二:技術支援詳細說明

需求:使用者遇到技術問題,需要詳細的步驟說明

設定方式:

  • 輸出 Token 上限:1024-2048

  • 角色指令:「請提供詳細的步驟說明,確保使用者能夠按步驟操作」

  • 預期效果:完整的問題解決指引

範例對話:

情境三:內容摘要生成

需求:從長篇文章中提取重點摘要

設定方式:

  • 輸出 Token 上限:512-768

  • 角色指令:「請將重點整理為 3-5 個要點,每點不超過 2 句話」

  • 預期效果:簡潔的摘要,易於快速理解

與其他設定的關係

角色指令 (System Prompt)

即使設定高 Token 上限,角色指令仍可約束回覆長度:

模型選擇

不同模型支援的最大輸出 Token 數不同。當您切換 Agent 使用的模型時,可自訂的範圍會隨之改變,畫面上的範圍提示即為目前所選模型的上下限。選擇「使用模型最大值」時,系統會自動套用該模型的最大值。

Agent 執行上限：工具呼叫次數與執行逾時時間

本節僅適用於**回覆模式設為「Agent 模式」**的 Agent。若 Agent 使用其他回答模式，進階設定裡不會出現這個區塊。

回答模式為 Agent 模式的 Agent 會自行判斷要呼叫哪些工具、執行幾輪推理才能回答問題。為了避免 Agent 無止盡執行下去，進階設定 的 Agent 工作流設定 提供兩個獨立的「煞車」設定：

  • 最大迭代次數（工具呼叫次數上限）：Agent 回答一則訊息時，最多可以執行幾輪「思考 → 呼叫工具 → 取得結果」的循環，範圍 1–100，預設 20。一輪可以同時呼叫多個工具，所以上限是以「輪」計算；使用者傳下一則訊息時重新計算。開啟 啟用工具搜尋功能（預設開啟）時，只用來搜尋可用工具的那幾輪不計入

  • 執行逾時時間（秒）：Agent 回答一則訊息最多可以跑多久，範圍 30–1200 秒，預設 600 秒

達到工具呼叫次數上限時會發生什麼

用完最後一輪後，Agent 不會再呼叫工具，而是用已取得的資訊整理出回覆，並在回覆最後加上一行提示：

回覆已達本輪的工具使用上限，內容可能不完整。請傳送後續訊息以繼續。

若 Agent 在這時還沒寫出任何內容，回覆會是「我在完成任務前就達到了本輪的工具使用上限。請再試一次，或縮小問題範圍。」這兩種情況都是設定的上限生效，不是系統錯誤：使用者可以傳一則訊息請 Agent 繼續，管理員也可以調高 最大迭代次數（記得一併檢查逾時時間，見下方說明）。

兩者是什麼關係？

這兩個設定彼此獨立，沒有換算公式，純粹「誰先達到門檻，誰就先決定結果」——逾時先到會直接強制中斷對話，迭代次數先到則由 Agent 產生一段總結回覆、不會被視為錯誤。

執行逾時時間警告
逾時 100 秒 ÷ 20 次迭代（每次僅 5 秒預算）時觸發的黃色警告示例

逾時自訂訊息

Agent 工作流設定 最下方的 「逾時自訂訊息」 決定逾時中斷時使用者看到的文字。畫面說明是「僅在 Agent 工作流逾時時顯示給使用者。留空則使用系統預設訊息」，可填例如「系統忙碌中，請稍後再試」或引導改問較小的問題；達到迭代上限的提示文字固定，不受這個欄位影響。

進階設定裡的其他開關

同一個 進階設定 分頁還有幾個與回覆長度、成本相關的開關，一般維持預設即可：

位置
開關
畫面說明與用法

知識庫設定

強制使用完整檢索範圍

啟用後忽略模型自動決定的檢索數量，固定回傳「檢索區塊最大數量」設定的完整結果；適用於包含長表格等需要較多區塊才能完整呈現的知識庫。會提高每次回答的輸入 token

對話記憶設定

工具結果截斷、每次工具結果最大字元數

自動截斷過大的工具回傳結果（例如網頁搜尋、程式碼執行輸出），避免記憶膨脹；超過上限的結果會保留前後兩端內容。工具常回傳整頁 HTML 或大量資料時建議開啟

持久記憶之後

啟用 Claude 串流自動重試

Claude 串流呼叫停滯（首個 chunk 未抵達或傳輸途中中斷）時自動中止，並以非串流模式重發一次。每次重試會對同一個 prompt 重複計費一次，只在遇到 Claude 回覆常卡住時開啟

最下方

開啟自動評估

啟用後在 AI 助理監控 自動用 LLM 計算每次對話的品質分數，會消耗組織的使用額度，見 自動評估與 Agent 監控

對話記憶設定裡的 向量記憶、跨對話檢索 與 Embedding／Reranker 模型見 跨對話檢索。

成本優化建議

計算 Token 消耗

一次對話的 Token 消耗包含:

  • 輸入 Tokens:使用者問題 + 歷史對話 + 角色指令

  • 輸出 Tokens:AI 回覆（受此設定限制）

範例計算:

優化策略

  1. 依情境調整

    • 簡單問題用低 Token 上限

    • 複雜問題才提高上限

  2. 避免不必要的長回覆

    • 在角色指令中明確要求簡潔

    • 使用多輪對話取代單次長回覆

  3. 定期檢視使用狀況

    • 使用「使用分析」分頁查看對話字數等用量趨勢

    • 調整設定以優化成本

詳細的成本計算與優化建議,請參考 用量計算。

常見問題

Q:設定 Token 上限後,AI 回覆會被強制截斷嗎？

A:是的。當 AI 生成的回覆達到 Token 上限時,會在該位置停止,可能導致句子不完整。建議:

  • 設定適當的上限（不要過低）

  • 在角色指令中要求「在達到字數限制前自然結束」

Q:如何知道我的 Agent 平均使用多少 Tokens？

A:進入 Agent「設定」頁的「使用分析」分頁,可依日期區間查看「對話字數」「對話次數」「訊息次數」「平均對話互動次數」「使用者滿意度」等趨勢圖。其中「對話字數」為該 Agent 累計產生的字數,字數與 Token 數量呈正相關,可作為 Token 消耗的參考依據。

使用分析分頁
Agent「使用分析」分頁：可依日期區間查看對話字數、對話次數、訊息次數、平均對話互動次數與使用者滿意度等趨勢圖

Q:設定較高的 Token 上限會降低回覆速度嗎？

A:會有輕微影響。更長的回覆需要更多生成時間,但通常差異不大（數秒內）。主要影響因素仍是:

  • 模型選擇

  • 網路連線速度

  • 伺服器負載

Q:不同語言需要不同的 Token 上限設定嗎？

A:建議適度調整:

  • 中文:同樣字數消耗較多 Tokens,可略為提高上限

  • 英文:Token 效率較高,可使用較低上限

  • 多語言環境:建議設定較高上限以確保彈性

Q:Token 上限會影響知識庫檢索結果嗎？

A:不會直接影響檢索,但會影響如何呈現檢索結果:

  • 高 Token 上限:可引用更多知識庫片段

  • 低 Token 上限:只引用最相關的片段

Q：Agent 回答一則訊息，工具最多能呼叫幾次？

A：由 最大迭代次數 決定，預設 20 輪、最多可調到 100 輪，每一則使用者訊息重新計算。用完時回覆最後會出現「回覆已達本輪的工具使用上限，內容可能不完整。請傳送後續訊息以繼續。」，這是上限生效而不是故障，詳見 達到工具呼叫次數上限時會發生什麼。

Q：調高最大迭代次數，是不是就一定要跟著調高執行逾時時間？

A：強烈建議這樣做，但系統不會強制要求。兩個設定彼此獨立，即使只調高迭代次數、不調整逾時時間，系統也允許儲存，但很可能還沒跑到您設定的迭代次數上限，就先被逾時機制強制中斷。建議依照「執行逾時時間 ÷ 最大迭代次數 ≥ 15 秒」的比例一起調整，避免觸發黃色警告。

Q：逾時中斷跟迭代次數跑完，對使用者體驗有什麼差別？

A：差異很大。迭代次數先到上限時，Agent 會直接把目前掌握的資訊整理成一段總結回覆給使用者，對話正常結束；但執行逾時先觸發時，對話會被強制中斷並標記為錯誤，使用者只會看到逾時提示訊息，看不到任何整理過的回覆內容，先前已消耗的 Credit 也不會退還。

測試與調整

測試流程

  1. 設定初始值

    • 從建議值開始（如 1024）

  2. 進行測試對話

    • 輸入典型的使用者問題

    • 觀察回覆長度與完整性

  3. 評估結果

    • 回覆是否完整？

    • 是否有不必要的冗長內容？

    • Token 消耗是否合理？

  4. 逐步調整

    • 過長→降低 Token 上限

    • 過短/截斷→提高 Token 上限

  5. 持續監控

    • 定期檢視使用狀況

    • 根據實際需求微調

測試範例

相關功能

延伸功能

上一頁知識庫標籤過濾
下一頁代理排程

最後更新於

這有幫助嗎？