語音助理（Voice Agent）

讓 Agent 能用「聽」和「說」服務客戶，支援即時對話、STT/LLM/TTS 管線與中斷控制

這是什麼？

語音助理讓 Agent 能透過語音互動：使用者用講的，AI 也用講的回。底層整合即時語音模型、STT（語音轉文字）、TTS（文字轉語音）與中斷控制，可用於電話客服、IVR、語音助理等情境。

啟用後，使用者在 MaiGPT、Agent 市集與 Web Chat 的輸入列會多出進入「語音互動模式」的按鈕，點一下就能開始講話，操作見使用者端怎麼用。

三種互動模式

不同模式適合不同需求，取決於延遲、聲線自訂彈性、工具支援度。

模式	怎麼運作	適合的場景
即時對話（Realtime）	使用語音模型直接做即時語音對話	對延遲要求最高、能接受預設聲線的場景
即時對話 + TTS	即時語音模型搭配自訂 TTS 輸出	需要自訂品牌聲線、又想保留即時感
STT + LLM + TTS	語音轉文字 → LLM → 文字轉語音的傳統管線	需要完整工具支援、可接受稍高延遲、希望最大彈性

簡單判斷：要最快、最自然 → Realtime；要品牌聲線 → Realtime + TTS；要最大彈性與工具支援 → STT + LLM + TTS。

語音助理設定怎麼填

語音助理設定 在 Agent 設定頁的 回答模式設定 分頁、角色指令區塊之後（組織已開通 AI 語音助理才會出現）。最上方是 「啟用語音助理」 總開關：關閉時整組設定收起，Web Chat、電話與後台的語音入口都不會提供這個 Agent 的語音服務；開啟後依序填三個區塊，每個區塊收合時會在右側顯示目前設定的摘要。

1. 語音技術

先在 「語音助理模式」 點選一張模式卡片（再點一次可取消），再依模式選供應商並填配置：

模式	要選的供應商	配置欄位
即時對話 (Realtime)	即時語音供應商	即時語音配置
即時對話 + TTS	即時語音供應商、文字轉語音 (TTS) 供應商	即時語音配置、TTS 配置
STT + LLM + TTS	語音轉文字 (STT) 供應商、文字轉語音 (TTS) 供應商	STT 配置、TTS 配置

每個供應商欄位下方是一組左右對照的欄位：左邊 「配置範例」 唯讀，右邊是實際生效的 JSON 配置。

• 平台目前支援的供應商：STT 有 OpenAI、Azure、Bronci（台語／華語／客語）；TTS 有 OpenAI、Azure、VoAI、Bronci；即時語音有 OpenAI Realtime、Google Gemini Live。供應商清單只列組織已開通的供應商；清單是空的時顯示「尚無可用的供應商」，請洽 MaiAgent 開通。

• 選定供應商時會自動把該供應商的範例配置帶入右邊的欄位，通常直接儲存即可；要調整聲線、語言、轉錄模型等再改 JSON。範例下方的 「配置說明」 表列出每個參數的類型、預設值、可選值與說明，可對照填寫，例如 使用者逐字稿設定。

• 配置必須是合法的 JSON，否則欄位會出現「配置格式不正確，請輸入有效的 JSON」，儲存時也會把對應的區塊展開讓您修正。配置留空時，儲存前會提醒「配置為空，儲存後將自動套用預設配置」，確認後以預設配置儲存。

2. 即時語音提示詞

「即時語音提示詞」 是只給語音模型看的提示詞，留空則沿用角色指令。欄位上方的提示會依「語音模式 × 回答模式 × 是否填寫」告訴您目前實際生效的關係：

畫面提示	什麼情況	意思
此模式不支援語音提示詞	STT + LLM + TTS	這個模式一律沿用角色指令，欄位不可編輯；需要語音專屬提示詞請改用 Realtime 或 Realtime + TTS
目前生效：沿用角色指令	Realtime 類 × RAG 問答 × 留空	語音模型直接用角色指令作答
目前生效：這段提示詞會「取代」角色指令	Realtime 類 × RAG 問答 × 已填	RAG 問答下知識庫只回傳檢索片段，答案由語音模型依這段提示詞生成，角色指令完全不生效
目前生效：語音層沿用角色指令	Realtime 類 × Agent 等其他回答模式 × 留空	語音會把問題委派回文字回覆流程，答案仍由角色指令與工具決定
目前生效：只影響語音互動層	Realtime 類 × Agent 等其他回答模式 × 已填	答案內容不變，這段提示詞只調整語音模型的說話方式（語氣、口吻、停頓）

RAG 問答模式下想「在角色指令的基礎上微調」，可按 「帶入角色指令作為基底」 把角色指令複製進欄位再修改；欄位已有內容時會先詢問「覆寫語音提示詞」。

3. 對話行為

• 「啟用語音回覆」：關閉後語音助理只回覆文字、不播放語音，適合只想用語音輸入的情境。

• 「中斷控制設定」：允許使用者在語音助理回應時打斷它；開啟後可調 最短語音持續時間（秒） 與 最少字數，兩個欄位只在 STT + LLM + TTS 模式生效，其他模式會顯示提醒並停用欄位，見 中斷控制。

區塊最下方的 「使用須知」 提醒：語音助理會搜尋所有關聯的知識庫，無法選擇特定檔案搜尋。設定完成後按右下角 儲存。

中斷控制（Turn Handling）

語音對話的關鍵體驗 — 使用者能不能在 AI 講話途中打斷它？怎麼判斷使用者是真的在說話、而不是雜音或嗯啊？

可調整的參數：

參數	說明
最短語音持續時間（秒）	使用者的語音必須持續至少幾秒，才會被當成「我要打斷」
最少字數	使用者必須說出至少幾個字，才會觸發中斷

注意：min_duration 和 min_words 僅在 STT + LLM + TTS 模式有效。Realtime 模式由語音模型內部處理中斷判斷。

使用者逐字稿設定（Realtime 模式）

Realtime 與 Realtime + TTS 模式下，語音模型直接聽使用者的聲音，使用者說了什麼的文字紀錄（使用者逐字稿）由另一個轉錄模型產生。即時語音供應商 選 OpenAI 時，可以在 即時語音配置 的 JSON 裡用 input_audio_transcription 指定轉錄方式：

{
  "input_audio_transcription": {
    "model": "gpt-4o-mini-transcribe",
    "language": "zh",
    "prompt": "以繁體中文輸出。常見詞彙：MaiAgent、保單、理賠"
  }
}

欄位	說明
model	轉錄模型，可填 gpt-4o-transcribe、gpt-4o-mini-transcribe、gpt-transcribe、gpt-live-transcribe；未填時使用 gpt-4o-mini-transcribe
language	語言提示，填 ISO-639-1 代碼（例如 zh、en、ja）；留空由模型自動偵測
prompt	給轉錄模型的提示，例如預期出現的專有名詞，或指定以繁體中文輸出

設定頁在配置欄位下方列出每個欄位的型別、預設值與可選值，可對照填寫。

• 只影響逐字稿：這組設定決定通話紀錄中使用者那一側的文字，不改變語音模型聽到的內容與回答。

• 多語通話：使用者會混用多種語言時，language 留空讓模型自動偵測；固定單一語言時填上代碼，辨識較穩定。

• 計費：使用者逐字稿依實際使用的轉錄模型，以語音轉文字秒數計入 Credits，各模型的單價見 組織設定 → Credits → 計費方式，說明見 Credits 計費制度。

對話狀態

語音對話進行時，介面會顯示當下的狀態：

• 聆聽中：AI 正在接收使用者的語音

• 思考中：AI 正在處理（查知識庫、用工具、生成回覆）

• 回覆中：AI 正在用語音回覆

• 初始化中：剛建立連線、準備中

使用者端怎麼用

Agent 開啟語音助理後，使用者不需要任何設定，從原本的文字對話畫面就能切到語音：

使用者在哪裡	入口
後台 MaiGPT、Agent 市集 的對話頁	輸入列右側多一顆 語音互動模式 按鈕。組織需已開通 AI 語音助理，且目前對話的 Agent 已啟用語音助理
網站上的 Web Chat	輸入框旁的 耳機 圖示（與語音輸入的麥克風圖示不同：麥克風是說一句、轉成文字送出；耳機是即時通話）
獨立的語音對話頁	對話平台的 公開訪問 URL 旁有 語音模式 連結（見基本設定），打開是一個只有通話的頁面：按 開始對話，顯示「撥號中」後接通

語音互動模式視窗

按下按鈕後，瀏覽器會先詢問麥克風權限（第一次使用時），按鈕顯示「正在連接...」，接著開啟 語音互動模式 視窗：

區塊	說明
使用須知	提醒 Realtime 與 Realtime + TTS 模式僅支援 MCP 工具、語音助理會搜尋所有關聯的知識庫（見使用限制）
連線狀態	未連接 → 正在連接... → 已連接；失敗時顯示「連接失敗」
目前狀態	初始化中／聆聽中／思考中／回覆中，意義見對話狀態；Agent 委派給其他 Agent 時顯示「子代理回覆中…」
對話紀錄	這次通話的即時文字紀錄，接通前顯示「等待對話開始...」
關閉麥克風／開啟麥克風	暫時靜音或恢復；錄音中會有「錄音中」標示
結束通話	中斷連線並關閉視窗。通話內容會以文字留在原本的對話裡，可以接著用打字繼續

常見提示

畫面文字	怎麼辦
「麥克風權限被拒絕」「請允許麥克風權限以使用語音功能」	到瀏覽器網址列左側的網站權限允許麥克風，再按一次
「找不到麥克風裝置」	確認電腦有接麥克風或耳麥，系統聲音設定裡有選到它
「助理連線逾時，請稍後再試」	語音服務暫時沒接上，稍等幾秒再按一次；持續發生請洽管理員確認 Agent 的語音供應商設定
「無法啟動語音互動模式」	系統暫時無法建立語音連線，稍後再按一次；持續發生請洽管理員

跟一般文字對話有什麼不同？

	文字助理	語音助理
輸入	鍵盤打字、貼上檔案	麥克風語音、可能加上 DTMF 按鍵
輸出	文字、Markdown、圖片、檔案	語音、最後再附上文字逐字稿
延遲要求	秒級可接受	必須毫秒級才自然
適合場景	需要詳細資訊、會回看記錄	需要立即回應、雙手忙、電話客服

適合的場景

• 電話客服：取代傳統 IVR，AI 直接接電話、聽問題、給答案

• 語音查詢系統：客戶打電話查訂單、查餘額、查保單

• 語音 FAQ：常見問題用講的直接問

• 行車 / 雙手忙場景：使用者沒辦法打字，但需要 AI 協助

• 無障礙需求：對打字困難的使用者更友善

使用限制

• 工具支援：目前 Realtime 與 Realtime + TTS 模式僅支援 MCP 工具；要用 API 工具的話請改用 STT + LLM + TTS 模式

• 知識庫搜尋：語音助理會搜尋所有關聯的知識庫，無法限定只搜某幾份文件

• 麥克風權限：需要使用者授權瀏覽器使用麥克風才能開始對話

我需要做什麼？

1. 進入 Agent 設定 — 在你想開啟語音的 Agent 設定頁切到 回答模式設定，找到 語音助理設定 並打開 啟用語音助理。組織需已開通 AI 語音助理，才會看到這個區塊

2. 選擇語音助理模式 — Realtime / Realtime + TTS / STT + LLM + TTS 三選一

3. 設定供應商與配置 — 依模式選對應的 STT / TTS / Realtime 供應商，選定後會自動帶入範例配置，見 語音技術

4. 決定語音提示詞（選用）— 留空沿用角色指令，或依 即時語音提示詞 的對照表填寫

5. 調整對話行為（選用）— 是否播放語音回覆、是否允許打斷；STT + LLM + TTS 模式可調最短時長與最少字數

6. 測試 — 在介面開啟語音通話，確認連線、聆聽、回覆三個狀態都順暢

延伸閱讀

• 語音客服：從零到上線

• 電話客服（通話中心）

• 語音客服情境總覽

• IVR 客服意圖辨識

• 語音通話摘要

• 語音通話品質檢驗