音声アシスタント

AIアシスタントが「聞く」と「話す」でお客様に対応できるようにし、リアルタイム対話、STT/LLM/TTSパイプライン、割り込み制御をサポートします

これは何ですか？

音声アシスタントは、AIアシスタントが音声で対話できるようにする機能です。ユーザーが話しかけると、AIも音声で返答します。内部ではリアルタイム音声モデル、STT（音声をテキストに変換）、TTS（テキストを音声に変換）、割り込み制御を統合しており、電話カスタマーサポート、IVR、音声アシスタントなどのシーンで利用できます。

有効化すると、AIアシスタントに「音声通話」インターフェースが追加され、ユーザーはマイクをクリックするだけで対話を開始できます。

3つの対話モード

モードによって適したニーズが異なり、レイテンシ、音声のカスタマイズの柔軟性、ツール対応度によって選択します。

モード	動作の仕組み	適したシーン
リアルタイム対話（Realtime）	音声モデルを使って直接リアルタイム音声対話を行います	レイテンシ要求が最も高く、デフォルトの音声で問題ないシーン
リアルタイム対話 + TTS	リアルタイム音声モデルにカスタムTTS出力を組み合わせます	ブランド独自の音声をカスタマイズしたいが、リアルタイム感も保ちたい場合
STT + LLM + TTS	音声をテキストに変換 → LLM → テキストを音声に変換、という従来型パイプライン	完全なツール対応が必要で、ややレイテンシが高くても許容でき、最大限の柔軟性を求める場合

簡単な判断方法：最速・最も自然にしたい → Realtime；ブランド独自の音声が欲しい → Realtime + TTS；最大限の柔軟性とツール対応が欲しい → STT + LLM + TTS。

割り込み制御（Turn Handling）

音声対話における重要な体験です。ユーザーはAIが話している途中で割り込めるか？ ユーザーが本当に話しているのか、それともノイズや「えーと」「あの」といった相づちなのかをどう判断するか？

調整可能なパラメータ：

パラメータ	説明
最短音声継続時間（秒）	ユーザーの音声が最低何秒続けば「割り込みたい」とみなすか
最少文字数	ユーザーが最低何文字を発話すれば割り込みがトリガーされるか

注意：min_duration と min_words は STT + LLM + TTS モードでのみ有効です。Realtimeモードでは、音声モデルが内部で割り込み判定を処理します。

対話の状態

音声対話の進行中、インターフェースには現在の状態が表示されます：

• 聞き取り中：AIがユーザーの音声を受信しています

• 思考中：AIが処理を行っています（ナレッジベースの検索、ツールの使用、返答の生成）

• 返答中：AIが音声で返答しています

• 初期化中：接続を確立したばかりで、準備中です

通常のテキスト対話との違いは？

	テキストアシスタント	音声アシスタント
入力	キーボード入力、ファイルの貼り付け	マイク音声、場合によってはDTMFキー入力
出力	テキスト、Markdown、画像、ファイル	音声、最後にテキストの文字起こしを添付
レイテンシ要求	秒単位で許容可能	自然にするにはミリ秒単位が必須
適したシーン	詳細な情報が必要で、記録を後から見返す場合	即時の応答が必要、両手がふさがっている、電話チャネル

適したシーン

• 電話カスタマーサポート：従来のIVRに代わり、AIが直接電話を受け、質問を聞き、回答します

• 音声照会システム：お客様が電話で注文・残高・保険契約を照会します

• 音声FAQ：よくある質問を音声で直接尋ねられます

• 運転中／両手がふさがっているシーン：ユーザーが入力できないが、AIのサポートが必要な場合

• アクセシビリティのニーズ：入力が困難なユーザーにより配慮した対応ができます

利用上の制限

• ツール対応：現在 Realtime と Realtime + TTS モードは MCPツールのみに対応しています。APIツールを使いたい場合は STT + LLM + TTS モードに切り替えてください

• ナレッジベース検索：音声アシスタントは関連付けられたすべてのナレッジベースを検索し、特定の数件のドキュメントのみに限定して検索することはできません

• マイク権限：対話を開始するには、ユーザーがブラウザのマイク使用を許可する必要があります

何をすればよいですか？

1. AIアシスタント設定を開く — 音声を有効にしたいAgentの設定ページへ

2. 音声アシスタントモードを選択 — Realtime / Realtime + TTS / STT + LLM + TTS の3つから1つを選択

3. プロバイダと構成を設定 — モードに応じて対応するSTT / TTS / Realtimeプロバイダと、JSON構成を選択

4. 割り込み制御を調整（任意）— STT + LLM + TTS モードでは最短継続時間と最少文字数を調整できます

5. テスト — インターフェースで音声通話を開始し、接続・聞き取り・返答の3つの状態がすべてスムーズか確認します

関連資料

• 音声カスタマーサポートシーンの概要

• IVRカスタマーサポートの意図認識

• 音声通話の要約

• 音声通話の品質検証