For the complete documentation index, see llms.txt. This page is also available as Markdown.

音声アシスタント(Voice Agent)

Agent が「聞く」「話す」ことで顧客に対応できるようにし、リアルタイムの会話、STT/LLM/TTS パイプライン、割り込み制御をサポートします

どのような機能ですか?

音声アシスタントは、Agent との音声によるやり取りを可能にします。ユーザーが話しかけると、AI も音声で応答します。リアルタイム音声モデル、STT(音声からテキストへの変換)、TTS(テキストから音声への変換)、割り込み制御を統合しており、電話でのカスタマーサポート、IVR、音声アシスタントなどに利用できます。

有効にすると、MaiGPT、Agent マーケットプレイス、Web Chat の入力欄に「音声対話モード」を開始するボタンが表示されます。クリックするだけで話し始められます。操作方法はユーザーの利用方法をご覧ください。

3 つの対話モード

各モードの用途は、遅延、音声のカスタマイズの柔軟性、ツールのサポート範囲によって異なります。

モード
仕組み
適した用途

リアルタイム対話(Realtime)

音声モデルを直接使用してリアルタイムに音声で会話します

遅延を最小限に抑える必要があり、既定の音声を利用できる場合に適しています

リアルタイム対話 + TTS

リアルタイム音声モデルとカスタム TTS 出力を組み合わせます

ブランド独自の音声が必要で、リアルタイムの応答性も維持したい場合に適しています

STT + LLM + TTS

音声をテキストに変換 → LLM → テキストを音声に変換する従来のパイプラインです

ツールを全面的に利用し、多少の遅延を許容して最大限の柔軟性を求める場合に適しています

選び方の目安:速さと自然さを最優先する場合は Realtime、ブランド独自の音声が必要な場合は Realtime + TTS、柔軟性とツールのサポートを重視する場合は STT + LLM + TTS を選びます。

音声アシスタント設定の入力方法

音声アシスタント設定は、Agent 設定ページの回答モード設定タブで、ロール指示の後に表示されます(組織で AI 音声アシスタントが利用可能になっている場合のみ表示されます)。最上部に「音声アシスタントを有効にする」全体スイッチがあります。オフにすると設定全体が折りたたまれ、Web Chat、電話、管理画面の音声機能から、この Agent の音声サービスを利用できなくなります。オンにしたら、次の 3 つのセクションを順番に設定します。各セクションを折りたたむと、現在の設定の概要が右側に表示されます。

1. 音声技術

まず「音声アシスタントモード」でモードのカードをクリックします(もう一度クリックすると選択を解除できます)。次に、そのモードに応じてプロバイダーを選び、構成を入力します。

モード
選択するプロバイダー
構成フィールド

リアルタイム対話 (Realtime)

リアルタイム音声プロバイダー

リアルタイム音声構成

リアルタイム対話 + TTS

リアルタイム音声プロバイダー、テキスト読み上げ (TTS) プロバイダー

リアルタイム音声構成、TTS 構成

STT + LLM + TTS

音声認識 (STT) プロバイダー、テキスト読み上げ (TTS) プロバイダー

STT 構成、TTS 構成

各プロバイダーの下には、左右に並んだ構成フィールドがあります。左側の「構成例」は読み取り専用で、右側には実際に適用される JSON 構成を入力します。

  • 現在サポートしているプロバイダーは、STT が OpenAI、Azure、Bronci(台湾語/中国語/客家語)、TTS が OpenAI、Azure、VoAI、Bronci、リアルタイム音声が OpenAI Realtime、Google Gemini Live です。一覧には組織で利用可能なプロバイダーだけが表示されます。空の場合は「利用可能なプロバイダーがありません」と表示されるため、MaiAgent に利用開始をご依頼ください。

  • プロバイダーを選ぶと、その構成例が右側のフィールドに自動入力されます。通常はそのまま保存できます。音声、言語、文字起こしモデルなどを調整する場合は JSON を編集します。構成例の下にある「構成の説明」の表には、各パラメーターの型、既定値、選択可能な値、説明が記載されています。ユーザーの文字起こし設定などを入力する際に参照してください。

  • 構成は有効な JSON である必要があります。無効な場合は「構成の形式が正しくありません。有効な JSON を入力してください」と表示され、保存時にも該当セクションが展開されるため、修正してください。空のまま保存しようとすると「構成が空です。保存後は既定の構成が自動的に適用されます」と表示され、確認すると既定の構成で保存されます。

リアルタイム音声モデルの選び方

「リアルタイム音声プロバイダー」の選択肢は、「モデル名 (プロバイダー)」の形式で表示されます。例として gemini-3.8-live (Google Gemini Live)、gpt-realtime-2.1 (OpenAI Realtime) があります。Google Gemini Live では現在、次の 2 つのモデルを選べます。

モデル
説明

gemini-3.8-live

メニューの先頭に表示される、gemini-live-2.5-flash-native-audio の後継モデルです。2.5 と同様に「リアルタイム対話 (Realtime)」モードでのみ利用でき、「音声応答を有効にする」をオンにする必要があります。下記の注意をご覧ください

gemini-live-2.5-flash-native-audio

既存のモデルです。すでに選択している Agent は通常どおり通話できます。Google はこのモデルの提供終了を発表しています(Vertex AI では 2026 年 12 月 13 日を予定)。現在、選択済みの Agent が自動で 3.8 に切り替わることはないため、提供終了前に手動で変更することをおすすめします

リアルタイム音声プロバイダーのドロップダウンです。先頭に gemini-3.8-live (Google Gemini Live)、その下に gemini-live-2.5-flash-native-audio と複数の OpenAI Realtime モデルが表示されています
「リアルタイム音声プロバイダー」メニューでは gemini-3.8-live が先頭に表示され、2.5 も引き続き選択できます

たとえば、カスタマーサポート責任者が、これまで gemini-live-2.5-flash-native-audio で電話を受けていた電話対応 Agent を、2.5 の提供終了前に 3.8 へ切り替える場合は、次のように操作します。

  1. Agent 設定ページの回答モード設定 → 音声アシスタント設定で「音声技術」を展開し、「音声アシスタントモード」が「リアルタイム対話 (Realtime)」になっていることを確認します。

  2. 「リアルタイム音声プロバイダー」を gemini-3.8-live (Google Gemini Live) に変更します。右側の「リアルタイム音声構成」が 3.8 の構成例に置き換わるため、以前変更したパラメーター(音声の voice など)は再入力してください。

  3. 右下の保存をクリックし、音声対話モードを開いて話しかけます。応答が聞こえることと、対話履歴の双方にテキストが表示されることを確認します。

切り替える前に、2 つのモデルの料金を比較することもできます。リアルタイム音声通話は、選択したモデルの音声・テキストの入力と出力の使用量に応じて Credits を消費します。3.8 と 2.5 では料金が異なります。組織設定 → Credits → 課金方式で「音声認識・音声合成技術」を展開し、「リアルタイム音声出力(テキスト)」などの項目を開くと、モデルごとの料金を確認できます。詳しくは Credits の課金制度をご覧ください。

課金方式のリアルタイム音声出力(テキスト)を展開すると、gemini-3.8-live と gemini-live-2.5-flash-native-audio の 1,000 Tokens あたりの料金がそれぞれ表示されます
「リアルタイム音声出力(テキスト)」を展開すると、3.8 と 2.5 の料金を個別に確認できます

gemini-3.8-live は回答前に思考します。この思考の使用量は「リアルタイム音声出力(テキスト)」に含まれ、3.8 のテキスト出力料金に従って Credits が差し引かれます。gemini-live-2.5-flash-native-audio には思考の使用量がなく、課金方式は変わりません。3.8 へ切り替えた後の費用を見積もる際は、この使用量も含めてください。

2. リアルタイム音声プロンプト

「リアルタイム音声プロンプト」は、音声モデル専用のプロンプトです。空欄の場合はロール指示を使用します。フィールド上部には、「音声モード × 回答モード × 入力の有無」に応じて、現在どの設定が適用されているかが表示されます。

画面の表示
表示される条件
意味

このモードは音声プロンプトに対応していません

STT + LLM + TTS

このモードでは常にロール指示を使用し、フィールドは編集できません。音声専用のプロンプトが必要な場合は Realtime または Realtime + TTS を使用してください

現在の適用内容:ロール指示を使用

Realtime 系 × RAG 質疑応答 × 空欄

音声モデルがロール指示を直接使用して回答します

現在の適用内容:このプロンプトでロール指示を置き換え

Realtime 系 × RAG 質疑応答 × 入力済み

RAG 質疑応答ではナレッジベースが検索結果の抜粋のみを返し、音声モデルがこのプロンプトに基づいて回答を生成します。ロール指示は一切適用されません

現在の適用内容:音声レイヤーでロール指示を使用

Realtime 系 × Agent などのほかの回答モード × 空欄

音声は質問をテキスト応答フローに委譲し、回答は引き続きロール指示とツールによって決まります

現在の適用内容:音声対話レイヤーのみに影響

Realtime 系 × Agent などのほかの回答モード × 入力済み

回答内容は変わりません。このプロンプトは音声モデルの話し方(トーン、口調、間)のみを調整します

RAG 質疑応答モードでロール指示を基に微調整したい場合は、「ロール指示をベースとして取り込む」をクリックしてフィールドにコピーしてから編集します。すでに内容がある場合は、先に「音声プロンプトを上書き」の確認が表示されます。

3. 対話動作

  • 「音声応答を有効にする」:オフにすると、音声を再生せずテキストのみで応答します。音声入力だけを使いたい場合に適しています。

  • 「割り込み制御設定」:音声アシスタントの応答中にユーザーが割り込めるようにします。有効にすると、最短発話時間(秒)と最小単語数を調整できます。この 2 つのフィールドは STT + LLM + TTS モードでのみ適用され、ほかのモードでは注意が表示され、編集できなくなります。割り込み制御をご覧ください。

セクションの最下部の「利用上の注意」には、音声アシスタントは関連付けられたすべてのナレッジベースを検索し、検索対象のファイルを指定できない旨が表示されます。設定が完了したら、右下の保存をクリックします。

割り込み制御(Turn Handling)

音声対話では、AI が話している途中にユーザーが割り込めるかどうかが重要です。また、ユーザーの実際の発話と、雑音や相づちを区別する必要があります。

調整できるパラメーターは次のとおりです。

パラメーター
説明

最短発話時間(秒)

割り込みとして扱うために、ユーザーが最低何秒話し続ける必要があるかを指定します

最小単語数

割り込みを起こすために、ユーザーが最低いくつの単語を発話する必要があるかを指定します

注意:min_duration と min_words は STT + LLM + TTS モードでのみ有効です。Realtime モードでは音声モデル内部で割り込みを判定します。

ユーザーの文字起こし設定(Realtime モード)

Realtime と Realtime + TTS モードでは、音声モデルがユーザーの音声を直接聞き取ります。ユーザーが話した内容のテキスト記録(ユーザーの文字起こし)は、別の文字起こしモデルが生成します。リアルタイム音声プロバイダーで OpenAI を選択した場合、リアルタイム音声構成の JSON にある input_audio_transcription で文字起こしの方法を指定できます。

フィールド
説明

model

文字起こしモデルです。gpt-4o-transcribe、gpt-4o-mini-transcribe、gpt-transcribe、gpt-live-transcribe を指定できます。未指定の場合は gpt-4o-mini-transcribe を使用します

language

言語のヒントとして ISO-639-1 コード(zh、en、ja など)を入力します。空欄の場合はモデルが自動検出します

prompt

文字起こしモデルへのヒントです。登場が想定される専門用語や、繁体字中国語で出力する指示などを指定します

設定ページでは、構成フィールドの下に各フィールドの型、既定値、選択可能な値が表示されるため、参照しながら入力できます。

  • 文字起こしのみに影響します:この設定は、通話記録のユーザー側のテキストを決定します。音声モデルが聞き取る内容や回答は変わりません。

  • 多言語での通話:ユーザーが複数の言語を混ぜて話す場合は、language を空欄にしてモデルに自動検出させます。単一の言語に固定する場合は、コードを入力すると認識が安定します。

  • 課金:ユーザーの文字起こしは、実際に使用した文字起こしモデルの音声認識時間(秒数)に応じて Credits に計上されます。モデルごとの単価は、組織設定 → Credits → 課金方式で確認できます。詳しくは Credits の課金制度をご覧ください。

対話の状態

音声対話中は、画面に現在の状態が表示されます。

  • 聞き取り中:AI がユーザーの音声を受信しています

  • 思考中:AI が処理しています(ナレッジベースの検索、ツールの使用、応答の生成)

  • 応答中:AI が音声で応答しています

  • 初期化中:接続直後の準備を行っています

ユーザーの利用方法

Agent で音声アシスタントを有効にすると、ユーザーは設定なしで、通常のテキスト対話画面から音声に切り替えられます。

利用場所
開始方法

管理画面のMaiGPT、Agent マーケットプレイスの対話ページ

入力欄の右側に音声対話モードボタンが表示されます。組織で AI 音声アシスタントが利用可能で、現在の Agent で音声アシスタントが有効になっている必要があります

Web サイト上の Web Chat

入力欄の横にあるヘッドホンアイコンをクリックします(音声入力のマイクアイコンとは異なります。マイクは 1 回の発話をテキストに変換して送信し、ヘッドホンはリアルタイム通話を開始します)

独立した音声対話ページ

対話プラットフォームの公開アクセス URLの横に音声モードリンクがあります(基本設定をご覧ください)。開くと通話専用ページが表示されます。対話を開始をクリックすると、「発信中」と表示された後に接続されます

音声対話モードのウィンドウ

ボタンをクリックすると、初回はブラウザーがマイクへのアクセス許可を求めます。ボタンに「接続中...」と表示された後、音声対話モードのウィンドウが開きます。

セクション
説明

利用上の注意

Realtime と Realtime + TTS モードは MCP ツールのみをサポートすること、音声アシスタントは関連付けられたすべてのナレッジベースを検索することを案内します(利用上の制限をご覧ください)

接続状態

未接続 → 接続中... → 接続済みと変わります。失敗すると「接続に失敗しました」と表示されます

現在の状態

初期化中/聞き取り中/思考中/応答中が表示されます。意味は対話の状態をご覧ください。Agent がほかの Agent に委譲しているときは「サブエージェントが応答中…」と表示されます

対話履歴

今回の通話のリアルタイムのテキスト記録です。接続前は「対話の開始を待っています...」と表示されます

マイクをオフ/マイクをオン

一時的にミュートしたり、解除したりできます。録音中は「録音中」と表示されます

通話を終了

接続を切断してウィンドウを閉じます。通話内容は元の対話にテキストとして残るため、そのまま文字入力で続けられます

よく表示されるメッセージ

画面の表示
対処方法

「マイクへのアクセスが拒否されました」「音声機能を使うにはマイクへのアクセスを許可してください」

ブラウザーのアドレスバー左側にあるサイトの権限でマイクを許可し、もう一度クリックしてください

「マイクが見つかりません」

マイクまたはヘッドセットが接続され、システムのサウンド設定で選択されていることを確認してください

「アシスタントへの接続がタイムアウトしました。しばらくしてから再試行してください」

音声サービスに一時的に接続できていません。数秒待ってから再試行してください。続く場合は、管理者に Agent の音声プロバイダー設定の確認を依頼してください

「音声対話モードを開始できません」

システムが一時的に音声接続を確立できません。しばらくしてから再試行してください。続く場合は管理者にお問い合わせください

通常のテキスト対話との違いは何ですか?

テキストアシスタント
音声アシスタント

入力

キーボード入力、ファイルの添付です

マイクからの音声です。DTMF キー入力を使う場合もあります

出力

テキスト、Markdown、画像、ファイルです

音声で応答し、最後に文字起こしが付きます

遅延の要件

秒単位の遅延を許容できます

自然な会話にはミリ秒単位の遅延が必要です

適した用途

詳細な情報が必要な場合や、記録を後から見返す場合です

すぐに応答が必要な場合、手が離せない場合、電話での顧客対応です

適した用途

  • 電話でのカスタマーサポート:従来の IVR に代わり、AI が直接電話を受け、質問を聞いて回答します

  • 音声照会システム:顧客が電話で注文、残高、保険契約を確認できます

  • 音声 FAQ:よくある質問を音声で直接尋ねられます

  • 運転中/手が離せない場面:文字入力ができないユーザーが AI の支援を受けられます

  • アクセシビリティへの対応:文字入力が難しいユーザーも利用しやすくなります

利用上の制限

  • ツールのサポート:現在、Realtime と Realtime + TTS モードで利用できるのは MCP ツールのみです。API ツールを使う場合は STT + LLM + TTS モードに変更してください

  • ナレッジベースの検索:音声アシスタントは関連付けられたすべてのナレッジベースを検索します。特定の文書だけに検索対象を限定することはできません

  • Gemini Live モデル:gemini-3.8-live と gemini-live-2.5-flash-native-audio は Realtime モードでのみ利用でき、「音声応答を有効にする」をオンにする必要があります。Realtime + TTS との組み合わせ、音声応答の無効化(テキストのみの応答)、トリガーモードが「受信したすべてのメッセージ」の AI Copilot 対話プラットフォームでは、通話中に正常に応答できません。リアルタイム音声モデルの選び方をご覧ください

  • マイクの権限:対話を始めるには、ユーザーがブラウザーによるマイクの使用を許可する必要があります

何をすればよいですか?

  1. Agent 設定を開きます — 音声を有効にする Agent の設定ページで回答モード設定に切り替え、音声アシスタント設定を見つけて音声アシスタントを有効にするをオンにします。このセクションは、組織で AI 音声アシスタントが利用可能な場合にのみ表示されます

  2. 音声アシスタントモードを選びます — Realtime / Realtime + TTS / STT + LLM + TTS のいずれかを選択します

  3. プロバイダーと構成を設定します — モードに応じた STT / TTS / Realtime プロバイダーを選びます。選択すると構成例が自動入力されます。音声技術をご覧ください

  4. 音声プロンプトを設定します(任意)— 空欄にしてロール指示を使用するか、リアルタイム音声プロンプトの表を参考に入力します

  5. 対話動作を調整します(任意)— 音声応答を再生するか、割り込みを許可するかを設定します。STT + LLM + TTS モードでは最短発話時間と最小単語数も調整できます

  6. テストします — 画面から音声通話を開始し、接続、聞き取り、応答がすべてスムーズに動作することを確認します

関連ドキュメント

最終更新

役に立ちましたか?