> For the complete documentation index, see [llms.txt](https://docs.maiagent.ai/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://docs.maiagent.ai/maiagent-user-guide/maiagent-user-guide-ja/conversations/inbox-analysis.md). # 対話プラットフォーム分析 対話プラットフォーム分析（Inbox Analysis）は、特定の対話プラットフォームの指定した期間内の実際の対話に対し、AI が自動でトピックを整理し、解決状況を判定したうえで、具体的な改善提案をまとめる機能です。AI アシスタントの対話品質を継続的に最適化するのに役立ちます。 ## 対話プラットフォーム分析とは？ カスタマーサポートの対話が一定の量に達すると、総量や満足度だけを見ても十分ではありません。さらに次のようなことを知りたくなるはずです。 * **ユーザーは実際に何を質問しているのか？** 最もよく聞かれるトピックは何か？ * **どれだけの対話が本当に解決されたのか？** どのタイプの問題が解決率が低いのか？ * **解決できなかった原因は何か？** ナレッジベースに内容が不足しているのか、指示が制限的すぎるのか、それともツールの失敗か？ * **回答速度とコストの分布はどうなっているのか？** どのトピックが時間を要し、Token 使用量が多いのか？ 対話プラットフォーム分析は、これらの問いに答えるために設計されています。システムは次のように動作します。 1. 指定した期間内の対話を抽出します 2. 埋め込みモデルを使ってトピック分類を行います 3. LLM を使って対話の意図・解決状況・失敗原因を一件ずつ分析します 4. 総合的に分析サマリー（改善提案を含む）を生成します {% hint style="info" %} **類似機能との違い** {% endhint %} | 機能 | トリガータイミング | 用途 | | ------------------------------------------------------------------ | -------------------- | -------------------------------- | | [使用状況分析](/maiagent-user-guide/maiagent-user-guide-ja/org/usage.md) | リアルタイム統計 | AI アシスタント単位の定量 KPI（対話文字数、回数、満足度） | | 対話プラットフォームの「対話分析」設定（各対話プラットフォーム設定内のタブ） | リアルタイム、新規メッセージ受信ごと | LLM で対話に自動でタグを付け、振り分けと管理を支援 | | **本ページで説明する「対話プラットフォーム分析」** | **手動トリガー、バッチでの振り返り** | **指定した期間に対するトピック分類、解決率分析、改善提案** | *** ## 使い方 {% stepper %} {% step %} ### 対話プラットフォーム分析ページに入る 1. 左側メニューの「カスタマーサポート対話」→「対話プラットフォーム」をクリックします 2. 対話プラットフォーム一覧で、対象の対話プラットフォームを探します 3. その行の右側の操作エリアにある📊 アイコン（hover で「対話プラットフォーム分析」と表示）をクリックし、分析ページに入ります ページには、この対話プラットフォームでこれまでに作成したすべての分析レポートが表示され、期間、ステータス、対話数、処理時間などの情報が含まれます。
対話プラットフォーム分析一覧ページ

対話プラットフォーム分析一覧ページ：これまでに作成した分析レポートを表示

{% endstep %} {% step %} ### 分析を新規作成する 右上の「分析を新規作成」ボタンをクリックし、以下の必須項目を入力します。 * **期間**：分析する対話の区間を選択します（未来の日付は選択不可） * **分析用 LLM**：対話を一件ずつ分析するための大規模言語モデル * **埋め込みモデル**：トピック分類を行うための埋め込みモデル * **レポート言語**：分析サマリーの出力言語（繁体字中国語、簡体字中国語、英語、日本語、韓国語）
分析を新規作成する Modal

分析を新規作成する Modal：必須項目を入力

「詳細設定」を展開すると、サンプリング戦略を調整できます（詳しくは下記「詳細設定の説明」を参照）。
詳細設定を展開した状態

詳細設定：サンプリングと並列パラメータを調整

「確定」を押すと、システムはバックグラウンドで非同期に分析を実行し、ステータスは「待機中」→「処理中」→「完了」と変化します。 {% endstep %} {% step %} ### レポートを確認する ステータスが「完了」になったら、そのレポートの「レポートを確認」アイコン（👁）をクリックすると、レポート詳細ページに入ることができます。 レポート内容は対話データの充実度に応じて表示され、データ概要、解決状況、トピック分類、人気の質問、パフォーマンス指標、分析サマリー、対話の個別分析が含まれます。
分析レポート詳細ページ

分析レポート詳細ページ：ダッシュボードで指標、分類、失敗原因、パフォーマンス分布を表示

{% endstep %} {% endstepper %} *** ## レポート内容の説明 ### 1. データ概要 | 指標 | 説明 | | ------- | ------------------------------------- | | 総対話数 | 期間内におけるその対話プラットフォームの総対話数 | | 分析済み | 実際に LLM で分析された対話数（「最大サンプリング数」による制限あり） | | サンプリング率 | 分析済み / 総対話数（パーセンテージ） | | 処理時間 | 今回の分析タスクが開始から完了までに要した秒数 | {% hint style="info" %} 総対話数が「最大サンプリング数」を超える場合、システムは分類後のサンプリング戦略によって代表的な対話を選んで分析し、コストと時間を抑えます。 {% endhint %} ### 2. 解決状況 中心となる指標「**解決率**」の計算式は次のとおりです。 ``` 解決率 = (解決済み数 + 部分解決数) ÷ 分析済み数 ``` * **解決済み**（緑）：AI アシスタントがユーザーの質問に完全に回答した * **部分解決**（オレンジ）：内容の一部に回答した、または方向性は正しいが不完全 * **未解決**（赤）：回答できなかった、または回答が誤っていた 解決率が 50% を上回ると緑色で、50% を下回ると赤色で表示され、リアルタイムの健全性の目安となります。 ### 3. パフォーマンス指標 この期間における AI アシスタントの処理パフォーマンスを表示します。 * **Token 総使用量**：Input + Output Token の合計 * **1 ターンあたりの平均 Token**：1 回の対話ターンで消費する平均 Token 数 * **平均回答時間**：メッセージ受信から完全な回答までの総所要時間 * **平均初回 Token 時間（TTFT）**：メッセージ受信から最初の Token を出力し始めるまでの時間 ### 4. トピック分類の分布 すべての対話を「意味的類似度」によって分類し、各トピックの出現回数と占有率を水平棒グラフで表示します。外れ値となる対話は「Noise / Outliers」に分類されます。 このビューを通じて、ユーザーが最もよく質問するトピックを素早く識別できます。 ### 5. 解決 / 失敗原因の分布 システムは分析した各対話にステータスまたは失敗原因を付与し、次のように集計します。 | 原因 | 説明 | | ---------- | ----------------------- | | 解決済み | AI アシスタントが正常に回答した | | 部分解決 | 回答の方向性は正しいが不完全 | | ナレッジベースの不足 | ナレッジベースに関連内容が欠けている | | 指示が制限的すぎる | ロール指示が妥当な回答を阻んだ | | ツールの失敗 | ツールの実行エラーまたは未トリガー | | ユーザーが不明確 | ユーザーのメッセージが曖昧で意図を判断できない | | 範囲外 | ユーザーの質問内容がアシスタントの範囲外 | | ハルシネーション回答 | AI が存在しない、または誤った情報を生成した | | 不明 | 上記のカテゴリに分類できない | この分布は、その後の改善アクションを直接導きます。ナレッジベースの不足が多い → 内容を補充する。指示が制限的すぎるが多い → ロール指示を調整する。ハルシネーションが多い → ナレッジベースと指示の制約を強化する。 ### 6. 人気の質問ランキング 「回数」で並べ替えたトピック一覧で、各トピックの**出現回数**と**解決率**を表示します。いずれかの行を展開すると、そのトピックのサンプル意図を確認でき、分類が想定どおりかを素早く確認できます。 ### 7. トピック別パフォーマンス分布 各トピックについて Token と所要時間を分解し、「コストの高い」または「遅い」トピックを見つけ出します。 * 平均 Input / Output / Total Token * 平均回答時間 * 平均初回 Token 時間 あるトピックの Token が異常に高い場合は、ロール指示やナレッジベースの再現率（recall）を最適化することを検討できます。あるトピックが時間を要する場合は、ツール呼び出し回数が多いか、内容が長すぎる可能性があります。 ### 8. 分析サマリー LLM がすべての分析結果を総合して生成する Markdown レポートで、通常は次の内容を含みます。 * 全体的なパフォーマンスのサマリー * 主な問題パターン * 優先的な改善提案 * 具体的な調整の方向性 デフォルトでは折りたたみブロックで表示され、タイトルをクリックすると展開して読むことができます。 ### 9. 対話の個別分析 展開すると、分析された各対話を一件ずつ確認でき、各件には次の内容が含まれます。 * **意図**（User Intent）：ユーザーが本当に質問したかったこと * **トピック**（Topic）：分類されたトピック * **説明**（Resolution Detail）：解決状況の詳細な記述 * **改善提案**（Suggestions）：その対話に対する具体的な最適化の方向性 *** ## 詳細設定の説明 詳細設定はサンプリングと実行の戦略を制御します。まずはデフォルト値で実行し、その後ニーズに応じて調整することをおすすめします。 | パラメータ | デフォルト値 | 説明 | | -------------- | ------ | ------------------------------------------ | | クラスタごとのサンプリング数 | 10 | 各トピック分類から最大何件の対話を LLM 分析に回すか | | 最大サンプリング数 | 150 | レポート全体で最大何件の対話を分析するか（コスト上限の制御） | | 並列数 | 8 | LLM 分析の並列処理数。数字が大きいほど速くなるが、瞬間的なリソース消費も高くなる | | 最大取得対話数 | — | データベースから取得する対話総量の上限 | | 最小対話メッセージ数 | — | メッセージ数がこの値未満の対話は除外される（意味のない短い対話の分析を避ける） | {% hint style="warning" %} **コストに関する注意**：分析は LLM Token 残高（Input + Output + Embedding）を消費します。分析前にシステムが組織の残高を確認し、残高が不足している場合はタスクを作成できません。 {% endhint %} *** ## 活用シーン ### シーン 1：四半期の品質レビュー **ニーズ**：マネージャーが、前四半期の Web Chat 対話プラットフォームの対話品質と主な問題を知りたい。 **操作**： 1. 期間に前四半期を選択する 2. 最大サンプリング数を 300 に設定する（サンプルを拡大） 3. 分析を実行し、「解決 / 失敗原因の分布」と「人気の質問ランキング」に注目する 4. ナレッジベースの不足、指示が制限的すぎるなどの高頻度原因に対して改善タスクを計画する ### シーン 2：バージョン更新後の影響評価 **ニーズ**：先週ロール指示を調整したので、対話品質が改善したかを知りたい。 **操作**： 1. 「調整前の 1 週間」と「調整後の 1 週間」について、それぞれ 2 件の分析レポートを作成する 2. 2 件のレポートの解決率と失敗原因の分布を比較する 3. 特定の失敗タイプが減少したかを確認する ### シーン 3：トピック分類でナレッジベースを補完する **ニーズ**：ユーザーがよく質問する問題を見つけ、体系的にナレッジベースを補充したい。 **操作**： 1. 直近 1 か月の対話を分析する 2. 「人気の質問ランキング」から高頻度かつ解決率の低いトピックを抽出する 3. 「サンプル意図」を展開して実際の質問の仕方を確認する 4. ナレッジベースに戻り、対応する FAQ や文書を補う *** ## よくある質問 ### Q：なぜ一部の対話が分析されないのですか？ システムは「最大サンプリング数」と「最小対話メッセージ数」によって除外を行い、分類後に代表的なサンプリングを実施します。総対話数が膨大な場合は、コストを抑えるために代表的なサンプルのみを取得します。 ### Q：解決率はどのように判定されるのですか？ 分析用 LLM は、分析された各対話を**直接 9 種類のステータスのいずれかに分類します**。解決済み、部分解決、ナレッジベースの不足、指示が制限的すぎる、ツールの失敗、ユーザーが不明確、範囲外、ハルシネーション回答、不明です。 解決率の計算式： ``` 解決率 = (解決済み + 部分解決) ÷ 分析済み総数 ``` 「解決済み」と「部分解決」はいずれも解決率の分子に算入され、残りの 7 種類のステータスはすべて未解決とみなされます。 ### Q：同じ対話プラットフォームに対して複数の分析を同時に作成できますか？ できますが、**期間が進行中の分析と重複してはいけません**。「この対話プラットフォームには進行中の分析があり、期間が重複しています」というエラーが表示された場合は、その分析の完了を待つか、別の期間を選択してください。 ### Q：分析にはどのくらい時間がかかりますか？ 対話量、最大サンプリング数、並列数、選択したモデルによって異なります。一般的に 150 件のサンプリングでおよそ数分から十数分です。システムのデフォルトの処理時間制限は 110 分で、超過すると自動的に失敗としてマークされます。 ### Q：分析が失敗した場合はどうすればよいですか？ ステータスが「失敗」と表示された場合は、レポート一覧から「エラーメッセージ」欄を確認できます。よくあるメッセージと対処方法は次のとおりです。 * 「Analysis timed out — the worker may have crashed during processing.」処理が時間制限を超過：「最大サンプリング数」を下げて分析量を減らしてから再試行することをおすすめします * 「Analysis task was never picked up by a worker.」タスクが割り当てられなかった：しばらくしてからもう一度試してください * その他のメッセージ：スクリーンショットを撮って MaiAgent のサポート窓口に報告し、調査を依頼してください {% hint style="info" %} **残高不足**の場合は、分析の作成時点で直接ブロックされて通知されるため、「失敗」ステータスのレポートには表示されません。 {% endhint %} ### Q：なぜ私のアカウントには「対話プラットフォーム分析」が表示されないのですか？ 「対話プラットフォーム分析」は「カスタマーサポート対話」アクセス権限のサブ項目です。デフォルトでは、MaiAgent のロールが「カスタマーサポート対話」アクセス権限を持っていれば、この機能が含まれます。 表示されない場合、考えられる原因は次のとおりです。 * お使いの MaiAgent のロールに「カスタマーサポート対話」アクセス権限がない * 組織管理者がお使いのロールに対して「対話プラットフォーム分析」のサブ権限を無効にしている 組織管理者に連絡し、[ロール権限管理](/maiagent-user-guide/maiagent-user-guide-ja/org/role-permission.md)ページで確認・調整してください。 *** ## ご注意事項 {% hint style="info" %} **権限の説明** * 「対話プラットフォーム分析」は「カスタマーサポート対話」アクセス権限のサブ項目で、デフォルトで「カスタマーサポート対話」権限を持つすべての MaiAgent ロールに含まれます * 組織管理者は[ロール権限管理](/maiagent-user-guide/maiagent-user-guide-ja/org/role-permission.md)ページで、この機能を各ロールに対して開放するかを調整できます * この権限を持つメンバーは、所属する組織内のすべての分析レポートを作成・閲覧できます {% endhint %} {% hint style="warning" %} **コストに関する注意** * 分析のたびに LLM の Input / Output Token と Embedding Token を消費します * 作成前に Modal 内で期間と最大サンプリング数を確認することをおすすめします * 詳細設定で最大サンプリング数を調整し、コスト上限を制御できます {% endhint %} {% hint style="danger" %} **データ保護** * 分析の過程では、対話内容が選択した LLM に送信されて処理されます * 組織のデータ処理ポリシーに従って、コンプライアンスに準拠したモデルを選択してください {% endhint %} *** ## 関連機能 {% hint style="info" %} **さらに読む** * [使用状況分析](/maiagent-user-guide/maiagent-user-guide-ja/org/usage.md)：AI アシスタント単位の定量 KPI ダッシュボード * [対話プラットフォーム検索機能](/maiagent-user-guide/maiagent-user-guide-ja/conversations/inbox-search.md)：特定の対話を素早く検索 * [対話ビューア](/maiagent-user-guide/maiagent-user-guide-ja/conversations/conversation-viewer.md)：単一の対話の完全な文脈を確認 * [評価インサイトレポート](https://github.com/Playma-Co-Ltd/maiagent-user-guide-gitbook/blob/main/ja/channels/evaluation-insights.md)：AgentOps のバッチテスト後の自動インサイト {% endhint %} --- # Agent Instructions This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com. ## Querying This Documentation If you need additional information that is not directly available in this page, you can query the documentation dynamically by asking a question. Perform an HTTP GET request on the current page URL with the `ask` query parameter, and the optional `goal` query parameter: ``` GET https://docs.maiagent.ai/maiagent-user-guide/maiagent-user-guide-ja/conversations/inbox-analysis.md?ask=&goal= ``` `ask` is the immediate question: it should be specific, self-contained, and written in natural language. `goal` is optional and describes the broader end goal you are ultimately trying to accomplish on behalf of the user. GitBook uses it to tailor the answer towards what is most useful for that goal. The response will contain a direct answer to the question and relevant excerpts and sources from the documentation. Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.