> For the complete documentation index, see [llms.txt](https://docs.maiagent.ai/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://docs.maiagent.ai/tech/ja/platform-development/gpu.md).

# GPU 計算リソースのハードウェア計画

GPU ハードウェア計画：プライベートクラウドやオンプレミスで LLM、Embedding、Reranker、オフライン音声認識を自前で構築する際の、モデルごとの推奨 GPU と VRAM、ハードウェア構成、NVIDIA ドライバー要件。

MaiAgent プラットフォーム自体には GPU は不要です。プライベートクラウドやオンプレミスのサーバーでモデルサービス（LLM、Embedding、Reranker）やオフライン音声認識を自前で構築する場合にのみ、GPU を用意する必要があります。モデルサービスは既存の推論サービスやクラウドモデルに接続することもできます。[オンプレミスモデルサービスの接続](/tech/ja/platform-development/onprem-model-services.md)をご覧ください。

## モデルと推奨 GPU <a href="#models-and-gpus" id="models-and-gpus"></a>

次の表は、デプロイパッケージのモデルカタログに基づいてまとめています。モデルは vLLM で実行します。「推奨 GPU」はデプロイテンプレートの設定と注記に基づいています。「MaiAgent に評価をご相談ください」と記載したモデルは、デプロイテンプレートに推奨カードの指定がありません。

| モデル                                | 種類        | 重みのダウンロードサイズ（概算） | 推奨 GPU                                                                                                                      |
| ---------------------------------- | --------- | ---------------- | --------------------------------------------------------------------------------------------------------------------------- |
| Gemma 3 4B                         | LLM       | 10 GB            | L4、A10G、RTX 4090 など、24 GB クラスのカード 1 枚                                                                                       |
| Gemma 4 26B A4B                    | LLM       | 52 GB            | H100、H200、A100 80GB、RTX PRO 6000 Blackwell（96 GB）など、80 GB 以上のカード 1 枚。48 GB 以下のカードでは複数 GPU による並列実行が必要です。MaiAgent に評価をご相談ください |
| Gemma 4 31B                        | LLM       | 63 GB            | 80 GB 以上のカード 1 枚を専有し、他のモデルとは共有できません。80 GB のカードではコンテキストの上限は 64K、96 GB のカードでは 128K に設定できます                                    |
| Qwen3-VL 32B                       | LLM       | 65 GB            | H200（141 GB）1 枚                                                                                                             |
| Qwen3.6 27B（FP8）                   | LLM       | 30 GB            | MaiAgent に評価をご相談ください。デフォルトで FP8 KV cache を使用するため、Ada Lovelace、Hopper、Blackwell 世代が必要です                                      |
| gpt-oss-20b                        | LLM       | 40 GB            | MaiAgent に評価をご相談ください。デフォルトでは FP8 KV cache を使用せず、Ampere 世代（A10G、A100 など）でも実行できます                                             |
| gpt-oss-120b                       | LLM       | 240 GB           | MaiAgent に評価をご相談ください。デフォルトで FP8 KV cache を使用するため、Ada Lovelace、Hopper、Blackwell 世代が必要です                                      |
| jina-embeddings-v3                 | Embedding | 2 GB             | LLM とカード 1 枚を共有し、デフォルトで GPU メモリの 20% を使用します                                                                                 |
| jina-reranker-v2-base-multilingual | Reranker  | 1 GB             | LLM とカード 1 枚を共有し、デフォルトで GPU メモリの 12% を使用します                                                                                 |
| bge-reranker-v2-m3                 | Reranker  | 2 GB             | LLM とカード 1 枚を共有し、デフォルトで GPU メモリの 15% を使用します                                                                                 |

* **重みのダウンロードサイズ**は、ディスク容量やオフライン資材の転送を計画するための、デプロイテンプレート上の推定値です。実行時に使用する GPU メモリ量とは異なります。
* 実行時の GPU メモリには会話内容の KV cache も含まれます。コンテキストを長く設定するほど使用量が増えます。表のコンテキスト上限は、カードの容量に応じてデプロイテンプレートで設定したデフォルト値です。
* 実測記録：RTX PRO 6000 Blackwell（96 GB）では、Gemma 4 26B A4B、Embedding、Reranker が同じカード 1 枚を共有できます。
* 各モデルの機能（ツール呼び出し、画像入力）は、[オンプレミスモデルサービスの接続：ローカルモデルカタログ](/tech/ja/platform-development/onprem-model-services.md#local-model-catalog)をご覧ください。

## 複数 GPU とカタログ外のモデル <a href="#multi-gpu-and-other-models" id="multi-gpu-and-other-models"></a>

* **カード 1 枚に収まらないモデルには複数 GPU による並列実行が必要です**：デプロイテンプレートでは、vLLM の tensor parallel でモデルを複数のカードに分割します。並列実行するカード数は、そのモデルに実際に割り当てる GPU 数と一致させる必要があります。たとえば gpt-oss-120b はカード 1 枚に収まらないため、デプロイテンプレートに複数 GPU の設定例を用意しています。必要なカード数と種類を評価するため、マシンの GPU 型番と枚数を MaiAgent にお知らせください。
* **カタログ外のオープンウェイトモデル**（Llama シリーズなど）は、デプロイパッケージのモデルカタログに含まれず、用意済みのデプロイ設定がありません。必要な場合は MaiAgent に評価をご相談ください。評価後、外部の OpenAI 互換モデルサービスとして接続する場合があります。[オンプレミスモデルサービスの接続：既存の OpenAI 互換モデルサービスへの接続](/tech/ja/platform-development/onprem-model-services.md#external-openai-compatible)をご覧ください。

## GPU 数の見積もりに必要な情報 <a href="#sizing-inputs" id="sizing-inputs"></a>

カード 1 枚で同時に処理できるリクエスト数は、モデル、量子化方式、コンテキスト長、各リクエストの入力・出力の長さ、許容できる応答遅延によって変わるため、汎用的な換算式はありません。本マニュアルでも「カード 1 枚あたりのユーザー数」は示していません。評価時に以下の情報をご提供ください。MaiAgent はこれに基づいて GPU の型番と枚数を提案します。

| 項目            | 説明                                                                                                                                                                        |
| ------------- | ------------------------------------------------------------------------------------------------------------------------------------------------------------------------- |
| 利用人数と同時オンライン率 | プラットフォームサーバーの推奨仕様は、約 20% が同時にオンラインになる想定で見積もっています。[システム要件：利用人数別の推奨仕様](/tech/ja/platform-development/system-requirements.md#sizing-by-users)をご覧ください。GPU は同時会話数に基づいて別途見積もります |
| 実行するモデル       | 上記のモデルカタログから選択し、画像入力やツール呼び出しが必要かをお知らせください                                                                                                                                 |
| 利用シーン         | 一般的な質問応答、長文ドキュメントの要約、Agent モード（ツール呼び出しにより、会話ごとのモデル呼び出し回数が増えます）                                                                                                            |
| 許容できる応答時間     | たとえば、最初の文字が表示されるまでの待ち時間です                                                                                                                                                 |
| 既存の GPU       | 購入済みまたは導入予定の GPU の型番と枚数、および Embedding、Reranker と共有するかをお知らせください                                                                                                            |

## 推奨ハードウェア構成

| GPU                                      | VRAM            | 対応モデル（デプロイテンプレートに基づく）                                                                  |
| ---------------------------------------- | --------------- | -------------------------------------------------------------------------------------- |
| NVIDIA H200                              | 141 GB          | Qwen3-VL 32B、Gemma 4 シリーズ                                                              |
| NVIDIA RTX PRO 6000 Blackwell            | 96 GB           | Gemma 4 シリーズ。Gemma 4 26B A4B は Embedding、Reranker と共有できます（実測済み）                        |
| NVIDIA H100                              | 80 GB           | Gemma 4 シリーズ                                                                           |
| NVIDIA A100                              | 80 GB           | Gemma 4 シリーズ。FP8 KV cache には対応していません                                                   |
| NVIDIA RTX 6000 Ada                      | 48 GB           | Gemma 3 4B。より大きなモデルには複数のカードが必要です。MaiAgent に評価をご相談ください                                  |
| NVIDIA L40S                              | 48 GB           | Gemma 3 4B。より大きなモデルには複数のカードが必要です。MaiAgent に評価をご相談ください                                  |
| NVIDIA GB10（Dell Pro Max GB10、DGX Spark） | 128 GB（システムと共有） | gpt-oss-20b と jina Embedding、Reranker を組み合わせた稼働記録があります。メモリの割り当て比率の調整が必要です。以下の説明をご覧ください |

## NVIDIA ドライバーと演算能力 <a href="#nvidia-requirements" id="nvidia-requirements"></a>

| 項目                       | 要件                                         |
| ------------------------ | ------------------------------------------ |
| GPU                      | 演算能力（compute capability）7.0 以上の NVIDIA GPU |
| NVIDIA ドライバー             | 525.60 以上                                  |
| NVIDIA Container Toolkit | デプロイ時に自動インストールします                          |

* **FP8**：FP8 KV cache を使用するモデル設定には、Ada Lovelace、Hopper、Blackwell 世代が必要です。Ampere 世代（A100 など）は対応していません。
* **GB10**：GPU とシステムが 128 GB のメモリを共有するため、別の GPU マウント方式に変更する必要があります。また、同じホスト上のすべてのモデルサービスのメモリ割り当て比率の合計は 0.92 を超えないようにしてください（稼働記録のある構成は LLM 0.60、Embedding 0.20、Reranker 0.12 です）。デプロイ時に MaiAgent にお知らせください。
* デプロイテンプレートは NVIDIA GPU のみ対応しています。他のアクセラレーターについては MaiAgent に評価をご相談ください。
* ホストのその他の仕様（CPU、メモリ、OS）は、[システム要件](/tech/ja/platform-development/system-requirements.md)をご覧ください。

## GPU を使用するその他のコンポーネント <a href="#other-gpu-components" id="other-gpu-components"></a>

* **オフライン音声認識**：ホスト内にデプロイする音声テキスト変換サービスには GPU が必要です。
* **オフラインドキュメント解析**：解析自体には GPU は不要です。ドキュメント内の画像を説明するには、OpenAI 互換の LLM への接続が必要です。上記のローカルモデルを使用できます。

詳しい情報をご希望の場合は、MaiAgent の専門コンサルタントにご相談ください。お問い合わせ先：<mark style="color:blue;"><sales@maiagent.ai></mark>


---

# Agent Instructions
This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com.

## Querying This Documentation
If you need additional information that is not directly available in this page, you can query the documentation by asking a question.

Perform an HTTP GET request on the following URL with the `ask` and `goal` query parameters:

```
GET https://docs.maiagent.ai/tech/ja/platform-development/gpu.md?ask=<question>&goal=<user_goal>
```

`ask` is the immediate question: it should be specific, self-contained, and written in natural language.
`goal` is what the user is ultimately trying to achieve, the reason they need the answer. Sharing it helps GitBook give you a better, more relevant answer. A goal is most helpful when it describes the outcome the user wants rather than restating the question. For example, with `ask=how do I create an API token`, a goal like `automate deployments from our CI pipeline` lets GitBook tailor the answer to that use case.

The response will contain a direct answer to the question and relevant excerpts and sources from the documentation.

Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.