> For the complete documentation index, see [llms.txt](https://docs.maiagent.ai/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://docs.maiagent.ai/tech/platform-development/gpu.md).

# GPU 算力硬體規劃

GPU 算力硬體規劃：私有雲或地端自建 LLM、Embedding、Reranker 或離線語音辨識時，各模型建議的 GPU 與 VRAM、硬體配置與 NVIDIA 驅動需求。

MaiAgent 平台本身不需要 GPU。只有在私有雲或地端主機上自建模型服務（LLM、Embedding、Reranker）或離線語音辨識時，才需要準備 GPU。模型服務也可以改接既有的推論服務或雲端模型，見[地端模型服務接入](/tech/platform-development/onprem-model-services.md)。

## 模型與建議 GPU <a href="#models-and-gpus" id="models-and-gpus"></a>

下表依部署包的模型目錄整理，模型以 vLLM 執行。「建議 GPU」取自部署範本的設定與註記；表中寫「請洽 MaiAgent 評估」的模型，部署範本沒有指定建議的卡。

| 模型                                 | 類型        | 權重下載大小（約） | 建議 GPU                                                                                           |
| ---------------------------------- | --------- | --------- | ------------------------------------------------------------------------------------------------ |
| Gemma 3 4B                         | LLM       | 10 GB     | 24 GB 級的單卡，例如 L4、A10G、RTX 4090                                                                   |
| Gemma 4 26B A4B                    | LLM       | 52 GB     | 80 GB 以上的單卡，例如 H100、H200、A100 80GB、RTX PRO 6000 Blackwell（96 GB）；48 GB 以下的卡需要多卡平行，請洽 MaiAgent 評估 |
| Gemma 4 31B                        | LLM       | 63 GB     | 獨占一張 80 GB 以上的卡，不能和其他模型共用。80 GB 的卡 context 上限 64K；96 GB 的卡可調到 128K                               |
| Qwen3-VL 32B                       | LLM       | 65 GB     | 單張 H200（141 GB）                                                                                  |
| Qwen3.6 27B（FP8）                   | LLM       | 30 GB     | 請洽 MaiAgent 評估。預設使用 FP8 KV cache，需要 Ada Lovelace、Hopper 或 Blackwell 世代                           |
| gpt-oss-20b                        | LLM       | 40 GB     | 請洽 MaiAgent 評估。預設不使用 FP8 KV cache，Ampere 世代（例如 A10G、A100）也能執行                                    |
| gpt-oss-120b                       | LLM       | 240 GB    | 請洽 MaiAgent 評估。預設使用 FP8 KV cache，需要 Ada Lovelace、Hopper 或 Blackwell 世代                           |
| jina-embeddings-v3                 | Embedding | 2 GB      | 與 LLM 共用一張卡，預設占 20% GPU 記憶體                                                                      |
| jina-reranker-v2-base-multilingual | Reranker  | 1 GB      | 與 LLM 共用一張卡，預設占 12% GPU 記憶體                                                                      |
| bge-reranker-v2-m3                 | Reranker  | 2 GB      | 與 LLM 共用一張卡，預設占 15% GPU 記憶體                                                                      |

* **權重下載大小**是部署範本的預估值，用來規劃磁碟與離線物料的傳輸，不等於執行時占用的 GPU 記憶體。
* 執行時占用的 GPU 記憶體還包含對話內容的 KV cache，context 開得越長占得越多；表中的 context 上限是部署範本依卡的大小設定的預設值。
* 實測紀錄：RTX PRO 6000 Blackwell（96 GB）上，Gemma 4 26B A4B 與 Embedding、Reranker 可以共用同一張卡。
* 各模型的功能（工具呼叫、圖片輸入）見[地端模型服務接入：本機模型目錄](/tech/platform-development/onprem-model-services.md#local-model-catalog)。

## 多卡與目錄以外的模型 <a href="#multi-gpu-and-other-models" id="multi-gpu-and-other-models"></a>

* **單張卡放不下的模型要多卡平行**：部署範本以 vLLM 的 tensor parallel 把模型切到多張卡，平行的卡數要等於實際配給該模型的 GPU 數量。例如 gpt-oss-120b 單卡放不下，部署範本提供多卡的設定範例；要用幾張卡、哪種卡，請把機器的 GPU 型號與數量告訴 MaiAgent 評估。
* **目錄以外的開放權重模型**（例如 Llama 系列）不在部署包的模型目錄，沒有現成的部署設定；需要時請洽 MaiAgent 評估，評估後可能以外部的 OpenAI 相容模型服務接入，見[地端模型服務接入：接既有的 OpenAI 相容模型服務](/tech/platform-development/onprem-model-services.md#external-openai-compatible)。

## 估算 GPU 數量前要準備的資訊 <a href="#sizing-inputs" id="sizing-inputs"></a>

同一張卡能同時服務多少請求，取決於模型、量化方式、context 長度、每則請求的輸入與輸出長度，以及可接受的回應延遲，沒有通用的換算公式；本手冊也不提供「每張卡幾個使用者」的數字。請在評估時提供下列資訊，MaiAgent 會依此建議 GPU 型號與數量：

| 項目          | 說明                                                                                                                          |
| ----------- | --------------------------------------------------------------------------------------------------------------------------- |
| 服務人數與同時在線比例 | 平台主機的建議規格以同時在線約 20% 估算，見[系統需求：依服務人數的建議規格](/tech/platform-development/system-requirements.md#sizing-by-users)；GPU 另外依同時對話數估算 |
| 要執行的模型      | 從上表的模型目錄挑選；是否需要圖片輸入或工具呼叫                                                                                                    |
| 使用情境        | 一般問答、長文件摘要、Agent 模式（工具呼叫會增加每次對話的模型呼叫次數）                                                                                     |
| 可接受的回應時間    | 例如第一個字出現的等待時間                                                                                                               |
| 既有的 GPU     | 已採購或規劃中的 GPU 型號與數量，以及是否要與 Embedding、Reranker 共用                                                                             |

## 硬體配置推薦

| GPU                                      | VRAM          | 適用的模型（依部署範本）                                                  |
| ---------------------------------------- | ------------- | ------------------------------------------------------------- |
| NVIDIA H200                              | 141 GB        | Qwen3-VL 32B、Gemma 4 系列                                       |
| NVIDIA RTX PRO 6000 Blackwell            | 96 GB         | Gemma 4 系列；Gemma 4 26B A4B 可與 Embedding、Reranker 共用（實測）       |
| NVIDIA H100                              | 80 GB         | Gemma 4 系列                                                    |
| NVIDIA A100                              | 80 GB         | Gemma 4 系列；不支援 FP8 KV cache                                   |
| NVIDIA RTX 6000 Ada                      | 48 GB         | Gemma 3 4B；較大的模型需要多卡，請洽 MaiAgent 評估                           |
| NVIDIA L40S                              | 48 GB         | Gemma 3 4B；較大的模型需要多卡，請洽 MaiAgent 評估                           |
| NVIDIA GB10（Dell Pro Max GB10、DGX Spark） | 128 GB（與系統共用） | gpt-oss-20b 搭配 jina Embedding 與 Reranker 有運行紀錄；需調整記憶體比例，見下方說明 |

## NVIDIA 驅動與運算能力 <a href="#nvidia-requirements" id="nvidia-requirements"></a>

| 項目                       | 需求                                        |
| ------------------------ | ----------------------------------------- |
| GPU                      | NVIDIA GPU，運算能力（compute capability）7.0 以上 |
| NVIDIA 驅動                | 525.60 以上                                 |
| NVIDIA Container Toolkit | 部署時自動安裝                                   |

* **FP8**：使用 FP8 KV cache 的模型設定需要 Ada Lovelace、Hopper 或 Blackwell 世代；Ampere 世代（例如 A100）不支援。
* **GB10**：GPU 與系統共用 128 GB 記憶體，要改用另一種 GPU 掛載方式，而且同一台主機上所有模型服務的記憶體占用比例合計不要超過 0.92（有運行紀錄的配置是 LLM 0.60、Embedding 0.20、Reranker 0.12）。部署時請告知 MaiAgent。
* 部署範本只支援 NVIDIA GPU。其他加速卡請洽 MaiAgent 評估。
* 主機的其他規格（CPU、記憶體、作業系統）見[系統需求](/tech/platform-development/system-requirements.md)。

## 其他會用到 GPU 的元件 <a href="#other-gpu-components" id="other-gpu-components"></a>

* **離線語音辨識**：部署在主機內的語音轉文字服務需要 GPU。
* **離線文件解析**：解析本身不需要 GPU；要描述文件裡的圖片時，需要接一個 OpenAI 相容的 LLM，可以用上表的本機模型。

若需要更詳細的資訊，歡迎聯繫 MaiAgent 的專業顧問討論，請來信 <mark style="color:blue;"><sales@maiagent.ai></mark>


---

# Agent Instructions
This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com.

## Querying This Documentation
If you need additional information that is not directly available in this page, you can query the documentation by asking a question.

Perform an HTTP GET request on the following URL with the `ask` and `goal` query parameters:

```
GET https://docs.maiagent.ai/tech/platform-development/gpu.md?ask=<question>&goal=<user_goal>
```

`ask` is the immediate question: it should be specific, self-contained, and written in natural language.
`goal` is what the user is ultimately trying to achieve, the reason they need the answer. Sharing it helps GitBook give you a better, more relevant answer. A goal is most helpful when it describes the outcome the user wants rather than restating the question. For example, with `ask=how do I create an API token`, a goal like `automate deployments from our CI pipeline` lets GitBook tailor the answer to that use case.

The response will contain a direct answer to the question and relevant excerpts and sources from the documentation.

Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.