For the complete documentation index, see llms.txt. This page is also available as Markdown.

GPU 算力硬體規劃

GPU 算力硬體規劃:私有雲或地端自建 LLM、Embedding、Reranker 或離線語音辨識時,各模型建議的 GPU 與 VRAM、硬體配置與 NVIDIA 驅動需求。

MaiAgent 平台本身不需要 GPU。只有在私有雲或地端主機上自建模型服務(LLM、Embedding、Reranker)或離線語音辨識時,才需要準備 GPU。模型服務也可以改接既有的推論服務或雲端模型,見地端模型服務接入。

模型與建議 GPU

下表依部署包的模型目錄整理,模型以 vLLM 執行。「建議 GPU」取自部署範本的設定與註記;表中寫「請洽 MaiAgent 評估」的模型,部署範本沒有指定建議的卡。

模型
類型
權重下載大小(約)
建議 GPU

Gemma 3 4B

LLM

10 GB

24 GB 級的單卡,例如 L4、A10G、RTX 4090

Gemma 4 26B A4B

LLM

52 GB

80 GB 以上的單卡,例如 H100、H200、A100 80GB、RTX PRO 6000 Blackwell(96 GB);48 GB 以下的卡需要多卡平行,請洽 MaiAgent 評估

Gemma 4 31B

LLM

63 GB

獨占一張 80 GB 以上的卡,不能和其他模型共用。80 GB 的卡 context 上限 64K;96 GB 的卡可調到 128K

Qwen3-VL 32B

LLM

65 GB

單張 H200(141 GB)

Qwen3.8 27B(FP8)

LLM

30 GB

請洽 MaiAgent 評估。預設使用 FP8 KV cache,需要 Ada Lovelace、Hopper 或 Blackwell 世代

gpt-oss-20b

LLM

40 GB

請洽 MaiAgent 評估。預設不使用 FP8 KV cache,Ampere 世代(例如 A10G、A100)也能執行

gpt-oss-120b

LLM

240 GB

請洽 MaiAgent 評估。預設使用 FP8 KV cache,需要 Ada Lovelace、Hopper 或 Blackwell 世代

jina-embeddings-v3

Embedding

2 GB

與 LLM 共用一張卡,預設占 20% GPU 記憶體

jina-reranker-v2-base-multilingual

Reranker

1 GB

與 LLM 共用一張卡,預設占 12% GPU 記憶體

bge-reranker-v2-m3

Reranker

2 GB

與 LLM 共用一張卡,預設占 15% GPU 記憶體

  • 權重下載大小是部署範本的預估值,用來規劃磁碟與離線物料的傳輸,不等於執行時占用的 GPU 記憶體。

  • 執行時占用的 GPU 記憶體還包含對話內容的 KV cache,context 開得越長占得越多;表中的 context 上限是部署範本依卡的大小設定的預設值。

  • 實測紀錄:RTX PRO 6000 Blackwell(96 GB)上,Gemma 4 26B A4B 與 Embedding、Reranker 可以共用同一張卡。

  • 各模型的功能(工具呼叫、圖片輸入)見地端模型服務接入:本機模型目錄。

多卡與目錄以外的模型

  • 單張卡放不下的模型要多卡平行:部署範本以 vLLM 的 tensor parallel 把模型切到多張卡,平行的卡數要等於實際配給該模型的 GPU 數量。例如 gpt-oss-120b 單卡放不下,部署範本提供多卡的設定範例;要用幾張卡、哪種卡,請把機器的 GPU 型號與數量告訴 MaiAgent 評估。

  • 目錄以外的開放權重模型(例如 Llama 系列)不在部署包的模型目錄,沒有現成的部署設定;需要時請洽 MaiAgent 評估,評估後可能以外部的 OpenAI 相容模型服務接入,見地端模型服務接入:接既有的 OpenAI 相容模型服務。

估算 GPU 數量前要準備的資訊

同一張卡能同時服務多少請求,取決於模型、量化方式、context 長度、每則請求的輸入與輸出長度,以及可接受的回應延遲,沒有通用的換算公式;本手冊也不提供「每張卡幾個使用者」的數字。請在評估時提供下列資訊,MaiAgent 會依此建議 GPU 型號與數量:

項目
說明

服務人數與同時在線比例

平台主機的建議規格以同時在線約 20% 估算,見系統需求:依服務人數的建議規格;GPU 另外依同時對話數估算

要執行的模型

從上表的模型目錄挑選;是否需要圖片輸入或工具呼叫

使用情境

一般問答、長文件摘要、Agent 模式(工具呼叫會增加每次對話的模型呼叫次數)

可接受的回應時間

例如第一個字出現的等待時間

既有的 GPU

已採購或規劃中的 GPU 型號與數量,以及是否要與 Embedding、Reranker 共用

硬體配置推薦

GPU
VRAM
適用的模型(依部署範本)

NVIDIA H200

141 GB

Qwen3-VL 32B、Gemma 4 系列

NVIDIA RTX PRO 6000 Blackwell

96 GB

Gemma 4 系列;Gemma 4 26B A4B 可與 Embedding、Reranker 共用(實測)

NVIDIA H100

80 GB

Gemma 4 系列

NVIDIA A100

80 GB

Gemma 4 系列;不支援 FP8 KV cache

NVIDIA RTX 6000 Ada

48 GB

Gemma 3 4B;較大的模型需要多卡,請洽 MaiAgent 評估

NVIDIA L40S

48 GB

Gemma 3 4B;較大的模型需要多卡,請洽 MaiAgent 評估

NVIDIA GB10(Dell Pro Max GB10、DGX Spark)

128 GB(與系統共用)

gpt-oss-20b 搭配 jina Embedding 與 Reranker 有運行紀錄;需調整記憶體比例,見下方說明

NVIDIA 驅動與運算能力

項目
需求

GPU

NVIDIA GPU,運算能力(compute capability)7.0 以上

NVIDIA 驅動

525.60 以上

NVIDIA Container Toolkit

部署時自動安裝

  • FP8:使用 FP8 KV cache 的模型設定需要 Ada Lovelace、Hopper 或 Blackwell 世代;Ampere 世代(例如 A100)不支援。

  • GB10:GPU 與系統共用 128 GB 記憶體,要改用另一種 GPU 掛載方式,而且同一台主機上所有模型服務的記憶體占用比例合計不要超過 0.92(有運行紀錄的配置是 LLM 0.60、Embedding 0.20、Reranker 0.12)。部署時請告知 MaiAgent。

  • 部署範本只支援 NVIDIA GPU。其他加速卡請洽 MaiAgent 評估。

  • 主機的其他規格(CPU、記憶體、作業系統)見系統需求。

其他會用到 GPU 的元件

  • 離線語音辨識:部署在主機內的語音轉文字服務需要 GPU。

  • 離線文件解析:解析本身不需要 GPU;要描述文件裡的圖片時,需要接一個 OpenAI 相容的 LLM,可以用上表的本機模型。

若需要更詳細的資訊,歡迎聯繫 MaiAgent 的專業顧問討論,請來信 sales@maiagent.ai

最後更新於

這有幫助嗎?