GPU 算力硬體規劃
GPU 算力硬體規劃:私有雲或地端自建 LLM、Embedding、Reranker 或離線語音辨識時,各模型建議的 GPU 與 VRAM、硬體配置與 NVIDIA 驅動需求。
MaiAgent 平台本身不需要 GPU。只有在私有雲或地端主機上自建模型服務(LLM、Embedding、Reranker)或離線語音辨識時,才需要準備 GPU。模型服務也可以改接既有的推論服務或雲端模型,見地端模型服務接入。
模型與建議 GPU
下表依部署包的模型目錄整理,模型以 vLLM 執行。「建議 GPU」取自部署範本的設定與註記;表中寫「請洽 MaiAgent 評估」的模型,部署範本沒有指定建議的卡。
Gemma 3 4B
LLM
10 GB
24 GB 級的單卡,例如 L4、A10G、RTX 4090
Gemma 4 26B A4B
LLM
52 GB
80 GB 以上的單卡,例如 H100、H200、A100 80GB、RTX PRO 6000 Blackwell(96 GB);48 GB 以下的卡需要多卡平行,請洽 MaiAgent 評估
Gemma 4 31B
LLM
63 GB
獨占一張 80 GB 以上的卡,不能和其他模型共用。80 GB 的卡 context 上限 64K;96 GB 的卡可調到 128K
Qwen3-VL 32B
LLM
65 GB
單張 H200(141 GB)
Qwen3.8 27B(FP8)
LLM
30 GB
請洽 MaiAgent 評估。預設使用 FP8 KV cache,需要 Ada Lovelace、Hopper 或 Blackwell 世代
gpt-oss-20b
LLM
40 GB
請洽 MaiAgent 評估。預設不使用 FP8 KV cache,Ampere 世代(例如 A10G、A100)也能執行
gpt-oss-120b
LLM
240 GB
請洽 MaiAgent 評估。預設使用 FP8 KV cache,需要 Ada Lovelace、Hopper 或 Blackwell 世代
jina-embeddings-v3
Embedding
2 GB
與 LLM 共用一張卡,預設占 20% GPU 記憶體
jina-reranker-v2-base-multilingual
Reranker
1 GB
與 LLM 共用一張卡,預設占 12% GPU 記憶體
bge-reranker-v2-m3
Reranker
2 GB
與 LLM 共用一張卡,預設占 15% GPU 記憶體
權重下載大小是部署範本的預估值,用來規劃磁碟與離線物料的傳輸,不等於執行時占用的 GPU 記憶體。
執行時占用的 GPU 記憶體還包含對話內容的 KV cache,context 開得越長占得越多;表中的 context 上限是部署範本依卡的大小設定的預設值。
實測紀錄:RTX PRO 6000 Blackwell(96 GB)上,Gemma 4 26B A4B 與 Embedding、Reranker 可以共用同一張卡。
各模型的功能(工具呼叫、圖片輸入)見地端模型服務接入:本機模型目錄。
多卡與目錄以外的模型
單張卡放不下的模型要多卡平行:部署範本以 vLLM 的 tensor parallel 把模型切到多張卡,平行的卡數要等於實際配給該模型的 GPU 數量。例如 gpt-oss-120b 單卡放不下,部署範本提供多卡的設定範例;要用幾張卡、哪種卡,請把機器的 GPU 型號與數量告訴 MaiAgent 評估。
目錄以外的開放權重模型(例如 Llama 系列)不在部署包的模型目錄,沒有現成的部署設定;需要時請洽 MaiAgent 評估,評估後可能以外部的 OpenAI 相容模型服務接入,見地端模型服務接入:接既有的 OpenAI 相容模型服務。
估算 GPU 數量前要準備的資訊
同一張卡能同時服務多少請求,取決於模型、量化方式、context 長度、每則請求的輸入與輸出長度,以及可接受的回應延遲,沒有通用的換算公式;本手冊也不提供「每張卡幾個使用者」的數字。請在評估時提供下列資訊,MaiAgent 會依此建議 GPU 型號與數量:
服務人數與同時在線比例
平台主機的建議規格以同時在線約 20% 估算,見系統需求:依服務人數的建議規格;GPU 另外依同時對話數估算
要執行的模型
從上表的模型目錄挑選;是否需要圖片輸入或工具呼叫
使用情境
一般問答、長文件摘要、Agent 模式(工具呼叫會增加每次對話的模型呼叫次數)
可接受的回應時間
例如第一個字出現的等待時間
既有的 GPU
已採購或規劃中的 GPU 型號與數量,以及是否要與 Embedding、Reranker 共用
硬體配置推薦
NVIDIA H200
141 GB
Qwen3-VL 32B、Gemma 4 系列
NVIDIA RTX PRO 6000 Blackwell
96 GB
Gemma 4 系列;Gemma 4 26B A4B 可與 Embedding、Reranker 共用(實測)
NVIDIA H100
80 GB
Gemma 4 系列
NVIDIA A100
80 GB
Gemma 4 系列;不支援 FP8 KV cache
NVIDIA RTX 6000 Ada
48 GB
Gemma 3 4B;較大的模型需要多卡,請洽 MaiAgent 評估
NVIDIA L40S
48 GB
Gemma 3 4B;較大的模型需要多卡,請洽 MaiAgent 評估
NVIDIA GB10(Dell Pro Max GB10、DGX Spark)
128 GB(與系統共用)
gpt-oss-20b 搭配 jina Embedding 與 Reranker 有運行紀錄;需調整記憶體比例,見下方說明
NVIDIA 驅動與運算能力
GPU
NVIDIA GPU,運算能力(compute capability)7.0 以上
NVIDIA 驅動
525.60 以上
NVIDIA Container Toolkit
部署時自動安裝
FP8:使用 FP8 KV cache 的模型設定需要 Ada Lovelace、Hopper 或 Blackwell 世代;Ampere 世代(例如 A100)不支援。
GB10:GPU 與系統共用 128 GB 記憶體,要改用另一種 GPU 掛載方式,而且同一台主機上所有模型服務的記憶體占用比例合計不要超過 0.92(有運行紀錄的配置是 LLM 0.60、Embedding 0.20、Reranker 0.12)。部署時請告知 MaiAgent。
部署範本只支援 NVIDIA GPU。其他加速卡請洽 MaiAgent 評估。
主機的其他規格(CPU、記憶體、作業系統)見系統需求。
其他會用到 GPU 的元件
離線語音辨識:部署在主機內的語音轉文字服務需要 GPU。
離線文件解析:解析本身不需要 GPU;要描述文件裡的圖片時,需要接一個 OpenAI 相容的 LLM,可以用上表的本機模型。
若需要更詳細的資訊,歡迎聯繫 MaiAgent 的專業顧問討論,請來信 sales@maiagent.ai
最後更新於
這有幫助嗎?