GPU 演算リソースのハードウェア計画

GPU における Llama3 の推論速度（token/秒）

主要な GPU における Llama3 8B / 70B の性能比較

GPU	メモリ(VRAM)	8B Q4_K_M	8B F16	70B Q4_K_M	70B F16
RTX 4090	24GB	127.74	54.34	メモリ超過	メモリ超過
RTX A6000	48GB	102.22	40.25	14.58	メモリ超過
L40S	48GB	113.60	43.42	15.31	メモリ超過
RTX 6000 Ada	48GB	130.99	51.97	18.36	メモリ超過
A100	80GB	138.31	54.56	22.11	メモリ超過
H100	80GB	144.49	67.79	25.01	メモリ超過
M2 Ultra	192GB	76.28	36.25	12.13	4.71

---

Llama3 モデルが必要とする VRAM

モデル	Q4_K_M（量子化後）	F16（オリジナル）
Llama3 8B	4.58 GB	14.96 GB
Llama3 70B	39.59 GB	131.42 GB

データ出典

GitHub - XiongjieDai/GPU-Benchmarks-on-LLM-Inference: Multiple NVIDIA GPUs or Apple Silicon for Large Language Model Inference?GitHub

---

ハードウェア構成の推奨

MaiAgent は各種 Nvidia GPU に対応しています。

名称	VRAM
NVIDIA H200	141 GB
NVIDIA RTX PRO 6000 Blackwell	96 GB
NVIDIA H100	80 GB
RTX 6000 Ada	48 GB
NVIDIA A100	80GB
NVIDIA L40S	48 GB

より詳しい情報が必要な場合は、MaiAgent の専門コンサルタントへお気軽にご相談ください。[e-mail] までメールにてお問い合わせください。