日本AIラボJAPAN AI LAB お見積り・お問い合わせ ↗
Model Sizing

96GB で動かせる LLM の目安

1枚の RTX PRO 6000 で、どこまでのモデルを動かせるのか。公開されているモデルサイズをもとに整理しました。結論から言うと、4ビット量子化なら 120B 級まで、1枚に収まる目安です。

このページの内容 10項目

モデルの大きさと 96GB の関係

96GB のメモリを入れ物と考えるとわかりやすくなります。入れ物に収まるモデルは1枚で動かせます。入れ物より大きいモデルは、複数枚に分ける必要があります。

ただし、入れ物をモデルだけで埋めないことが大切です。残りのメモリは、会話の履歴や同時処理に使います。

ガラスの箱に収まった複数のブロックと、箱の外にある大きなブロックのイメージ
96GB に収まるモデルと収まらないモデルを表したイメージです。
モデルのファイルサイズ(GB)縦線が 1枚の GPU メモリです。ファイルサイズのほかに、処理用のメモリも必要です。
96GB
Qwen3 235B
142
Mistral Large 123B
73
gpt-oss 120B
65
Llama 3.3 70B
43
Qwen3-VL 32B
21
Qwen3 32B
20
Gemma 3 27B
17
Qwen3 14B
9.3

出典:Ollama の Qwen3、Mistral Large、gpt-oss、Llama 3.3、Qwen3-VL、Gemma 3の各ページ。

モデル別の早見表

モデルファイルサイズ96GB 1枚の目安必要枚数の目安
Gemma 3 27B17GB余裕あり1枚
Qwen3 30B / 32B19〜20GB余裕あり1枚
DeepSeek-R1 32B20GB余裕あり1枚
Qwen3-VL 32B(画像対応)21GB余裕あり1枚
Llama 3.3 70B43GB余裕あり1枚
DeepSeek-R1 70B43GB余裕あり1枚
gpt-oss 120B65GB載るが同時処理は要調整1枚
Mistral Large 123B73GB載るが余裕は少ない1枚〜
Qwen3 235B142GB1枚には収まらない2枚〜
Llama 3.1 405B243GB1枚には収まらない3枚〜
DeepSeek-R1 671B404GB1枚には収まらない5枚〜

ファイルサイズの出典:上記に加え、Ollama のDeepSeek-R1、Llama 3.1。必要枚数はファイルサイズから計算した目安で、複数枚での動作を保証するものではありません。gpt-oss 120B はモデルカードでも「80GB の GPU 1枚に収まる」と説明されています(Hugging Face)。

パラメーター数と量子化から考える

モデルのファイルサイズは、大まかにパラメーター数と量子化ビット数で決まります。下の表は、この関係をもとに計算した目安です。

パラメーター数16ビット(約2GB/1B)8ビット(約1GB/1B)4ビット(約0.6GB/1B)
8B約16GB約8GB約5GB
32B約64GB約32GB約19GB
70B約140GB約70GB約42GB
120B約240GB約120GB約72GB
235B約470GB約235GB約141GB

赤字は 96GB を超える目安です。モデルの構造によって実際のサイズは前後します。

量子化の種類

形式おおよその特徴主な使われ方
BF16 / F1616ビット。公開時の標準的な形式小〜中型モデルをそのまま使うとき
FP88ビット。メモリは約半分vLLM や TensorRT-LLM での運用
AWQ / INT44ビット。メモリは約4分の1vLLM で大きなモデルを動かすとき
GGUF(Q4 など)主に Ollama や llama.cpp で使う形式手元での検証
NVFP4 / MXFP4Blackwell 世代で扱える4ビット浮動小数点TensorRT-LLM、gpt-oss など

対応形式は vLLM のドキュメントで確認できます。Akamai は NVFP4 について精度低下は1%未満と説明していますが(記事)、モデルや用途によって変わる可能性があります。

ファイルサイズだけで判断できない理由

コンテキスト長と同時処理で増えます

モデル本体のほかに、会話の履歴を保持するメモリ(KV キャッシュ)が必要です。Ollama の FAQでも、必要なメモリは同時処理数とコンテキスト長に応じて増えると説明されています。多人数で使うなら、余裕を残して選びましょう。

メモリを節約する方法

  • コンテキスト長を短くする:vLLM の --max-model-len で上限を決めます。
  • 同時処理数を抑える:vLLM の --max-num-seqs で調整します。
  • KV キャッシュを量子化する:Ollama では q8_0 で f16 の約半分になるとされています。
  • 量子化モデルを選ぶ:ビット数を下げるとモデル本体が小さくなります。

出典:vLLM:メモリの節約、Ollama FAQ。

量子化すると精度が変わることがあります

ビット数を下げるとメモリは減りますが、回答の品質に影響することがあります。業務で使う前に、自社のデータで確認することをおすすめします。

収まっても速いとは限りません

メモリに載ることと、十分な速度が出ることは別です。速度の公開データは、公開ベンチマークまとめをご覧ください。

用途別の構成例(96GB 1枚)

用途構成の例モデル本体の合計残りのメモリ
社内チャットLlama 3.3 70B約43GB約53GB
社内文書の検索(RAG)Llama 3.3 70B + bge-m3 + bge-reranker-v2-m3約47GB約49GB
コード支援Qwen3 30B約19GB約77GB
画像つき文書の読み取りQwen3-VL 32B + Qwen3 32B約41GB約55GB
議事録の作成Whisper large-v3 + Llama 3.3 70B約46GB約50GB
大型モデルの検証gpt-oss 120B約65GB約31GB

公開サイズからの計算で、処理用のメモリは含みません。bge-m3 は Ollamaで 1.2GB、bge-reranker-v2-m3(0.6B、F32)は約2.4GB、Whisper large-v3(1,550M、F16)は約3GB として計算しました。組み合わせの動作を保証するものではありません。

日本語を重視する場合

日本語向けに調整された公開モデルもあります。カード1枚で扱える大きさかどうかは、形式によって変わります。

モデル規模96GB 1枚の目安特徴
Llama-3-ELYZA-JP-8B8BBF16 で約16GBLlama 3 をもとに日本語向けに追加学習
Llama 3.3 Swallow 70B v0.471BBF16 では約142GB、量子化が必要Llama 3.3 をもとに日本語で継続学習
PLaMo 2 Translate10BBF16 で約20GB翻訳に特化。チャット向けではない

サイズはパラメーター数からの計算です。

商用利用の前にライセンスを確認する

モデルによって条件が大きく異なります。下の表は調査時点の概要です。必ず原文を確認してください。

モデルライセンス留意点
gpt-oss 120BApache 2.0商用利用を含め、比較的自由に使えます
Qwen3-VL 32BApache 2.0原文で条件を確認してください
bge-m3MIT埋め込みモデル
bge-reranker-v2-m3Apache 2.0リランカー
Whisper large-v3Apache 2.0音声認識
Llama 3.3 70BLlama 3.3 Community License月間利用者が7億人を超える場合は別途許諾が必要
Llama-3-ELYZA-JP-8BMeta Llama 3 Community License原文で条件を確認してください
Llama 3.3 Swallow 70BLlama 3.3 Community License、Gemma Terms of Use両方の条件を確認してください
PLaMo 2 TranslatePLaMo Community License商用利用は確認のうえ問い合わせが必要
FLUX.1 [dev]FLUX.1 [dev] Non-Commercial License画像生成。利用条件は特に注意が必要

法的な助言ではありません。導入前に法務担当者や専門家へ確認してください。

1枚に収まらないときは

vLLM では --tensor-parallel-size で、モデルを複数の GPU に分割できます。ただし GPU 間の通信が増えるため、枚数どおりに速くなるとは限りません。RTX PRO 6000 は PCIe で接続されるので、大きなモデルでは NVLink を持つ GPU に差をつけられるという報告もあります(CloudRift)。

vllm serve <モデル名> --tensor-parallel-size 2

反対に小さなモデルを分け合うなら、MIG で1枚を最大4つのインスタンスに分けられます(NVIDIA MIG ガイド)。

モデルが GPU に収まっているか確認する

Ollama の場合は、次のコマンドで確認できます。「100% GPU」と表示されれば、モデル全体が GPU に載っています。

ollama ps

メモリの使用量は、次のコマンドでも確認できます。

nvidia-smi --query-gpu=memory.used,memory.total --format=csv

よくある質問

70B のモデルは 1枚で動きますか?

4ビット量子化なら約43GBで、余裕を持って動かせる目安です。16ビットのままだと約140GBとなり、1枚には収まりません。

2枚にするとメモリは 192GB として使えますか?

モデルを分割して使うことはできますが、1つの大きなメモリとして動くわけではありません。分割時は GPU 間の通信が発生し、速度にも影響します。

小さなモデルしか使わない場合は?

8B 級は4ビットで約5GBです。メモリに大きな余裕があるため、96GB が本当に必要か検討する価値があります。多人数での利用や複数モデルの同居を考えるなら、余裕が活きます。

新しいモデルの大きさはどう調べますか?

Hugging Face のファイル一覧か、Ollama のモデルページで確認できます。

参考資料

最終確認:2026年11月6日。仕様や数値は変更される場合があります。

RTX PRO 6000 Server Edition のご相談

価格や在庫は、製品ページからご確認いただけます。お見積りやご質問もお気軽にどうぞ。

製品ページを見る →