このページの内容 10項目
モデルの大きさと 96GB の関係
96GB のメモリを入れ物と考えるとわかりやすくなります。入れ物に収まるモデルは1枚で動かせます。入れ物より大きいモデルは、複数枚に分ける必要があります。
ただし、入れ物をモデルだけで埋めないことが大切です。残りのメモリは、会話の履歴や同時処理に使います。

出典:Ollama の Qwen3、Mistral Large、gpt-oss、Llama 3.3、Qwen3-VL、Gemma 3の各ページ。
モデル別の早見表
| モデル | ファイルサイズ | 96GB 1枚の目安 | 必要枚数の目安 |
|---|---|---|---|
| Gemma 3 27B | 17GB | 余裕あり | 1枚 |
| Qwen3 30B / 32B | 19〜20GB | 余裕あり | 1枚 |
| DeepSeek-R1 32B | 20GB | 余裕あり | 1枚 |
| Qwen3-VL 32B(画像対応) | 21GB | 余裕あり | 1枚 |
| Llama 3.3 70B | 43GB | 余裕あり | 1枚 |
| DeepSeek-R1 70B | 43GB | 余裕あり | 1枚 |
| gpt-oss 120B | 65GB | 載るが同時処理は要調整 | 1枚 |
| Mistral Large 123B | 73GB | 載るが余裕は少ない | 1枚〜 |
| Qwen3 235B | 142GB | 1枚には収まらない | 2枚〜 |
| Llama 3.1 405B | 243GB | 1枚には収まらない | 3枚〜 |
| DeepSeek-R1 671B | 404GB | 1枚には収まらない | 5枚〜 |
ファイルサイズの出典:上記に加え、Ollama のDeepSeek-R1、Llama 3.1。必要枚数はファイルサイズから計算した目安で、複数枚での動作を保証するものではありません。gpt-oss 120B はモデルカードでも「80GB の GPU 1枚に収まる」と説明されています(Hugging Face)。
パラメーター数と量子化から考える
モデルのファイルサイズは、大まかにパラメーター数と量子化ビット数で決まります。下の表は、この関係をもとに計算した目安です。
| パラメーター数 | 16ビット(約2GB/1B) | 8ビット(約1GB/1B) | 4ビット(約0.6GB/1B) |
|---|---|---|---|
| 8B | 約16GB | 約8GB | 約5GB |
| 32B | 約64GB | 約32GB | 約19GB |
| 70B | 約140GB | 約70GB | 約42GB |
| 120B | 約240GB | 約120GB | 約72GB |
| 235B | 約470GB | 約235GB | 約141GB |
赤字は 96GB を超える目安です。モデルの構造によって実際のサイズは前後します。
量子化の種類
| 形式 | おおよその特徴 | 主な使われ方 |
|---|---|---|
| BF16 / F16 | 16ビット。公開時の標準的な形式 | 小〜中型モデルをそのまま使うとき |
| FP8 | 8ビット。メモリは約半分 | vLLM や TensorRT-LLM での運用 |
| AWQ / INT4 | 4ビット。メモリは約4分の1 | vLLM で大きなモデルを動かすとき |
| GGUF(Q4 など) | 主に Ollama や llama.cpp で使う形式 | 手元での検証 |
| NVFP4 / MXFP4 | Blackwell 世代で扱える4ビット浮動小数点 | TensorRT-LLM、gpt-oss など |
対応形式は vLLM のドキュメントで確認できます。Akamai は NVFP4 について精度低下は1%未満と説明していますが(記事)、モデルや用途によって変わる可能性があります。
ファイルサイズだけで判断できない理由
コンテキスト長と同時処理で増えます
モデル本体のほかに、会話の履歴を保持するメモリ(KV キャッシュ)が必要です。Ollama の FAQでも、必要なメモリは同時処理数とコンテキスト長に応じて増えると説明されています。多人数で使うなら、余裕を残して選びましょう。
メモリを節約する方法
- コンテキスト長を短くする:vLLM の
--max-model-lenで上限を決めます。 - 同時処理数を抑える:vLLM の
--max-num-seqsで調整します。 - KV キャッシュを量子化する:Ollama では
q8_0でf16の約半分になるとされています。 - 量子化モデルを選ぶ:ビット数を下げるとモデル本体が小さくなります。
量子化すると精度が変わることがあります
ビット数を下げるとメモリは減りますが、回答の品質に影響することがあります。業務で使う前に、自社のデータで確認することをおすすめします。
収まっても速いとは限りません
メモリに載ることと、十分な速度が出ることは別です。速度の公開データは、公開ベンチマークまとめをご覧ください。
用途別の構成例(96GB 1枚)
| 用途 | 構成の例 | モデル本体の合計 | 残りのメモリ |
|---|---|---|---|
| 社内チャット | Llama 3.3 70B | 約43GB | 約53GB |
| 社内文書の検索(RAG) | Llama 3.3 70B + bge-m3 + bge-reranker-v2-m3 | 約47GB | 約49GB |
| コード支援 | Qwen3 30B | 約19GB | 約77GB |
| 画像つき文書の読み取り | Qwen3-VL 32B + Qwen3 32B | 約41GB | 約55GB |
| 議事録の作成 | Whisper large-v3 + Llama 3.3 70B | 約46GB | 約50GB |
| 大型モデルの検証 | gpt-oss 120B | 約65GB | 約31GB |
公開サイズからの計算で、処理用のメモリは含みません。bge-m3 は Ollamaで 1.2GB、bge-reranker-v2-m3(0.6B、F32)は約2.4GB、Whisper large-v3(1,550M、F16)は約3GB として計算しました。組み合わせの動作を保証するものではありません。
日本語を重視する場合
日本語向けに調整された公開モデルもあります。カード1枚で扱える大きさかどうかは、形式によって変わります。
| モデル | 規模 | 96GB 1枚の目安 | 特徴 |
|---|---|---|---|
| Llama-3-ELYZA-JP-8B | 8B | BF16 で約16GB | Llama 3 をもとに日本語向けに追加学習 |
| Llama 3.3 Swallow 70B v0.4 | 71B | BF16 では約142GB、量子化が必要 | Llama 3.3 をもとに日本語で継続学習 |
| PLaMo 2 Translate | 10B | BF16 で約20GB | 翻訳に特化。チャット向けではない |
サイズはパラメーター数からの計算です。
商用利用の前にライセンスを確認する
モデルによって条件が大きく異なります。下の表は調査時点の概要です。必ず原文を確認してください。
| モデル | ライセンス | 留意点 |
|---|---|---|
| gpt-oss 120B | Apache 2.0 | 商用利用を含め、比較的自由に使えます |
| Qwen3-VL 32B | Apache 2.0 | 原文で条件を確認してください |
| bge-m3 | MIT | 埋め込みモデル |
| bge-reranker-v2-m3 | Apache 2.0 | リランカー |
| Whisper large-v3 | Apache 2.0 | 音声認識 |
| Llama 3.3 70B | Llama 3.3 Community License | 月間利用者が7億人を超える場合は別途許諾が必要 |
| Llama-3-ELYZA-JP-8B | Meta Llama 3 Community License | 原文で条件を確認してください |
| Llama 3.3 Swallow 70B | Llama 3.3 Community License、Gemma Terms of Use | 両方の条件を確認してください |
| PLaMo 2 Translate | PLaMo Community License | 商用利用は確認のうえ問い合わせが必要 |
| FLUX.1 [dev] | FLUX.1 [dev] Non-Commercial License | 画像生成。利用条件は特に注意が必要 |
法的な助言ではありません。導入前に法務担当者や専門家へ確認してください。
1枚に収まらないときは
vLLM では --tensor-parallel-size で、モデルを複数の GPU に分割できます。ただし GPU 間の通信が増えるため、枚数どおりに速くなるとは限りません。RTX PRO 6000 は PCIe で接続されるので、大きなモデルでは NVLink を持つ GPU に差をつけられるという報告もあります(CloudRift)。
vllm serve <モデル名> --tensor-parallel-size 2
反対に小さなモデルを分け合うなら、MIG で1枚を最大4つのインスタンスに分けられます(NVIDIA MIG ガイド)。
モデルが GPU に収まっているか確認する
Ollama の場合は、次のコマンドで確認できます。「100% GPU」と表示されれば、モデル全体が GPU に載っています。
ollama ps
メモリの使用量は、次のコマンドでも確認できます。
nvidia-smi --query-gpu=memory.used,memory.total --format=csv
よくある質問
70B のモデルは 1枚で動きますか?
4ビット量子化なら約43GBで、余裕を持って動かせる目安です。16ビットのままだと約140GBとなり、1枚には収まりません。
2枚にするとメモリは 192GB として使えますか?
モデルを分割して使うことはできますが、1つの大きなメモリとして動くわけではありません。分割時は GPU 間の通信が発生し、速度にも影響します。
小さなモデルしか使わない場合は?
8B 級は4ビットで約5GBです。メモリに大きな余裕があるため、96GB が本当に必要か検討する価値があります。多人数での利用や複数モデルの同居を考えるなら、余裕が活きます。
新しいモデルの大きさはどう調べますか?
Hugging Face のファイル一覧か、Ollama のモデルページで確認できます。
参考資料
- Ollama:Qwen3
- Ollama:Qwen3-VL
- Ollama:Mistral Large
- Ollama:gpt-oss
- Ollama:Llama 3.3
- Ollama:Llama 3.1
- Ollama:DeepSeek-R1
- Ollama:Gemma 3
- Ollama:bge-m3
- Ollama:FAQ
- vLLM:メモリの節約
- vLLM:量子化
- NVIDIA:MIG 対応 GPU
- CloudRift:RTX PRO 6000 vs H100, H200, L40S
- Akamai:Benchmarking RTX Pro 6000 Blackwell
- Hugging Face:gpt-oss-120b
- Hugging Face:Qwen3-VL-32B
- Hugging Face:Llama-3.3-70B
- Hugging Face:ELYZA
- Hugging Face:Swallow
- Hugging Face:PLaMo 2 Translate
- Hugging Face:bge-m3
- Hugging Face:bge-reranker-v2-m3
- Hugging Face:Whisper large-v3
- Hugging Face:FLUX.1 [dev]
最終確認:2026年11月6日。仕様や数値は変更される場合があります。
RTX PRO 6000 Server Edition のご相談
価格や在庫は、製品ページからご確認いただけます。お見積りやご質問もお気軽にどうぞ。
