このページの内容 10項目
導入までの流れ
- カードと筐体の条件を確認冷却、スロット、電源コネクタ
- サーバーの構成を決める枚数、CPU、メモリ、ストレージ
- 設置環境を確認200V、ラック、騒音、排熱
- OS とドライバーを導入Linux、NVIDIA ドライバー
- Docker 環境を用意NVIDIA Container Toolkit
- 推論環境を構築vLLM または Ollama
- 負荷をかけて確認温度、電力、エラー
1. カードと筐体の条件を確認する
まず確認したいのは風の通り道です
Server Edition にはファンがありません。サーバー前面のファンが送る風を、カードの放熱フィンに通して冷やします。
そのため、カードが挿さるかどうかだけでなく、十分な風が通る筐体かどうかを最初に確認します。

| 確認項目 | 必要な条件 | 確認先 |
|---|---|---|
| 冷却 | パッシブ冷却のカードに十分な風を送れるサーバー筐体 | サーバーメーカーの対応表 |
| スロット | PCIe Gen 5 x16 に対応、2スロット幅 | マザーボードの仕様 |
| カードの長さ | 4.4 × 10.5インチが収まること | 筐体の仕様 |
| 電源コネクタ | PCIe CEM5 16ピン(カード1枚につき1つ) | 電源とケーブルの仕様 |
| 電源容量 | カード1枚あたり最大600W(400〜600Wで設定可能)に CPU などを加えた容量 | 電源の仕様 |
出典:NVIDIA 仕様、Server Edition 製品ページ。電源コネクタは販売資料の記載によります。
対応する筐体を探すときは、NVIDIA の Qualified System Catalog が参考になります。掲載されていない筐体を使う場合は、メーカーに動作条件を確認してください。
2. サーバーの構成を決める
枚数で考える
| 枚数 | 向いている使い方 | 筐体の考え方 |
|---|---|---|
| 1〜2枚 | 検証、少人数の社内利用、70B 級までのモデル | GPU 対応のラックサーバー |
| 4枚 | 部門での共有、複数モデルの同時運用 | 4枚以上に対応する GPU サーバー |
| 8枚 | 多人数向けサービス、235B 級など大きなモデル | 8枚対応の 4U〜5U GPU サーバー |
用途の分け方は一般的な目安です。必要な枚数は、モデルの大きさと同時利用数で変わります。
8枚に対応する筐体の例
| メーカー・機種 | サイズ | 最大枚数 |
|---|---|---|
| Supermicro SYS-522GA-NRT | 5U | 8枚 |
| ASUS ESC8000A-E13X | 4U | 8枚 |
どちらもメーカーのページで RTX PRO 6000 Blackwell Server Edition への対応が記載されています。当ラボが検証した組み合わせではなく、推奨を示すものでもありません。
カード以外で確認したいこと
- CPU:すべてのカードに十分な PCIe レーンを割り当てられるか確認します。
- システムメモリ:モデルの読み込みにも使います。GPU メモリの合計以上を確保するのが一般的な目安です。
- ストレージ:70B 級で 43GB、120B 級で 65GB ほどのファイルになります。複数のモデルを扱うなら、NVMe に余裕を持たせましょう。
- ネットワーク:モデルのダウンロードや複数台の連携を考えると、速い回線があると便利です。
3. 設置環境を確認する
| 枚数 | カードだけの最大電力 | 確認したいこと |
|---|---|---|
| 1枚 | 約0.6kW | サーバーの電源構成と風量 |
| 4枚 | 約2.4kW | 200V電源、ラックの電力枠 |
| 8枚 | 約4.8kW | 200V電源の回路数、空調、騒音、搬入経路 |
600W × 枚数で計算した目安です。CPU、メモリ、ストレージ、ファンの電力は含みません。
- 電源の電圧と回路数は足りているか
- 消費電力に見合う空調があるか
- オフィスに置く場合、ファンの騒音と排熱は問題ないか
- 重さとサイズに合うラックがあり、搬入経路を確保できるか
- データセンターに置く場合、電力枠とラックの条件を満たしているか
4. OS とドライバーを導入する
NVIDIA の CUDA インストールガイドでは Ubuntu 22.04、24.04、26.04 LTS などが案内されています。ここでは Ubuntu を例にします。先にマザーボードの BIOS を最新にし、GPU 関連の設定をメーカーのマニュアルで確認してください。
カードが認識されているか確認
lspci | grep -i nvidia
ドライバーを導入
Ubuntu Server のドキュメントでは、サーバー向けに次の手順が案内されています。Secure Boot を使う環境では、このツールが推奨されています。
sudo ubuntu-drivers list --gpgpu
sudo ubuntu-drivers install --gpgpu
sudo reboot
動作を確認
nvidia-smi
GPU名と96GBのメモリが表示されれば、次の手順に進めます。
電力と常駐の設定
nvidia-smi で設定できます。Server Edition の電力は400〜600Wの範囲で設定できるとされています。設定できる範囲は、最初のコマンドで確認してください。
# 電力の現在値と設定範囲を確認
nvidia-smi -q -d POWER
# 例:GPU 0 の上限を 500W にする
sudo nvidia-smi -i 0 -pl 500
# 永続モードを有効にする(再起動すると元に戻ります)
sudo nvidia-smi -pm 1
5. Docker 環境を用意する
コンテナを使うと、環境をそろえやすくなります。Docker を導入したら、NVIDIA Container Toolkit のガイドに沿ってパッケージを導入し、次のコマンドで設定します。
sudo nvidia-ctk runtime configure --runtime=docker
sudo systemctl restart docker
# コンテナから GPU が見えるか確認
sudo docker run --rm --runtime=nvidia --gpus all ubuntu nvidia-smi
6. 推論環境を構築する
vLLM と Ollama の選び方
| vLLM | Ollama | |
|---|---|---|
| 向いている用途 | 多人数向けの API、サービス運用 | 手元での検証、少人数の利用 |
| 特徴 | 多数のリクエストをまとめて処理 | 導入が簡単で、モデルの取得も手軽 |
| 同時処理 | 得意 | 設定次第。大人数には不向き |
| まず試すなら | 本番を見据えた検証に | 動作確認やモデルの比較に |
特徴は一般的な傾向です。速度の違いは公開ベンチマークをご覧ください。
vLLM を導入する
公式ドキュメントでは、Linux と Python 3.11〜3.14 が要件とされています。
uv venv --python 3.12 --seed --managed-python
source .venv/bin/activate
uv pip install vllm --torch-backend=auto
OpenAI 互換のサーバーとして起動できます。モデル名はご利用のものに置き換えてください。
vllm serve <モデル名>
Docker で vLLM を起動する
vLLM の Docker 手順に沿った例です。
docker run --runtime nvidia --gpus all \
-v ~/.cache/huggingface:/root/.cache/huggingface \
--env "HF_TOKEN=$HF_TOKEN" \
-p 8000:8000 --ipc=host \
vllm/vllm-openai:latest --model <モデル名>
よく使う vLLM の設定
| オプション | 役割 | 使いどころ |
|---|---|---|
--max-model-len | コンテキスト長の上限 | 小さくするとメモリを節約できます |
--max-num-seqs | 同時に処理する数の上限 | 遅延とメモリのバランスを調整します |
--gpu-memory-utilization | GPU メモリの使用割合 | 他のモデルと同居させるときに調整します |
--tensor-parallel-size | モデルを分割する GPU の数 | 1枚に収まらないモデルに使います |
--kv-cache-dtype | KV キャッシュのデータ型 | メモリと速度の調整に使います |
詳しくは vLLM のエンジン引数とメモリ節約のガイドをご覧ください。
起動を確認する
curl http://localhost:8000/v1/models
Ollama で試す
Ollama の手順で導入し、そのままモデルを実行できます。
curl -fsSL https://ollama.com/install.sh | sh
ollama run llama3.3:70b
チャット画面を用意する
社内で試してもらうときは、Open WebUI が便利です。起動後、管理画面で vLLM の URL を接続先に追加します。社外に公開する場合は、認証や暗号化も忘れずに設定してください。
docker run -d -p 3000:8080 \
--add-host=host.docker.internal:host-gateway \
-v open-webui:/app/backend/data \
-e WEBUI_SECRET_KEY=<任意の秘密鍵> \
--name open-webui --restart always \
ghcr.io/open-webui/open-webui:main
1枚を分けて使う(MIG)
Server Edition は MIG に対応しており、1枚を最大4つの独立したインスタンスに分けられます(NVIDIA MIG ガイド)。小さなモデルを複数の部署で分け合うときに役立ちます。
7. 負荷をかけて確認する
起動できただけで終わらせず、実際の負荷で温度と電力を確認します。パッシブ冷却のカードでは特に重要です。
# 5秒ごとに名前、温度、電力、メモリを表示
nvidia-smi --query-gpu=name,temperature.gpu,power.draw,memory.used --format=csv -l 5
# 電力や使用率を続けて監視
nvidia-smi dmon
より詳しく診断したいときは、NVIDIA DCGM が使えます。レベルは1(短時間)から4(長時間)まであります。
dcgmi diag -r 3
稼働前のチェックリスト
- すべてのカードが
nvidia-smiに表示され、メモリが96GBである - 想定どおりの電力上限が設定されている
- 実際のモデルで長時間の負荷をかけ、温度が安定している
- 負荷をかけ続けても性能が下がらない
- 再起動後もサービスと設定が正しく戻る
- 温度やエラーを監視する仕組みがある
困ったときは
| 症状 | 考えられる原因 | 確認すること |
|---|---|---|
lspci にカードが出ない | 装着や電源ケーブルの問題 | 差し直し、16ピンケーブルの接続、BIOS の設定 |
nvidia-smi が失敗する | ドライバーが読み込まれていない | Secure Boot の設定、ドライバーの再導入 |
| コンテナから GPU が見えない | Container Toolkit の設定漏れ | nvidia-ctk の実行、Docker の再起動 |
| メモリ不足で起動できない | モデルやコンテキストが大きい | 量子化モデルの利用、--max-model-len の縮小 |
| 温度が高い、途中で遅くなる | 風量不足、高い室温 | 筐体のファン設定、吸排気、ラック内の温度 |
| 応答が遅い | 同時処理数や入力の長さ | --max-num-seqs の調整、入力の短縮 |
代表的な例です。環境によって原因は異なります。
よくある質問
Windows で使えますか?
vLLM は Windows に直接対応しておらず、WSL の利用が案内されています。サーバー用途では Linux を前提に検討するのが一般的です。
1枚だけでも導入できますか?
できます。ただし、対応するサーバー筐体は1枚でも必要です。普通のデスクトップPCでは冷却が足りないおそれがあります。
既存のサーバーに追加できますか?
パッシブ冷却の GPU に対応した筐体であれば可能性があります。電源、風量、スロットの条件をメーカーに確認してください。
どのモデルが動きますか?
96GB で動かせるモデルの目安をご覧ください。
どの版を選べばよいですか?
Server Edition と Max-Q の違いで比較しています。
参考資料
- NVIDIA:RTX PRO 6000 Blackwell Series
- NVIDIA:Server Edition 製品ページ
- NVIDIA:Qualified System Catalog
- Supermicro:SYS-522GA-NRT
- ASUS:ESC8000A-E13X
- NVIDIA:CUDA Installation Guide for Linux
- Ubuntu Server:NVIDIA drivers installation
- NVIDIA:nvidia-smi
- NVIDIA:Container Toolkit
- NVIDIA:MIG 対応 GPU
- NVIDIA:DCGM Diagnostics
- vLLM:GPU インストール
- vLLM:クイックスタート
- vLLM:Docker
- vLLM:エンジン引数
- vLLM:メモリの節約
- Ollama:Linux
- Open WebUI:クイックスタート
最終確認:2026年11月6日。仕様や数値は変更される場合があります。
RTX PRO 6000 Server Edition のご相談
価格や在庫は、製品ページからご確認いただけます。お見積りやご質問もお気軽にどうぞ。
