日本AIラボJAPAN AI LAB お見積り・お問い合わせ ↗
Deployment Guide

RTX PRO 6000 Server Edition 導入ガイド

購入前の確認から、LLM を動かして安定稼働を確かめるまでの流れをまとめました。Server Edition はサーバーの冷却に頼るカードなので、最初に確認すべきなのは筐体です。

このページの内容 10項目

導入までの流れ

  1. カードと筐体の条件を確認冷却、スロット、電源コネクタ
  2. サーバーの構成を決める枚数、CPU、メモリ、ストレージ
  3. 設置環境を確認200V、ラック、騒音、排熱
  4. OS とドライバーを導入Linux、NVIDIA ドライバー
  5. Docker 環境を用意NVIDIA Container Toolkit
  6. 推論環境を構築vLLM または Ollama
  7. 負荷をかけて確認温度、電力、エラー

1. カードと筐体の条件を確認する

まず確認したいのは風の通り道です

Server Edition にはファンがありません。サーバー前面のファンが送る風を、カードの放熱フィンに通して冷やします。

そのため、カードが挿さるかどうかだけでなく、十分な風が通る筐体かどうかを最初に確認します。

サーバー前面のファンから、並んだカードの間を通って後ろへ風が流れるイメージ
筐体の前から後ろへ風が抜けるイメージです。枚数や構成は実際と異なります。
確認項目必要な条件確認先
冷却パッシブ冷却のカードに十分な風を送れるサーバー筐体サーバーメーカーの対応表
スロットPCIe Gen 5 x16 に対応、2スロット幅マザーボードの仕様
カードの長さ4.4 × 10.5インチが収まること筐体の仕様
電源コネクタPCIe CEM5 16ピン(カード1枚につき1つ)電源とケーブルの仕様
電源容量カード1枚あたり最大600W(400〜600Wで設定可能)に CPU などを加えた容量電源の仕様

出典:NVIDIA 仕様、Server Edition 製品ページ。電源コネクタは販売資料の記載によります。

対応する筐体を探すときは、NVIDIA の Qualified System Catalog が参考になります。掲載されていない筐体を使う場合は、メーカーに動作条件を確認してください。

2. サーバーの構成を決める

枚数で考える

枚数向いている使い方筐体の考え方
1〜2枚検証、少人数の社内利用、70B 級までのモデルGPU 対応のラックサーバー
4枚部門での共有、複数モデルの同時運用4枚以上に対応する GPU サーバー
8枚多人数向けサービス、235B 級など大きなモデル8枚対応の 4U〜5U GPU サーバー

用途の分け方は一般的な目安です。必要な枚数は、モデルの大きさと同時利用数で変わります。

8枚に対応する筐体の例

メーカー・機種サイズ最大枚数
Supermicro SYS-522GA-NRT5U8枚
ASUS ESC8000A-E13X4U8枚

どちらもメーカーのページで RTX PRO 6000 Blackwell Server Edition への対応が記載されています。当ラボが検証した組み合わせではなく、推奨を示すものでもありません。

カード以外で確認したいこと

  • CPU:すべてのカードに十分な PCIe レーンを割り当てられるか確認します。
  • システムメモリ:モデルの読み込みにも使います。GPU メモリの合計以上を確保するのが一般的な目安です。
  • ストレージ:70B 級で 43GB、120B 級で 65GB ほどのファイルになります。複数のモデルを扱うなら、NVMe に余裕を持たせましょう。
  • ネットワーク:モデルのダウンロードや複数台の連携を考えると、速い回線があると便利です。

3. 設置環境を確認する

枚数カードだけの最大電力確認したいこと
1枚約0.6kWサーバーの電源構成と風量
4枚約2.4kW200V電源、ラックの電力枠
8枚約4.8kW200V電源の回路数、空調、騒音、搬入経路

600W × 枚数で計算した目安です。CPU、メモリ、ストレージ、ファンの電力は含みません。

  • 電源の電圧と回路数は足りているか
  • 消費電力に見合う空調があるか
  • オフィスに置く場合、ファンの騒音と排熱は問題ないか
  • 重さとサイズに合うラックがあり、搬入経路を確保できるか
  • データセンターに置く場合、電力枠とラックの条件を満たしているか

4. OS とドライバーを導入する

NVIDIA の CUDA インストールガイドでは Ubuntu 22.04、24.04、26.04 LTS などが案内されています。ここでは Ubuntu を例にします。先にマザーボードの BIOS を最新にし、GPU 関連の設定をメーカーのマニュアルで確認してください。

カードが認識されているか確認

lspci | grep -i nvidia

ドライバーを導入

Ubuntu Server のドキュメントでは、サーバー向けに次の手順が案内されています。Secure Boot を使う環境では、このツールが推奨されています。

sudo ubuntu-drivers list --gpgpu
sudo ubuntu-drivers install --gpgpu
sudo reboot

動作を確認

nvidia-smi

GPU名と96GBのメモリが表示されれば、次の手順に進めます。

電力と常駐の設定

nvidia-smi で設定できます。Server Edition の電力は400〜600Wの範囲で設定できるとされています。設定できる範囲は、最初のコマンドで確認してください。

# 電力の現在値と設定範囲を確認
nvidia-smi -q -d POWER

# 例:GPU 0 の上限を 500W にする
sudo nvidia-smi -i 0 -pl 500

# 永続モードを有効にする(再起動すると元に戻ります)
sudo nvidia-smi -pm 1

5. Docker 環境を用意する

コンテナを使うと、環境をそろえやすくなります。Docker を導入したら、NVIDIA Container Toolkit のガイドに沿ってパッケージを導入し、次のコマンドで設定します。

sudo nvidia-ctk runtime configure --runtime=docker
sudo systemctl restart docker

# コンテナから GPU が見えるか確認
sudo docker run --rm --runtime=nvidia --gpus all ubuntu nvidia-smi

6. 推論環境を構築する

vLLM と Ollama の選び方

vLLMOllama
向いている用途多人数向けの API、サービス運用手元での検証、少人数の利用
特徴多数のリクエストをまとめて処理導入が簡単で、モデルの取得も手軽
同時処理得意設定次第。大人数には不向き
まず試すなら本番を見据えた検証に動作確認やモデルの比較に

特徴は一般的な傾向です。速度の違いは公開ベンチマークをご覧ください。

vLLM を導入する

公式ドキュメントでは、Linux と Python 3.11〜3.14 が要件とされています。

uv venv --python 3.12 --seed --managed-python
source .venv/bin/activate
uv pip install vllm --torch-backend=auto

OpenAI 互換のサーバーとして起動できます。モデル名はご利用のものに置き換えてください。

vllm serve <モデル名>

Docker で vLLM を起動する

vLLM の Docker 手順に沿った例です。

docker run --runtime nvidia --gpus all \
  -v ~/.cache/huggingface:/root/.cache/huggingface \
  --env "HF_TOKEN=$HF_TOKEN" \
  -p 8000:8000 --ipc=host \
  vllm/vllm-openai:latest --model <モデル名>

よく使う vLLM の設定

オプション役割使いどころ
--max-model-lenコンテキスト長の上限小さくするとメモリを節約できます
--max-num-seqs同時に処理する数の上限遅延とメモリのバランスを調整します
--gpu-memory-utilizationGPU メモリの使用割合他のモデルと同居させるときに調整します
--tensor-parallel-sizeモデルを分割する GPU の数1枚に収まらないモデルに使います
--kv-cache-dtypeKV キャッシュのデータ型メモリと速度の調整に使います

詳しくは vLLM のエンジン引数とメモリ節約のガイドをご覧ください。

起動を確認する

curl http://localhost:8000/v1/models

Ollama で試す

Ollama の手順で導入し、そのままモデルを実行できます。

curl -fsSL https://ollama.com/install.sh | sh
ollama run llama3.3:70b

チャット画面を用意する

社内で試してもらうときは、Open WebUI が便利です。起動後、管理画面で vLLM の URL を接続先に追加します。社外に公開する場合は、認証や暗号化も忘れずに設定してください。

docker run -d -p 3000:8080 \
  --add-host=host.docker.internal:host-gateway \
  -v open-webui:/app/backend/data \
  -e WEBUI_SECRET_KEY=<任意の秘密鍵> \
  --name open-webui --restart always \
  ghcr.io/open-webui/open-webui:main

1枚を分けて使う(MIG)

Server Edition は MIG に対応しており、1枚を最大4つの独立したインスタンスに分けられます(NVIDIA MIG ガイド)。小さなモデルを複数の部署で分け合うときに役立ちます。

7. 負荷をかけて確認する

起動できただけで終わらせず、実際の負荷で温度と電力を確認します。パッシブ冷却のカードでは特に重要です。

# 5秒ごとに名前、温度、電力、メモリを表示
nvidia-smi --query-gpu=name,temperature.gpu,power.draw,memory.used --format=csv -l 5

# 電力や使用率を続けて監視
nvidia-smi dmon

より詳しく診断したいときは、NVIDIA DCGM が使えます。レベルは1(短時間)から4(長時間)まであります。

dcgmi diag -r 3

稼働前のチェックリスト

  • すべてのカードが nvidia-smi に表示され、メモリが96GBである
  • 想定どおりの電力上限が設定されている
  • 実際のモデルで長時間の負荷をかけ、温度が安定している
  • 負荷をかけ続けても性能が下がらない
  • 再起動後もサービスと設定が正しく戻る
  • 温度やエラーを監視する仕組みがある

困ったときは

症状考えられる原因確認すること
lspci にカードが出ない装着や電源ケーブルの問題差し直し、16ピンケーブルの接続、BIOS の設定
nvidia-smi が失敗するドライバーが読み込まれていないSecure Boot の設定、ドライバーの再導入
コンテナから GPU が見えないContainer Toolkit の設定漏れnvidia-ctk の実行、Docker の再起動
メモリ不足で起動できないモデルやコンテキストが大きい量子化モデルの利用、--max-model-len の縮小
温度が高い、途中で遅くなる風量不足、高い室温筐体のファン設定、吸排気、ラック内の温度
応答が遅い同時処理数や入力の長さ--max-num-seqs の調整、入力の短縮

代表的な例です。環境によって原因は異なります。

よくある質問

Windows で使えますか?

vLLM は Windows に直接対応しておらず、WSL の利用が案内されています。サーバー用途では Linux を前提に検討するのが一般的です。

1枚だけでも導入できますか?

できます。ただし、対応するサーバー筐体は1枚でも必要です。普通のデスクトップPCでは冷却が足りないおそれがあります。

既存のサーバーに追加できますか?

パッシブ冷却の GPU に対応した筐体であれば可能性があります。電源、風量、スロットの条件をメーカーに確認してください。

どのモデルが動きますか?

96GB で動かせるモデルの目安をご覧ください。

どの版を選べばよいですか?

Server Edition と Max-Q の違いで比較しています。

参考資料

最終確認:2026年11月6日。仕様や数値は変更される場合があります。

RTX PRO 6000 Server Edition のご相談

価格や在庫は、製品ページからご確認いただけます。お見積りやご質問もお気軽にどうぞ。

製品ページを見る →