このページの内容 13項目
結果の要点
- 単体の処理能力は RTX 5090 より高い:同じ条件の公開テストでは、1枚あたり約1.8倍でした。
- ただし複数枚の RTX 5090 が上回る場面もある:4枚構成の合計値は RTX PRO 6000 1枚を超えます。一方、1枚で 96GB を使える点は RTX PRO 6000 の強みです。
- データセンター向け GPU との差は条件で変わる:単体や小〜中型モデルでは競り合う一方、8枚で大型モデルを動かすと、NVLink を持つ H200 や B200 が大きく上回ります。
- 入力が長いと遅くなる:Llama 3.3 70B では、入力を約8倍にすると出力は約6分の1になりました。
数字の読み方
| 用語 | 意味 | 見るときのポイント |
|---|---|---|
| スループット(トークン/秒) | 1秒あたりに処理したトークン数 | 出力だけか、入出力の合計かを確認します |
| 同時リクエスト数 | 同時に処理した数 | 多いほど合計は伸び、1人あたりは遅くなります |
| TTFT | 最初の1トークンが返るまでの時間 | チャットの待ち時間に影響します |
| 入出力の長さ(ISL / OSL) | 入力と出力のトークン数 | 入力が長いほど遅くなります |
| 量子化 | FP4、FP8、AWQ など | モデルのメモリと速度に影響します |
| TP / PP | 複数 GPU でのモデルの分け方 | TP はモデルの分割、PP は並列数です |
RTX 5090、RTX 4090 との比較
出典:CloudRift(2025年10月)。この記事に版の記載はありません。RTX 4090 と他のカードで CPU が異なります。
複数枚の構成も含めた比較
| モデル | RTX PRO 6000 1枚 | RTX 5090 | RTX 4090 |
|---|---|---|---|
| Qwen3-Coder 30B(AWQ) | 8,425 | 1枚 4,570 / 4枚 12,744 | 1枚 2,259 / 4枚 8,903 |
| GLM-4.5-Air(AWQ 4ビット) | 3,169 | 4枚 4,622 | 4枚 1,731 |
| Llama 3.3 70B(AWQ INT4) | 1,031 | 2枚 1,230 | 2枚 467 |
単位はトークン/秒。出典:CloudRift(2025年10月)。この記事の RTX PRO 6000 は1枚のみのテストです。
この結果から、一般向けの GPU を複数枚使えば合計の処理能力は高くできます。ただし、枚数が増えるほど設置場所、電力、運用の手間も増えます。1枚で 96GB を扱えることにどれだけ価値があるかが、選ぶときのポイントです。
A100、H100 との比較
出典:Database Mart。RTX PRO 6000 は Server Edition と記載。同時300件のテストの詳しい設定は記載がありません。
H200、B200 も含めた 8枚構成の比較
出典:CloudRift(2026年1月)。記事に版の記載はなく、RTX PRO 6000 は PCIe 構成です。同時リクエスト数は GPU ごとに調整されています。ログとの照合から、数値は入出力の合計とみられます。
| モデル | RTX PRO 6000 | H100 | H200 | B200 |
|---|---|---|---|---|
| GLM-4.5-Air(AWQ 4ビット) | 2,291 | 2,556 | 5,463 | 9,675 |
| Qwen3-Coder 480B(AWQ) | 1,603 | 2,329 | 4,263 | 6,438 |
| GLM-4.6(FP8) | 1,652 | 2,834 | 5,588 | 8,037 |
単位はトークン/秒、8枚構成。Qwen3-Coder 480B は4枚ずつの分割、GLM-4.6 は8枚の分割で動かしています。
大きなモデルを複数の GPU に分割して動かす場合、GPU 間の通信速度が大きく影響します。RTX PRO 6000 は PCIe 接続なので、NVLink を持つデータセンター向け GPU が有利になります。大規模なモデルや長いコンテキストが中心なら、H200 や B200 も比較対象に入れて検討する価値があります。
1人で使う場合の速度
Ollama 0.13.5、1枚、4ビット量子化。単純な質問を1回送ったときの生成速度です。チャットの体感に近い数字です。
出典:Database Mart。カードは RTX PRO 6000 Blackwell と記載。回答の長さはモデルごとに異なります。
モデル別の処理能力(vLLM)
Server Edition 1枚で、入力 100 トークン、出力 600 トークンのリクエストを 50 件処理した結果です。
| モデル | 形式 | 出力(トークン/秒) | 最初の応答まで(中央値) |
|---|---|---|---|
| gpt-oss 20B | 量子化済み | 3,753 | 約0.26秒 |
| DeepSeek-R1 Distill Llama 8B | 16ビット | 2,755 | 約0.28秒 |
| Llama 3.1 8B | 16ビット | 2,744 | 約0.33秒 |
| Qwen3 8B | 16ビット | 2,658 | 約0.32秒 |
| Qwen3 14B | 16ビット | 1,744 | 約0.51秒 |
| DeepSeek-R1 Distill Qwen 14B | 16ビット | 1,608 | 約0.51秒 |
| Gemma 3 12B | 16ビット | 1,560 | 約0.44秒 |
| gpt-oss 120B | 量子化済み | 1,525 | 約0.34秒 |
| DeepSeek-R1 Distill Qwen 32B | 16ビット | 829 | 約1.0秒 |
| Qwen3-VL 32B | 16ビット | 796 | 約1.05秒 |
出典:Database Mart。最大コンテキスト長は4,096です。
NVIDIA の公開データ(Server Edition)
NVIDIA は TensorRT-LLM のドキュメントで、Server Edition の数値を公開しています。単位は GPU 1枚あたりの出力トークン/秒で、すべて FP4 です。最大処理能力を見るための参考値で、ピーク性能ではないと説明されています。
Llama 3.3 70B
| 入力 / 出力 | 1枚 | 2枚(1枚あたり) |
|---|---|---|
| 1,000 / 1,000 | 1,724 | 1,901 |
| 1,024 / 1,024 | 1,708 | 1,887 |
| 8,192 / 1,024 | 296 | 327 |
| 32,768 / 1,024 | ― | 67 |
Qwen3 30B A3B
| 入力 / 出力 | 1枚 | 2枚(1枚あたり) | 4枚(1枚あたり) | 8枚(1枚あたり) |
|---|---|---|---|---|
| 1,000 / 1,000 | 9,938 | 8,409 | 7,059 | 3,985 |
| 1,024 / 1,024 | 9,755 | ― | 7,019 | ― |
| 1,024 / 8,192 | 3,621 | 3,577 | ― | 2,406 |
| 8,192 / 1,024 | 1,914 | ― | 1,416 | ― |
| 32,768 / 1,024 | 374 | ― | ― | 180 |
Qwen3 235B A22B
| 入力 / 出力 | 4枚(1枚あたり) | 8枚(1枚あたり) |
|---|---|---|
| 1,000 / 1,000 | 1,731 | 969 |
| 1,024 / 1,024 | 1,732 | 963 |
| 1,024 / 8,192 | 644 | 711 |
| 32,768 / 1,024 | 70 | ― |
出典:NVIDIA TensorRT-LLM Performance Overview(2026年8月更新)。「―」は掲載なしです。枚数を増やすと1枚あたりの値は下がることがあるため、合計を見るときは枚数を掛けて計算します。
同時処理数と応答時間
Akamai のデータでは、同時処理数を増やすと合計の処理量は伸びますが、ある点を超えると待ち時間が大きく増えます。
| 同時処理数 | FP8 トークン/秒 | FP8 TTFT | FP4 トークン/秒 | FP4 TTFT |
|---|---|---|---|---|
| 1 | 27 | 45ms | 30 | 48ms |
| 100 | 2,256 | 102ms | 3,030 | 94ms |
| 200 | 3,606 | 139ms | 3,855 | 3,663ms |
モデルは Llama-3.3-Nemotron-Super-49B、入出力 各200トークン。Server Edition、Akamai Cloud の環境。出典:Akamai(2025年10月)。
枚数を増やしたときの伸び
CloudRift の別のテストでは、GLM-4.5-Air を1枚で 3,140 トークン/秒、8枚の並列で 15,713 トークン/秒という結果でした。単純に8倍すると 25,120 ですが、実際は約6割にとどまっています。枚数を増やす計画では、効率が下がることも見込んでおきましょう。
出典:CloudRift(2025年11月)。このテストは Workstation Edition で実施されています。
どのデータを参考にするか
| 知りたいこと | 参考になるデータ |
|---|---|
| チャットの体感速度 | 1人で使う場合の速度、TTFT |
| 社内サービスの処理能力 | モデル別の処理能力、同時処理数と応答時間 |
| 長い文書の処理 | NVIDIA の入力が長い行、8枚構成の比較 |
| 一般向け GPU と迷っている | RTX 5090、RTX 4090 との比較 |
| 大規模な導入 | H200、B200 も含めた 8枚構成の比較 |
自分で測定するには
vLLM には測定用のコマンドがあります。CloudRift のテストに近い条件なら、次のように指定します。オプションは vLLM のバージョンによって変わることがあります。
vllm bench serve \
--model <モデル名> \
--dataset-name random \
--random-input-len 1000 \
--random-output-len 1000 \
--num-prompts 1200 \
--max-concurrency 400
条件を変えて比べるときは、1回に1項目だけ変えると結果を読みやすくなります。測定中は、導入ガイドのコマンドで温度と電力も確認してください。
よくある質問
なぜ出典によって数字がこれほど違うのですか?
モデル、量子化、同時処理数、入出力の長さ、推論エンジンが異なるためです。1人で使う場合の数十トークン/秒と、同時処理の数千トークン/秒は、測っているものが違います。
RTX 5090 と RTX PRO 6000 のどちらがよいですか?
小さなモデルが中心で、複数枚を置ける環境なら RTX 5090 も候補です。大きなモデルを1枚で動かしたい、サーバーで安定して運用したいという場合は、96GB の RTX PRO 6000 が候補になります。
H100 より速いのですか?
条件によります。公開データでは、同等、上回る、下回るのいずれの結果もあります。特に複数枚で大きなモデルを動かす場合は、NVLink を持つ GPU が有利です。
このページの数値は保証されますか?
いいえ。第三者や NVIDIA の公開データをまとめたもので、同じ性能を保証するものではありません。
参考資料
- CloudRift:RTX 4090 vs 5090 vs PRO 6000
- CloudRift:RTX PRO 6000 vs H100, H200, L40S
- CloudRift:B200 vs H200 vs H100 vs PRO 6000
- Database Mart:vLLM Benchmark
- Database Mart:Ollama Benchmark
- NVIDIA:TensorRT-LLM Performance Overview
- Akamai:Benchmarking RTX Pro 6000 Blackwell
最終確認:2026年11月6日。仕様や数値は変更される場合があります。
RTX PRO 6000 Server Edition のご相談
価格や在庫は、製品ページからご確認いただけます。お見積りやご質問もお気軽にどうぞ。
