日本AIラボJAPAN AI LAB お見積り・お問い合わせ ↗
Public Benchmarks

RTX PRO 6000 公開ベンチマークまとめ

公開されている LLM 推論のテスト結果を、条件とあわせて整理しました。同じカードでも 1 秒あたり数十トークンから約1万トークンまで差があります。理由の多くは、カードではなく測り方の違いです。

このページの内容 13項目

結果の要点

  • 単体の処理能力は RTX 5090 より高い:同じ条件の公開テストでは、1枚あたり約1.8倍でした。
  • ただし複数枚の RTX 5090 が上回る場面もある:4枚構成の合計値は RTX PRO 6000 1枚を超えます。一方、1枚で 96GB を使える点は RTX PRO 6000 の強みです。
  • データセンター向け GPU との差は条件で変わる:単体や小〜中型モデルでは競り合う一方、8枚で大型モデルを動かすと、NVLink を持つ H200 や B200 が大きく上回ります。
  • 入力が長いと遅くなる:Llama 3.3 70B では、入力を約8倍にすると出力は約6分の1になりました。

数字の読み方

用語意味見るときのポイント
スループット(トークン/秒)1秒あたりに処理したトークン数出力だけか、入出力の合計かを確認します
同時リクエスト数同時に処理した数多いほど合計は伸び、1人あたりは遅くなります
TTFT最初の1トークンが返るまでの時間チャットの待ち時間に影響します
入出力の長さ(ISL / OSL)入力と出力のトークン数入力が長いほど遅くなります
量子化FP4、FP8、AWQ などモデルのメモリと速度に影響します
TP / PP複数 GPU でのモデルの分け方TP はモデルの分割、PP は並列数です

RTX 5090、RTX 4090 との比較

Qwen3-Coder 30B(AWQ)、カード1枚のスループットvLLM、入出力 各1,000トークン、8K コンテキスト、同時400件。単位はトークン/秒。
RTX PRO 6000
8,425
RTX 5090
4,570
RTX 4090
2,259

出典:CloudRift(2025年10月)。この記事に版の記載はありません。RTX 4090 と他のカードで CPU が異なります。

複数枚の構成も含めた比較

モデルRTX PRO 6000 1枚RTX 5090RTX 4090
Qwen3-Coder 30B(AWQ)8,4251枚 4,570 / 4枚 12,7441枚 2,259 / 4枚 8,903
GLM-4.5-Air(AWQ 4ビット)3,1694枚 4,6224枚 1,731
Llama 3.3 70B(AWQ INT4)1,0312枚 1,2302枚 467

単位はトークン/秒。出典:CloudRift(2025年10月)。この記事の RTX PRO 6000 は1枚のみのテストです。

この結果から、一般向けの GPU を複数枚使えば合計の処理能力は高くできます。ただし、枚数が増えるほど設置場所、電力、運用の手間も増えます。1枚で 96GB を扱えることにどれだけ価値があるかが、選ぶときのポイントです。

A100、H100 との比較

同時300件のスループットvLLM、カード1枚。単位はトークン/秒。
RTX PRO 6000H100A100 80GB
DeepSeek-R1 Distill Llama 8B
RTX PRO 6000
8,990
H100
5,934
A100 80GB
6,842
DeepSeek-R1 Distill Qwen 14B
RTX PRO 6000
5,160
H100
4,821
A100 80GB
4,187
DeepSeek-R1 Distill Qwen 32B
RTX PRO 6000
1,655
H100
1,482
A100 80GB
721

出典:Database Mart。RTX PRO 6000 は Server Edition と記載。同時300件のテストの詳しい設定は記載がありません。

H200、B200 も含めた 8枚構成の比較

GLM-4.5-Air(AWQ 4ビット)、8枚構成のスループット入出力 各8,000トークンの長いコンテキスト。単位はトークン/秒。
B200 × 8
9,675
H200 × 8
5,463
H100 × 8
2,556
RTX PRO 6000 × 8
2,291

出典:CloudRift(2026年1月)。記事に版の記載はなく、RTX PRO 6000 は PCIe 構成です。同時リクエスト数は GPU ごとに調整されています。ログとの照合から、数値は入出力の合計とみられます。

モデルRTX PRO 6000H100H200B200
GLM-4.5-Air(AWQ 4ビット)2,2912,5565,4639,675
Qwen3-Coder 480B(AWQ)1,6032,3294,2636,438
GLM-4.6(FP8)1,6522,8345,5888,037

単位はトークン/秒、8枚構成。Qwen3-Coder 480B は4枚ずつの分割、GLM-4.6 は8枚の分割で動かしています。

大きなモデルを複数の GPU に分割して動かす場合、GPU 間の通信速度が大きく影響します。RTX PRO 6000 は PCIe 接続なので、NVLink を持つデータセンター向け GPU が有利になります。大規模なモデルや長いコンテキストが中心なら、H200 や B200 も比較対象に入れて検討する価値があります。

1人で使う場合の速度

Ollama 0.13.5、1枚、4ビット量子化。単純な質問を1回送ったときの生成速度です。チャットの体感に近い数字です。

Ollama の生成速度単位はトークン/秒。
gpt-oss 20B
185
gpt-oss 120B
134
DeepSeek-R1 32B
64
Gemma 3 27B
61
Qwen3 32B
56
Llama 3.3 70B
32
DeepSeek-R1 70B
32
Qwen 2.5 72B
29

出典:Database Mart。カードは RTX PRO 6000 Blackwell と記載。回答の長さはモデルごとに異なります。

モデル別の処理能力(vLLM)

Server Edition 1枚で、入力 100 トークン、出力 600 トークンのリクエストを 50 件処理した結果です。

モデル形式出力(トークン/秒)最初の応答まで(中央値)
gpt-oss 20B量子化済み3,753約0.26秒
DeepSeek-R1 Distill Llama 8B16ビット2,755約0.28秒
Llama 3.1 8B16ビット2,744約0.33秒
Qwen3 8B16ビット2,658約0.32秒
Qwen3 14B16ビット1,744約0.51秒
DeepSeek-R1 Distill Qwen 14B16ビット1,608約0.51秒
Gemma 3 12B16ビット1,560約0.44秒
gpt-oss 120B量子化済み1,525約0.34秒
DeepSeek-R1 Distill Qwen 32B16ビット829約1.0秒
Qwen3-VL 32B16ビット796約1.05秒

出典:Database Mart。最大コンテキスト長は4,096です。

NVIDIA の公開データ(Server Edition)

NVIDIA は TensorRT-LLM のドキュメントで、Server Edition の数値を公開しています。単位は GPU 1枚あたりの出力トークン/秒で、すべて FP4 です。最大処理能力を見るための参考値で、ピーク性能ではないと説明されています。

Llama 3.3 70B

入力 / 出力1枚2枚(1枚あたり)
1,000 / 1,0001,7241,901
1,024 / 1,0241,7081,887
8,192 / 1,024296327
32,768 / 1,024―67

Qwen3 30B A3B

入力 / 出力1枚2枚(1枚あたり)4枚(1枚あたり)8枚(1枚あたり)
1,000 / 1,0009,9388,4097,0593,985
1,024 / 1,0249,755―7,019―
1,024 / 8,1923,6213,577―2,406
8,192 / 1,0241,914―1,416―
32,768 / 1,024374――180

Qwen3 235B A22B

入力 / 出力4枚(1枚あたり)8枚(1枚あたり)
1,000 / 1,0001,731969
1,024 / 1,0241,732963
1,024 / 8,192644711
32,768 / 1,02470―

出典:NVIDIA TensorRT-LLM Performance Overview(2026年8月更新)。「―」は掲載なしです。枚数を増やすと1枚あたりの値は下がることがあるため、合計を見るときは枚数を掛けて計算します。

同時処理数と応答時間

Akamai のデータでは、同時処理数を増やすと合計の処理量は伸びますが、ある点を超えると待ち時間が大きく増えます。

同時処理数FP8 トークン/秒FP8 TTFTFP4 トークン/秒FP4 TTFT
12745ms3048ms
1002,256102ms3,03094ms
2003,606139ms3,8553,663ms

モデルは Llama-3.3-Nemotron-Super-49B、入出力 各200トークン。Server Edition、Akamai Cloud の環境。出典:Akamai(2025年10月)。

枚数を増やしたときの伸び

CloudRift の別のテストでは、GLM-4.5-Air を1枚で 3,140 トークン/秒、8枚の並列で 15,713 トークン/秒という結果でした。単純に8倍すると 25,120 ですが、実際は約6割にとどまっています。枚数を増やす計画では、効率が下がることも見込んでおきましょう。

出典:CloudRift(2025年11月)。このテストは Workstation Edition で実施されています。

どのデータを参考にするか

知りたいこと参考になるデータ
チャットの体感速度1人で使う場合の速度、TTFT
社内サービスの処理能力モデル別の処理能力、同時処理数と応答時間
長い文書の処理NVIDIA の入力が長い行、8枚構成の比較
一般向け GPU と迷っているRTX 5090、RTX 4090 との比較
大規模な導入H200、B200 も含めた 8枚構成の比較

自分で測定するには

vLLM には測定用のコマンドがあります。CloudRift のテストに近い条件なら、次のように指定します。オプションは vLLM のバージョンによって変わることがあります。

vllm bench serve \
  --model <モデル名> \
  --dataset-name random \
  --random-input-len 1000 \
  --random-output-len 1000 \
  --num-prompts 1200 \
  --max-concurrency 400

条件を変えて比べるときは、1回に1項目だけ変えると結果を読みやすくなります。測定中は、導入ガイドのコマンドで温度と電力も確認してください。

よくある質問

なぜ出典によって数字がこれほど違うのですか?

モデル、量子化、同時処理数、入出力の長さ、推論エンジンが異なるためです。1人で使う場合の数十トークン/秒と、同時処理の数千トークン/秒は、測っているものが違います。

RTX 5090 と RTX PRO 6000 のどちらがよいですか?

小さなモデルが中心で、複数枚を置ける環境なら RTX 5090 も候補です。大きなモデルを1枚で動かしたい、サーバーで安定して運用したいという場合は、96GB の RTX PRO 6000 が候補になります。

H100 より速いのですか?

条件によります。公開データでは、同等、上回る、下回るのいずれの結果もあります。特に複数枚で大きなモデルを動かす場合は、NVLink を持つ GPU が有利です。

このページの数値は保証されますか?

いいえ。第三者や NVIDIA の公開データをまとめたもので、同じ性能を保証するものではありません。

参考資料

最終確認:2026年11月6日。仕様や数値は変更される場合があります。

RTX PRO 6000 Server Edition のご相談

価格や在庫は、製品ページからご確認いただけます。お見積りやご質問もお気軽にどうぞ。

製品ページを見る →