NVIDIA DGX B200
NVIDIA Blackwell GPU Architecture
The foundation for your AI center of excellence.
- MAX 8GPU
画期的なイノベーションに支えられる革新的な効率性
NVIDIA DGX™ B200 は、企業規模を問わず、AI 導入のどの段階においても、パイプラインの開発から導入までを可能にする統合 AI プラットフォームです。 第 5世代の NVIDIA® NVLink® で相互接続された 8基の NVIDIA B200 Tensor コア GPUを搭載した DGX B200は、前世代と比較してトレーニング性能は 3倍、推論性能は 15倍の最先端の性能を提供します。NVIDIA Blackwell GPU アーキテクチャを採用した DGX B200 は、大規模言語モデル、レコメンダーシステム、チャットボットなどの多様なワークロードを処理することができ、AI トランスフォーメーションの加速を目指す企業に最適です。
NVIDIA DGX B200 主な特徴
- 8基の NVIDIA Blackwell GPU
- 1.4TB の GPU メモリ空間
- 72 ペタ FLOPS のトレーニングパフォーマンス
- 144 ペタ FLOPS の推論パフォーマンス
- NVIDIA ネットワーキング
- デュアルの第 5 世代 Intel® Xeon®スケーラブル プロセッサ
- NVIDIA DGX BasePODと NVIDIA DGX SuperPODの基盤
- NVIDIA AI Enterpriseと NVIDIA Base Command™ソフトウェアを含む
統合 AI プラットフォーム
開発からデプロイまでのパイプラインのための 1つのプラットフォーム
企業は、トレーニングからファインチューニングに推論まで、AI パイプラインのあらゆる段階で複雑な AI データセットを処理するために膨大な計算処理能力を必要とします。NVIDIA DGX B200 があれば、ワークフローを高速化するように作られた 1つのプラットフォームを企業は開発者に与えることができます。
究極の AI パフォーマンス
NVIDIA Blackwell アーキテクチャの高度なコンピューティングを活用する DGX B200 は、DGX H100 と比較してそのトレーニングパフォーマンスが 3倍、推論パフォーマンスが 25倍となります。NVIDIA DGX BasePOD™ や NVIDIA DGX SuperPOD™ の土台である DGX B200 は、業界をリードするパフォーマンスをあらゆるワークロードに提供します。
実証済みのインフラストラクチャ標準
DGX B200 は、NVIDIA Base Command および NVIDIA AI Enterprise ソフトウェアを含む完全な NVIDIA AI ソフトウェアスタック、豊富なサードパーティサポートのエコシステム、および NVIDIA プロフェッショナルサービスによる専門家のアドバイスへのアクセスを含む、完全に最適化されたハードウェアおよびソフトウェアプラットフォームです。
DGX B200 を活用した次世代のパフォーマンス
リアル タイム大規模言語モデル推論
トークン間のレイテンシ (TTL) = 50ms リアルタイム、最初のトークンのレイテンシ (FTL) = 5ms、入力シーケンスの長さ = 32,768、出力シーケンスの長さ = 1,028、8x 8ウェイ HGX H100 GPU 空冷と 1x 8ウェイ DGX B200 空冷の比較、GPU あたりのパフォーマンス比較です。
予想されるパフォーマンスは変更される可能性があります。
リアル タイム大規模言語モデル推論
32,768 GPU スケール、4,096x 8ウェイ DGX H100 空冷クラスター: 400G IB ネットワーク、4,096x 8ウェイ DGX B200 空冷クラスター: 400G IB ネットワークです。
予想されるパフォーマンスは変更される可能性があります。
NVIDIA Base Command 搭載
NVIDIA Base Command は DGX プラットフォームを強化し、NVIDIA ソフトウェアがもたらすイノベーションを企業が最大級活用できるようにします。企業は、エンタープライズグレードのオーケストレーションとクラスター管理、コンピューティング、ストレージ、ネットワークのインフラを高速化するライブラリ、AI ワークロード向けに最適化されたオペレーティング システムを含む実証済みのプラットフォームで、DGX インフラの可能性を最大限まで引き出すことができます。また、DGX インフラには、AI の開発と展開を効率化するために最適化された一連のソフトウェア、NVIDIA AI Enterprise も含まれています。
NVIDIA DGX B200 仕様
| GPU | 8 基 の NVIDIA B200 Tensor コア GPU |
| GPU Memory | 合計 1,440GB の GPU メモリ |
| Performance | 72 petaFLOPS の FP8 トレーニングと 144 petaFLOPS の FP4 推論 |
| System Power Usage | 最大 14.3kW |
| CPU | 2 個の Intel Xeon Platinum 8570 プロセッサ 合計 112 コア、2.1 GHz (ベース)、 4 GHz (最大ブースト) |
| System Memory | 最大 4TB |
| Networking | 4 基の OSFP ポートで 8 基のシングルポートを提供する NVIDIA ConnectX-7 VPI ＞ 最大 400Gb/秒の InfiniBand/Ethernet 2 個のデュアルポート QSFP112 NVIDIA BlueField-3 DPU ＞ 最大 400Gb/秒の InfiniBand/Ethernet |
| Management network | 10Gb/秒のオンボード NIC (RJ45 搭載) 100Gb/秒のデュアルポート イーサネット NIC ホスト BMC (ベースボード管理コントローラー、RJ45 搭載) |
| Storage | OS : 2 個の 1.9TB NVMe M.2 内部ストレージ : 8 個の 3.84TB NVMe U.2 |
| Software | NVIDIA AI Enterprise : 最適化された AI ソフトウェア NVIDIA Base Command : オーケストレーション、スケジューリング、クラスター管理 DGX OS / Ubuntu : オペレーティング システム |
| Rack Units (RU) | 10 RU |
| System Dimensions | 高さ : 444mm 幅 : 482.2mm 長さ : 897.1mm |
| Operating Temperature | 5～30°C |
| Enterprise Support | Three-year Enterprise Business-Standard Support for hardware and software 24/7 Enterprise Support portal access Live agent support during local business hours |
NVIDIA DGX B200 ドキュメント
NVIDIA Blackwell Architecture Technical Brief V1.1
弊社では、科学技術計算や解析などの各種アプリケーションについて動作検証を行い、
すべてのセットアップをおこなっております。
お客様が必要とされる環境にあわせた最適なシステム構成をご提案いたします。