NVIDIA DGX H200
NVIDIA DGX H200 : エンタープライズ AI システム
NVIDIA DGX™ H200 でビジネス イノベーションと最適化を広げましょう。DGX プラットフォームの一部であり、NVIDIA DGX SuperPOD™ や DGX BasePOD™ の基盤となっている DGX H200 は、NVIDIA H200 Tensor コア GPU の画期的なパフォーマンスにより高速化された、AI 対応の高性能製品です。
Explore NVIDIA DGX H200
NVIDIA H200 Tensor Core GPU
大容量で高速なメモリによる高いパフォーマンス
NVIDIA Hopper アーキテクチャをベースとする NVIDIA H200 は、4.8TB/s で 141GB の HBM3eメモリを提供する初の GPUです。これは、NVIDIA H100 Tensor コア GPUの約 2倍の容量で、メモリ帯域幅は 1.4倍です。
H200の大容量かつ高速なメモリは、生成 AIと LLMを加速し、エネルギー効率を向上させ、総所有コストを低減し、HPCワークロードのための科学コンピューティングを前進させます。
高性能な LLM 推論でインサイトを引き出す
進化し続ける AIの世界では、企業はさまざまな推論のニーズに対応するために LLMを利用しています。AI推論アクセラレータは、大規模なユーザーベース向けにデプロイする場合、最小の TCOで最高のスループットを実現する必要があります。
H200は、Llama2のような LLMを扱う場合、H100 GPUと比較して推論速度を最大 2倍向上します。
参考仕様。変更される場合があります。
Llama2 13B: ISL 128, OSL 2K | Throughput | H100 SXM 1x GPU BS 64 | H200 SXM 1x GPU BS 128
GPT-3 175B: ISL 80, OSL 200 | x8 H100 SXM GPUs BS 64 | x8 H200 SXM GPUs BS 128
Llama2 70B: ISL 2K, OSL 128 | Throughput | H100 SXM 1x GPU BS 8 | H200 SXM 1x GPU BS 32.
HPCアプリケーションを加速
メモリ帯域幅は、より高速なデータ転送を実現することで、ボトルネックとなる複雑な処理を削減するため、HPCアプリケーションにとって極めて重要です。シミュレーション、科学研究、人工知能のようなメモリを大量に使用する HPCアプリケーションでは、 H200の高いメモリ帯域幅が、データへのアクセスと操作を効率化し、CPUと比較して 110倍の早さで結果を得ることができます。
準備段階で測定されたパフォーマンスです。変更される可能性があります
HPC MILC- dataset NERSC Apex Medium | HGX H200 4-GPU | dual Sapphire Rapids 8480
HPC Apps- CP2K: dataset H2O-32-RI-dRPA-96points | GROMACS: dataset STMV | ICON: dataset r2b5 | MILC: dataset NERSC Apex Medium | Chroma: dataset HMC Medium | Quantum Espresso: dataset AUSURF112 | 1x H100 | 1x H200.
エネルギーと TCO の削減
H200の導入により、エネルギー効率と TCOが新たなレベルに到達します。この最先端のテクノロジは、すべて H100 Tensorコア GPUと同じ電力プロファイル内で、かつてないパフォーマンスを提供します。AI ファクトリーとスーパーコンピューティング システムは、高速なだけでなく、環境にも優しく、AI と科学のコミュニティを推進する経済的優位性を提供します。
準備段階で測定されたパフォーマンスです。変更される可能性があります
Llama2 70B: ISL 2K, OSL 128 | Throughput | H100 1x GPU BS 8 | H200 1x GPU BS 32
NVIDIA DGX H200 : SYSTEM SPECIFICATIONS
| GPU | 8x NVIDIA H200 Tensor Core GPUs, with 141GB of GPU memory each |
| GPU Memory | 1,128GB total |
| Performance | 32 petaFLOPS FP8 |
| NVIDIA NVSwitch™ | 4x |
| System Power Usage | 10.2kW max |
| CPU | Dual Intel® Xeon® Platinum 8480C Processors 112 Cores total, 2.00 GHz (Base), 3.80 GHz (Max Boost) |
| System Memory | 2TB |
| Networking | 4x OSFP ports serving 8x single-port NVIDIA ConnectX-7 VPI > Up to 400Gb/s InfiniBand/Ethernet 2x dual-port QSFP112 NVIDIA ConnectX-7 VPI > Up to 400Gb/s InfiniBand/Ethernet |
| Management network | 10Gb/s onboard NIC with RJ45 100Gb/s Ethernet NIC Host baseboard management controller (BMC) with RJ45 |
| Storage | OS: 2x 1.92TB NVMe M.2 |
| Internal storage | 8x 3.84TB NVMe U.2 |
| Software | NVIDIA AI Enterprise – Optimized AI software NVIDIA Base Command – Orchestration, scheduling, and cluster management DGX OS / Ubuntu / Red Hat Enterprise Linux / Rocky – Operating System |
| Support | Comes with 3-year business-standard hardware and software support |
| System weight | 287.6lbs (130.45kgs) |
| Packaged system weight | 376lbs (170.45kgs) |
| System Dimensions | Height: 356mm Width: 482.2mm Length: 897.1mm |
| Operating Temperature | 5～30°C |
NVIDIA DGX H200 ドキュメント
NVMe 高速ストレージのご提案
HPCテックでは NVMe SSDを複数台搭載したALL Flash ストレージや高速ネットワーク InfiniBandスイッチ等のご提案をさせていただきます。また、お客様の必要とされる環境づくりのお手伝いをさせていただきますのでお気軽にご相談ください。
弊社では、科学技術計算や解析などの各種アプリケーションについて動作検証を行い、
すべてのセットアップをおこなっております。
お客様が必要とされる環境にあわせた最適なシステム構成をご提案いたします。