DOITAPP
DOIT數據智能產業媒體與服務平臺
立即打開
DOITAPP
DOIT數據智能產業媒體與服務平臺
立即打開

英偉達發布H200,顯存最高達141GB

2023 年 11 月 14 日消息:英偉達宣布推出 同樣基于 Hopper 架構的NVIDIA HGX H200。作為H100的升級版,H200 可以更好地處理生成式 AI 與高性能計算工作負載。

NVIDIA H200 是首款采用 HBM3e 的 GPU,其運行更快、更大的顯存容量將進一步加速生成式 AI 與大語言模型,同時推進用于 HPC 工作負載的科學計算。

憑借 HBM3e,NVIDIA H200 能夠提供傳輸速度達 4.8 TB/秒的 141GB 顯存。與上一代架構的 NVIDIA A100 相比,其容量幾乎翻了一倍,帶寬也增加了 2.4 倍。

H200 的推出將帶來進一步的性能飛躍,比如在一個 700 億參數的 LLM —— Llama 2 上的推理速度比 H100 提高了近一倍。隨著未來軟件的持續升級,H200 有望實現更大的性能優勢與提升。

NVIDIA H200

NVIDIA H200 將提供四路和八路 NVIDIA HGX H200 服務器主板可選,其與HGX H100 系統的硬件和軟件都兼容。

H200還可用于今年 8 月發布的采用 HBM3e 的 NVIDIA GH200 Grace Hopper? 超級芯片。這些配置使 H200 可以部署在各類數據中心,包括本地、云、混合云和邊緣。

在 NVIDIA NVLink 和 NVSwitch 高速互連技術的加持下,HGX H200 可為各種應用工作負載提供最高的性能,包括針對 1750 億參數以上超大模型的 LLM 訓練和推理。

八路 HGX H200 可提供超過 32 PetaFLOPS的 FP8 深度學習計算能力和 1.1TB 的聚合高帶寬內存容量,能夠為生成式 AI 和 HPC 應用帶來強勁性能。

當H200 與采用超高速 NVLink-C2C 互連技術的 NVIDIA Grace CPU 搭配使用時,就組成了帶有 HBM3e 的 GH200 Grace Hopper 超級芯片——專為大型 HPC 和 AI 應用而設計的計算模塊。

大型服務器廠商和云廠商預計于 2024 年第二季度開始提供搭載 H200 的系統。

未經允許不得轉載:DOIT » 英偉達發布H200,顯存最高達141GB

欧美牲交AⅤ俄罗斯_亚洲丝丝噜第五页_日本xx18一19video_青青草原精品资源站久久