八路达成11TBHBM3e内存!NVIDIA奉上全球第一GPUH200

最后编辑时间:2023-11-19 14:02:34 来源:未知 作者:未知 阅读量: 未知

  现在,NVIDIA又发布了全新的HGX H200加速器,可处理AIGC、HPC工作负载的海量数据。

  NVIDIA H200的一大特点就是首发新一代HBM3e高带宽内存(疑似来自SK海力士),单颗容量就多达141GB(原始容量144GB但为提高良率屏蔽了一点点),同时带宽多达4.8TB/s。

  对比H100,容量增加了76%,带宽增加了43%,而对比上代A100,更是容量几乎翻番,带宽增加2.4倍。

  得益于NVLink、NVSwitch高速互连技术,H200还可以四路、八路并联,因此单系统的HBM3e内存容量能做到最多1128GB,也就是1.1TB。

  性能方面,H200再一次实现了飞跃,700亿参数的Llama2大语言模型推理性能比H100提高了多达90%,1750亿参数的GTP-3模型推理性能也提高了60%,而对比前代A100 HPC模拟性能直接翻番。

  八路H200系统下,FP8深度学习计算性能可以超过32PFlops,也就是每秒3.2亿亿次浮点计算,堪比一台大型超级计算机。

(责任编辑:管理)

随机内容