H100再次在MLPerf中刷新了記錄！

英偉達超算NVIDIA Eos在GPT-3模型的基準測試中，只用了3.9分鐘就完成了訓練。

這比6月份的刷新記錄的成績——10.9分鐘，提升了近3倍。

Eos使用了多達10,752個H100和NVIDIA Quantum-2 InfiniBand網(wǎng)絡(luò)互連。

通過推算，Eos現(xiàn)在可以在短短8天內(nèi)進行訓練，比之前使用512個A100 GPU的先進系統(tǒng)快73倍。

在本輪新的生成式AI測試中，1,024個NVIDIA Hopper架構(gòu)GPU在2.5分鐘內(nèi)完成了基于Stable Diffusion文本到圖像模型的訓練基準測試，為這一新工作負載設(shè)定了高標準。

與此同時，外媒曝光了英偉達為應(yīng)對新規(guī)而打造的全新「特供版」芯片——H20、L20和L2。

系統(tǒng)擴展效率飆升93%

最新的結(jié)果部分是由于使用了有史以來應(yīng)用于MLPerf基準測試的最多加速器。

10,752個H100 GPU遠遠超過了6月份AI訓練的規(guī)模，當時英偉達使用了3,584個Hopper GPU。

GPU數(shù)量擴展3倍，性能擴展了2.8倍，效率達到93%，這在一定程度上要歸功于軟件優(yōu)化。

高效擴展是生成式AI的關(guān)鍵要求，因為LLM每年都在以一個數(shù)量級的速度增長。

最新結(jié)果顯示，即使是世界上最大的數(shù)據(jù)中心，英偉達也有能力應(yīng)對這一前所未有的挑戰(zhàn)。

這一成就歸功于加速器、系統(tǒng)和軟件創(chuàng)新的全棧平臺，Eos和Microsoft Azure在最近一輪測試中都使用了該平臺。

Eos和Azure在各自的提交中都采用了10,752個H100。它們的表現(xiàn)相差不到2%，展示了英偉達AI在數(shù)據(jù)中心和公有云部署中的高效性。

英偉達依靠Eos完成了各種關(guān)鍵任務(wù)。

它有助于推進NVIDIA DLSS和ChipNeMo等計劃，后者是幫助設(shè)計下一代GPU的生成式AI工具。

9項基準測試，刷新記錄

除了在生成式AI方面取得進步，英偉達在這一輪測試中還刷新了幾項新的記錄。

比如，在訓練推薦系統(tǒng)模型的測試中，H100 GPU比上一輪快了1.6倍。在計算機視覺模型RetinaNet的測試中，性能提高了1.8倍。

這些性能提升來源于軟件和硬件規(guī)模擴充的優(yōu)化結(jié)合。

英偉達再次成為唯一一家完成了所有MLPerf測試的公司。H100在9項基準測試中展示了最快的性能和最大的擴展性。

這些加速為用戶訓練大模型或用NeMo等框架自定義模型以滿足業(yè)務(wù)需求,帶來了更快上市時間、更低成本和節(jié)省能源。

這一輪測試中，包括華碩、戴爾技術(shù)、富士通、技嘉、聯(lián)想、QCT和超微等11家系統(tǒng)制造商在提交結(jié)果中使用了NVIDIA AI平臺。

特供版H20、L20和L2性能曝光

在過去幾年中，美國對高性能硬件出口實施了非常嚴格的限制。

尤其是在2023年11月生效的新規(guī)，更是要求所有達到一定總處理性能和/或性能密度的硬件都必須獲得出口許可。

據(jù)最新泄露的文件和四位熟悉內(nèi)情的人士透露，為了遵守美國的出口管制，英偉達已經(jīng)推出了三款全新的「中國定制版」芯片——HGX H20、L20 PCle 和 L2 PCle GPU。

其中，HGX H20配有高達96GB的HBM3顯存，以及4TB/s的帶寬，并且基于全新的Hopper架構(gòu)。

與H100的50MB二級緩存相比，H20還擁有更大的60MB二級緩存。

然而在性能方面，HGX H20只能提供FP64精度1 TFLOPS（H100為34 TFLOPS）和FP16/BF16精度148 TFLOPS（H100為1,979 TFLOPS）的算力。

由此，功耗也從700W降到了400W。

有趣的是，基于安培架構(gòu)并配備24GB HBM2的入門級A30 GPU，在FP64和FP16/BF16精度下，都要比HGX H20快不少。

至于L20和L2 PCIe GPU，則是基于閹割后的AD102和AD104核心，對應(yīng)的是與L40和L40S相同的市場。

更直觀地，RTX 4090采用的便是AD102的變體，而4070和4070Ti則是基于AD104的變體。

除此之外，為了遵守新規(guī)，HGX H20、L20 PCle和L2 PCle GPU不僅性能是殘血的，而且還只配備了殘血版的NVLink連接。