最新MLPerf訓(xùn)練基準(zhǔn)測試中，H100 GPU在所有的八項(xiàng)測試中都創(chuàng)下了新紀(jì)錄！

如今，NVIDIA H100幾乎已經(jīng)統(tǒng)治了所有類別，并且是新LLM基準(zhǔn)測試中使用的唯一 的GPU。

圖片

3,584個(gè)H100 GPU群在短短11分鐘內(nèi)完成了基于GPT-3的大規(guī)?；鶞?zhǔn)測試。

MLPerf LLM基準(zhǔn)測試是基于OpenAI的GPT-3模型進(jìn)行的，包含1750億個(gè)參數(shù)。

Lambda Labs估計(jì)，訓(xùn)練這樣一個(gè)大模型需要大約3.14E23 FLOPS的計(jì)算量。

11分鐘訓(xùn)出GPT-3的怪獸是如何構(gòu)成的

在LLM和BERT自然語言處理 (NLP) 基準(zhǔn)測試中排名最高的系統(tǒng)，是由NVIDIA和Inflection AI聯(lián)合開發(fā)。

由專門從事企業(yè)級GPU加速工作負(fù)載的云服務(wù)提供商CoreWeave托管。

該系統(tǒng)結(jié)合了3584個(gè)NVIDIA H100加速器和896個(gè)Intel Xeon Platinum 8462Y+處理器。

圖片

因?yàn)橛ミ_(dá)在H100中引入了新的Transformer引擎，專門用于加速Transformer模型訓(xùn)練和推理，將訓(xùn)練速度提高了6倍。

CoreWeave從云端提供的性能與英偉達(dá)從本地?cái)?shù)據(jù)中心運(yùn)行的AI超級計(jì)算機(jī)所能提供的性能已經(jīng)非常接近了。

這得益于CoreWeave使用的NVIDIA Quantum-2 InfiniBand網(wǎng)絡(luò)具有低延遲網(wǎng)絡(luò)。

隨著參與訓(xùn)練的H100 GPU從數(shù)百個(gè)擴(kuò)展到3000多個(gè)。

良好的優(yōu)化使得整個(gè)技術(shù)堆棧在要求嚴(yán)苛的LLM測試中實(shí)現(xiàn)了近乎線性的性能擴(kuò)展。

如果將GPU的數(shù)量降低到一半，訓(xùn)練相同的模型時(shí)間會增加到24分鐘。

說明整個(gè)系統(tǒng)的效率潛力，隨著GPU的增加，是超線性的。

最主要的原因是，英偉達(dá)從GPU設(shè)計(jì)之初就考慮到了這個(gè)問題，使用NVLink技術(shù)來高效實(shí)現(xiàn)了GPU之間的通信。

圖片

在參與測試的90個(gè)系統(tǒng)中，有82個(gè)系統(tǒng)都使用了英偉達(dá)的GPU進(jìn)行加速。

圖片

單卡訓(xùn)練效率

圖片

系統(tǒng)集群訓(xùn)練時(shí)間對比

英特爾參加測評的系統(tǒng)使用64到96個(gè)不等的Intel Xeon Platinum 8380 處理器和256到389個(gè)不等的Intel Habana Gaudi2加速器。

然而，英特爾提交的GPT-3的訓(xùn)練時(shí)間為311分鐘。

成績和英偉達(dá)相比就稍微有點(diǎn)慘不忍睹了。

分析師：英偉達(dá)優(yōu)勢過大

行業(yè)分析師認(rèn)為，英偉達(dá)的在GPU上的技術(shù)優(yōu)勢是非常明顯的。

而它作為AI基礎(chǔ)設(shè)施提供商，在行業(yè)中的主導(dǎo)地位還體現(xiàn)在英偉達(dá)多年建立起來的生態(tài)系統(tǒng)粘性上。

AI社區(qū)對英偉達(dá)的軟件的依賴性也非常強(qiáng)。

幾乎所有AI框架都基于英偉達(dá)提供的底層CUDA庫和工具。

圖片

而且它還能提供全堆棧的AI工具和解決方案。

除了為AI開發(fā)人員提供支持之外，英偉達(dá)還繼續(xù)投資用于管理工作負(fù)載和模型的企業(yè)級工具。

在可預(yù)見的未來，英偉達(dá)在行業(yè)的領(lǐng)先地位將會非常穩(wěn)固。

分析師還進(jìn)一步指出。

MLPerf測試結(jié)果中所展現(xiàn)的，NVIDIA系統(tǒng)在云端進(jìn)行AI訓(xùn)練的強(qiáng)大功能和效率，才是英偉達(dá)「戰(zhàn)未來」的最大本錢。

下一代Ada Lovelace  GPU，2025年發(fā)布

Tom's Hardware自由撰稿人Zhiye Liu也于近日發(fā)文，介紹了下一代英偉達(dá)Ada Lovelace顯卡的計(jì)劃。

H100訓(xùn)練大模型的能力，毋庸置疑。

只用3584個(gè)H100，短短11分鐘內(nèi)，就能訓(xùn)練出一個(gè)GPT-3模型。

在最近的新聞發(fā)布會上，英偉達(dá)分享了一份新路線圖，詳細(xì)介紹了下一代產(chǎn)品，包括GeForce RTX 40系列Ada Lovelace GPU的繼任者，而前者，是當(dāng)今最好的游戲顯卡。

圖片

根據(jù)路線圖，英偉達(dá)計(jì)劃在2025年推出「Ada Lovelace-Next」顯卡。

如果繼續(xù)沿用當(dāng)前的命名方案，下一代GeForce產(chǎn)品應(yīng)該是作為GeForce RTX 50系列上市。

根據(jù)南美組織LAPSU$得到的信息，Hopper Next很可能被命名為Blackwell。

在消費(fèi)級顯卡上，英偉達(dá)保持著兩年一更新的節(jié)奏。

他們在2016年推出了Pascal，在2018年推出了Turing，在2020年推出了Ampere，在2022年推出了Ada Lovelace。

如果這次Ada Lovelace的繼任者會在2025年推出，英偉達(dá)無疑就打破了通常的節(jié)奏。

圖片

最近的AI大爆發(fā)，產(chǎn)生了對英偉達(dá)GPU的巨大需求，無論是最新的H100，還是上一代的A100。

根據(jù)報(bào)道，某大廠今年就訂購了價(jià)值10億美元的Nvidia GPU。

盡管有出口限制，但我國仍然是英偉達(dá)在全世界最大的市場之一。

（據(jù)說，在深圳華強(qiáng)北電子市場，就可以買到少量英偉達(dá)A100，每塊售價(jià)為2萬美元，是通常價(jià)格的兩倍。）

對此，英偉達(dá)已經(jīng)對某些AI產(chǎn)品做了微調(diào)，發(fā)布了H100或A800等特定SKU，以滿足出口要求。

Zhiye Liu對此分析道，換個(gè)角度看，出口法規(guī)其實(shí)是有利于英偉達(dá)的，因?yàn)檫@意味著芯片制造商客戶必須購買更多原版GPU的變體，才能獲得同等的性能。

這也就能理解，為什么英偉達(dá)會優(yōu)先考慮生成計(jì)算GPU，而非游戲GPU了。

最近的報(bào)道顯示，英偉達(dá)已經(jīng)增加了計(jì)算級GPU的產(chǎn)量。

沒有面臨來自AMD的RDNA 3產(chǎn)品堆棧的激烈競爭，英特爾也沒有對GPU雙頭壟斷構(gòu)成嚴(yán)重威脅，因此，英偉達(dá)在消費(fèi)側(cè)可以拖延。

最近，Nvidia通過GeForce RTX 4060和GeForce RTX 4060 Ti，將其GeForce RTX 40系列產(chǎn)品堆棧又?jǐn)U大了。

GeForce RTX 4050以及頂部的RTX 4080 Ti或GeForce RTX 4090 Ti等，都有潛力。

如果迫不得已，英偉達(dá)還可以從舊的Turing版本中拿出一個(gè)產(chǎn)品，更新Ada Lovelace，給它封個(gè)「Super」待遇，進(jìn)一步擴(kuò)展Ada陣容。

最后，Zhiye Liu表示，至少今年或明年，Lovelace架構(gòu)不會真正更新。