但若CPU雙雄能夠用好自己手中的渠道網(wǎng)絡(luò)，勝負(fù)仍在未定之天。

在瘋狂發(fā)掘生成式AI潛能的過程當(dāng)中，英偉達(dá)仍是一馬當(dāng)先的頭號玩家，僅今年第二季度的收入就較去年同期增長了一倍還多。為了確保這一領(lǐng)先地位，這位GPU巨頭顯然打算繼續(xù)加快新款加速器的開發(fā)速度。

對于過去幾代產(chǎn)品而言，兩年一更新的速度足以保持競爭優(yōu)勢。但根據(jù)本月早些時(shí)候投資者們看到的演示文稿，英偉達(dá)手中除了B100這張王牌，還有將Arm核心與Blackwell架構(gòu)匹配打造的全新“超級芯片”，外加L40及L40S的迭代產(chǎn)品。

這倒也不令人意外，畢竟整個(gè)行業(yè)都期待著英偉達(dá)能在2024年年內(nèi)公布下一代架構(gòu)及B100的各個(gè)型號。

可接下來的情況還是出乎所有人的預(yù)料。

根據(jù)本月發(fā)布的投資者演示文稿，英偉達(dá)計(jì)劃將新品發(fā)布節(jié)奏從兩年調(diào)整為一年。

從資料來看，英偉達(dá)即將轉(zhuǎn)向一年發(fā)布一次的新節(jié)奏。具體來講，基于Blackwell的B100及相關(guān)型號將于2025年替換為“X100”系列。這里我們姑且認(rèn)為“X”只是個(gè)占位符，黃仁勛可能仍在考慮具體要用哪位數(shù)學(xué)家、計(jì)算機(jī)科學(xué)家或者工程師來命名新架構(gòu)。但重點(diǎn)在于：英偉達(dá)打算加快新GPU的迭代速度。

攻勢加快之下，英特爾與AMD該如何自處？

這種轉(zhuǎn)變無疑給AMD和英特爾等廠商帶來了潛在挑戰(zhàn)，畢竟他們的GPU和AI加速器發(fā)布周期仍然是兩年。

例如，AMD在英偉達(dá)A100推出的約一年之后發(fā)布了Instinct MI200系列加速器，聲稱除了英偉達(dá)的稀疏性支持優(yōu)勢之外，Instinct MI200的雙精度性能其實(shí)更強(qiáng)、FP16 FLOPS則基本相當(dāng)。

與A100相比，Instinct MI200讓AMD在高性能計(jì)算應(yīng)用方面獲得了明顯優(yōu)勢，也因此成為歐洲Lumi及美國能源部Frontier超級計(jì)算機(jī)等大型系統(tǒng)中的核心組成部件。

如今，隨著市場對于生成式AI的需求不斷增長，AMD希望針對較低精度工作負(fù)載進(jìn)行進(jìn)一步調(diào)整，借此在GPU和APU兩條戰(zhàn)線上挑戰(zhàn)英偉達(dá)的AI主導(dǎo)地位。但是，如果技術(shù)媒體The Next Platform匯總的MI300A/X性能評估結(jié)果屬實(shí)，那么AMD的最新芯片最終可無法在FLOPS上與H100直接競爭，只是在內(nèi)存容量上略勝一籌。具體來講，該芯片預(yù)計(jì)將提供128 GB至192 GB的HBM3內(nèi)存，相較于H100具有微弱優(yōu)勢。

英特爾在今年9月的Innovation大會上著力宣傳了一波AI計(jì)劃，其處境也與AMD基本相當(dāng)。芯片巨頭此前曾決定加快CPU和GPU的發(fā)布節(jié)奏，但經(jīng)過部門重組和成本削減規(guī)劃之后，最終決定放棄GPU業(yè)務(wù)。

這一決定直接導(dǎo)致XPU CPU-GPU架構(gòu)和Rialto Bridge胎死腹中。順帶一提，Rialto Bridge原本作為阿貢國家實(shí)驗(yàn)室Aurora超級計(jì)算機(jī)所采用的Ponte Vecchio加速器的后續(xù)產(chǎn)品。隨后，英特爾公司又重新將Falcon Shores設(shè)計(jì)的發(fā)布時(shí)間從2024年推遲至2025年，理由是此舉“符合客戶對新產(chǎn)品的發(fā)布期望，并為開發(fā)生態(tài)系統(tǒng)留出時(shí)間”。

后面這條消息非常有趣，這意味著英特爾會將其GPU Max和Habana Labs架構(gòu)統(tǒng)一至同一平臺之下。也就是說，此前Gaudi2和GPU Max分屬兩個(gè)產(chǎn)品家族，但從Gaudi3開始將正式合兵一處。

與A100相比，Gaudi2表現(xiàn)出可觀的性能表現(xiàn)。但在其去年推出時(shí)，英偉達(dá)更加強(qiáng)大的H100已經(jīng)發(fā)布，距離正式出貨也只有幾個(gè)月時(shí)間。

Habana的下一代加速器Gaudi3看起來倒是很有前途，但它不僅需要超越H100和AMD MI300等同類競品，還得跟即將推出的英偉達(dá)B100加速器相抗衡。

SemiAnalysis創(chuàng)始人Dylan Patel是最早意識到這個(gè)問題的觀察者之一。這倒不是說MI300或者Gaudi3甫一面世就已過時(shí)，但從加速技術(shù)的發(fā)展路線圖來看，它們的機(jī)會窗口恐怕會比過去短得多。

在他看來，“在特定的窗口期內(nèi)，MI300仍會是市場上最好的芯片?！彼€補(bǔ)充道，雖然我們對英特爾Gaudi3所知甚少，但如果繼續(xù)保持以往的擴(kuò)展速度，那它應(yīng)該會比英偉達(dá)H100更強(qiáng)大。

從長遠(yuǎn)來看，他預(yù)計(jì)英特爾和AMD將不得不跟上英偉達(dá)的節(jié)奏，加快自己的CPU和加速器開發(fā)路線圖。

正如我們之前所指出，即使英特爾和AMD的下一代加速器無法擊敗英偉達(dá)，它們最終也仍有望憑借更成熟的渠道網(wǎng)絡(luò)獲得市場認(rèn)可。據(jù)報(bào)道，英偉達(dá)的H100受到臺積電先進(jìn)封裝技術(shù)的限制，這種產(chǎn)能短缺預(yù)計(jì)要到2024年才能得到解決。雖然AMD的MI300系列產(chǎn)品可能也會遇到類似的挑戰(zhàn)（其同樣采用這些先進(jìn)的封裝技術(shù)），但英特爾自身也擁有封裝能力，只是還沒有明確公示Gaudi3是否會使用這項(xiàng)技術(shù)，或者打算繼續(xù)像英偉達(dá)和AMD那樣依賴外部代工服務(wù)。

加快腳步的不只有加速器

更值得注意的是，英偉達(dá)加快的并不僅僅是加速器產(chǎn)品的發(fā)布節(jié)奏，同時(shí)也加快了Quantum Infiniband和Spectrum以太網(wǎng)交換產(chǎn)品組合的開發(fā)速度。

雖然單個(gè)GPU也能承載，但AI訓(xùn)練和HPC應(yīng)用程序往往需要在大型加速器集群上才能高效運(yùn)行，因此網(wǎng)絡(luò)功能也必須緊緊跟上其發(fā)展步伐。

隨著2020年收購長期合作伙伴Mellanox，英偉達(dá)目前也掌握了自己的網(wǎng)絡(luò)技術(shù)棧，包括Mellanox的交換與網(wǎng)卡產(chǎn)品組合。

目前，英偉達(dá)最快的交換機(jī)Infiniband最高可達(dá)25.6 Tbps，以太網(wǎng)最高則可達(dá)51.2 Tbps。這些帶寬被分配給多個(gè)200至400 Gbps端口。但在新的發(fā)布節(jié)奏之下，英偉達(dá)的目標(biāo)是在2024年將端口速度提高至800 Gbps，在2025年將端口速度提高至1600 Gbps。

這不僅需要通過更強(qiáng)大的交換機(jī)芯片將帶寬提供至51.2至102.4 Tbps區(qū)間，還需要更快的200 Gbps串行器/解串器（SerDes）以支持1600 Gbps QSFP-DD模塊。

實(shí)現(xiàn)這種網(wǎng)絡(luò)性能的必要技術(shù)已經(jīng)存在，博通就演示了其200 Gbps SerDes。但我們還沒有在英偉達(dá)的宣傳內(nèi)容中看到它的身影。Patel指出，理想情況下，英偉達(dá)必須得依靠Infiniband和以太網(wǎng)達(dá)到102.4 Tbps傳輸帶寬，才能真正實(shí)現(xiàn)800 Gbps網(wǎng)卡。

PCIe的問題

這恐怕就是英偉達(dá)總體規(guī)劃中的最大軟肋，或者說技術(shù)難關(guān)。受到PCIe的限制，使用現(xiàn)有網(wǎng)卡恐怕無法及時(shí)提供如此恐怖的傳輸速率。目前，網(wǎng)卡的實(shí)際限制是單個(gè)端口400 Gbps。PCIe 6.0倒是有希望實(shí)現(xiàn)800 Gbps，但要想讓1600 Gbps這個(gè)恐怖的數(shù)字成為現(xiàn)實(shí)，我們恐怕需要的是PCIe 7.0。

我們已經(jīng)知道，英特爾的下一代至強(qiáng)在2024年推出時(shí)將不支持PCIe 6.0；至于 AMD即將推出的Turing Epycs，我們掌握的情報(bào)還不充分，無法判斷其是否支持PCIe 6.0。但樂觀的一面是，AMD在過去幾代產(chǎn)品中對PCIe新標(biāo)準(zhǔn)的支持一直領(lǐng)先于英特爾。

然而，x86也并不是英偉達(dá)的唯一選擇。該公司現(xiàn)在已經(jīng)擁有自己基于Arm的CPU。因此，英偉達(dá)可能計(jì)劃在Grace的后繼產(chǎn)品上支持PCIe 6.0。Arm處理器曾經(jīng)是首批在2022年初添加PCIe 5.0支持的處理器之一，所以我們同樣有理由相信類似的情況未來會再發(fā)生一次。

考慮到這個(gè)問題，Patel預(yù)計(jì)B100實(shí)際上將分為兩個(gè)版本。其一將采用PCIe 5.0，并具有與H100相同的700瓦熱設(shè)計(jì)功率（TDP），這樣客戶就能將新的HGX主板直接接入現(xiàn)有機(jī)箱設(shè)計(jì)當(dāng)中。在他看來，第二個(gè)版本將擁有更高的功率、需要配合水冷設(shè)計(jì)，并能夠支持PCIe 6.0。

但對于英偉達(dá)打算在2025年實(shí)現(xiàn)的1600 Gbps端口傳輸帶寬，首選答案恐怕將是PCIe 7.0，但此項(xiàng)技術(shù)還未最終確定。Patel表示，“根據(jù)標(biāo)準(zhǔn)機(jī)構(gòu)透露的消息，搭載PCIe 7.0的產(chǎn)品最早也要到2026年才能落地。所以英偉達(dá)提出的這個(gè)時(shí)間表根本無法實(shí)現(xiàn)。”

而另一個(gè)選項(xiàng)則是繞過PCIe總線。正如Patel指出，英偉達(dá)其實(shí)并不需要在GPU和CPU之間實(shí)現(xiàn)PCIe 6.0或PCIe 7.0級別的帶寬，保證網(wǎng)卡和GPU間有此帶寬就足夠了。因此，他預(yù)計(jì)英偉達(dá)稻有可能會直接繞過CPU這個(gè)傳輸瓶頸。

事實(shí)上，英偉達(dá)已經(jīng)在某種程度上做到了這一點(diǎn)。在最近幾代產(chǎn)品中，英偉達(dá)通過使用PCIe交換機(jī)有效將GPU與ConnectX網(wǎng)卡連接了起來。Patel表示，英偉達(dá)可能會進(jìn)一步擴(kuò)展這種方法，從而實(shí)現(xiàn)比單個(gè)PCIe 5.0或PCIe 6.0 x16插槽更高的端口傳輸速度。

他表示，對于X100這代產(chǎn)品，有傳聞稱英偉達(dá)可能會在2025年放棄用PCIe在X100的網(wǎng)卡和GPU間進(jìn)行通信，轉(zhuǎn)而采用其他專有互連技術(shù)。

說到這里，一直關(guān)注英偉達(dá)AI技術(shù)發(fā)展的朋友可能會好奇，這家芯片制造商手中的超高帶寬NVLinks結(jié)構(gòu)為什么不趕緊頂上。此項(xiàng)技術(shù)主要用于將多個(gè)GPU網(wǎng)格連接起來，使其在實(shí)效層面成為一個(gè)大型GPU。通過添加NVLink交換機(jī)，跨多節(jié)點(diǎn)擴(kuò)展應(yīng)該不是什么難事。

然而，NVLink也存在一些重大局限，特別是在覆蓋范圍和可擴(kuò)展性方面。雖然NVLink比之前提到的方案都快得多，但最多只能支持256個(gè)設(shè)備。要擴(kuò)展到此范圍之外，就只能使用Infiniband或以太網(wǎng)將各個(gè)集群拼接在一起。

NVLink網(wǎng)格還只適用于GPU到GPU間的通信，而無法處理GPU系統(tǒng)上的數(shù)據(jù)傳入/傳出和工作負(fù)載協(xié)調(diào)需求。

因此，英偉達(dá)能否成功加快產(chǎn)品迭代速度，將在很大程度上取決于網(wǎng)絡(luò)傳輸速度跟不跟得上。如果不行，那么傳輸阻塞將大拖后腿、芯片性能升級也將無從談起。