AMD放大了！

在周二的發(fā)布會(huì)上，蘇媽直接宣布了最新的一款A(yù)I芯片——GPU MI300X，直接叫板英偉達(dá)。

AMD本周二表示，將于今年晚些時(shí)候開始向部分客戶發(fā)貨。

要知道，Nvidia目前在AI芯片市場(chǎng)中牢牢占據(jù)著主導(dǎo)地位。

MI300X

AMD公司的CEO蘇媽Lisa Su周二在舊金山發(fā)布了一款芯片——GPU MI300X。

據(jù)悉，這是該公司AI計(jì)算戰(zhàn)略的核心。

它能為生成性AI（LLM）提供巨大的內(nèi)存和數(shù)據(jù)吞吐量。

Instinct MI300X是之前發(fā)布的MI300A的后續(xù)產(chǎn)品。該芯片實(shí)際上是多個(gè)小芯片的組合，這些獨(dú)立的芯片通過共享內(nèi)存和網(wǎng)絡(luò)鏈接被連接到一個(gè)單一的封裝中。

蘇媽將這款芯片稱為生成式AI加速器，其中包含的GPU芯片是專門為AI和HPC（高性能計(jì)算）量身打造的。

MI300X是該產(chǎn)品的「純GPU」版本。MI300A是三個(gè)Zen4 CPU芯片與多個(gè)GPU芯片的組合。

但在MI300X中，CPU被換成了兩個(gè)額外的CDNA 3芯片組。

此外，MI300X將晶體管數(shù)量從1460億個(gè)增加到1530億個(gè)，共享DRAM內(nèi)存從MI300A的128千兆字節(jié)提升到了192千兆字節(jié)，內(nèi)存帶寬從每秒800千兆字節(jié)提升到了每秒5.2兆字節(jié)。

蘇媽在演講中反復(fù)多次強(qiáng)調(diào)了這款芯片所具有的非常、非常重要的戰(zhàn)略意義。

「因?yàn)樗軌蚧旌虾推ヅ洳煌N類的計(jì)算，替換CPU或GPU。」

蘇馬表示，MI300X將提供2.4倍于Nvidia H100 Hopper GPU的內(nèi)存密度，以及1.6倍的內(nèi)存帶寬。

生成式AI以及LLM的格局已經(jīng)改變，對(duì)更多計(jì)算的需求正以指數(shù)的形式增長(zhǎng)，無論是訓(xùn)練模型還是進(jìn)行推理。

為了證明對(duì)強(qiáng)大計(jì)算的需求，蘇媽展示了在目前最流行的LLM上工作的部分，即開源的Falcon-40B。

語言模型需要更多的計(jì)算，因?yàn)樗鼈兪怯迷絹碓蕉嗟乃^的神經(jīng)網(wǎng)絡(luò)參數(shù)建立的。

她表示，MI300X是AMD第一款功能強(qiáng)大的芯片，可以流暢地在內(nèi)存中運(yùn)行大規(guī)模的神經(jīng)網(wǎng)絡(luò)，而不是必須在外部?jī)?nèi)存中來回移動(dòng)數(shù)據(jù)。

蘇媽現(xiàn)場(chǎng)演示了MI300X使用Falcon-40B創(chuàng)建了一首有關(guān)舊金山的詩篇。

蘇媽表示，「一個(gè)MI300X芯片可以在內(nèi)存中運(yùn)行高達(dá)約800億個(gè)參數(shù)的模型。」

「當(dāng)你將MI300X與競(jìng)爭(zhēng)對(duì)手進(jìn)行比較時(shí)，你就能發(fā)現(xiàn)，MI300X提供了2.4倍的內(nèi)存，和1.6倍的內(nèi)存帶寬，有了所有這些額外的內(nèi)存容量，我們實(shí)際上對(duì)LLM是有巨大優(yōu)勢(shì)的，因?yàn)槲覀兛梢灾苯釉趦?nèi)存中運(yùn)行更大的模型?！?/span>

這意味著，對(duì)于最大的模型，AMD減少了所需要的GPU數(shù)量，大大加快了性能，特別是推理的速度，同時(shí)也降低了總成本。

蘇媽在演講中毫不掩飾對(duì)這款芯片的喜愛。

AMD Instinct

為了與Nvidia的DGX系統(tǒng)競(jìng)爭(zhēng)，蘇媽發(fā)布了一個(gè)人工智能計(jì)算機(jī)系列，即AMD Instinct平臺(tái)。

這個(gè)平臺(tái)集成了8個(gè)MI300X，可提供1.5TB的HBM3內(nèi)存。

蘇媽表示，對(duì)于客戶來說，他們可以在一個(gè)行業(yè)標(biāo)準(zhǔn)的平臺(tái)上使用所有這些AI計(jì)算能力的內(nèi)存，直接放入他們現(xiàn)有的設(shè)施。

與MI300X不同的是，現(xiàn)有的MI300A只是一個(gè)GPU，它的對(duì)手是Nvidia的Grace Hopper組合芯片，它使用Nvidia的Grace CPU和它的Hopper GPU。

Su指出，MI300A正被內(nèi)置到能源部的勞倫斯-利弗莫爾國家實(shí)驗(yàn)室在建的El Capitan超算中。

MI300A目前正作為樣品展示給AMD客戶，MI300X將在今年第三季度開始向客戶提供樣品。

蘇媽表示，兩者都將在第四季度進(jìn)行批量生產(chǎn)。

和HuggingFace合作

同時(shí)，HuggingFace也在今天宣布，AMD已經(jīng)正式加入其硬件合作伙伴計(jì)劃。

HuggingFace的CEO Clement Delangue在舊金山舉行的AMD數(shù)據(jù)中心和人工智能技術(shù)首發(fā)式上發(fā)表了主題演講，以啟動(dòng)這一令人興奮的新合作。

AMD和Hugging Face合作，意味著將在AMD的CPU和GPU上提供SOTA級(jí)別的transformer性能。

該合作對(duì)整個(gè)Hugging Face社區(qū)來說都是個(gè)好消息，他們將很快從最新的AMD平臺(tái)的訓(xùn)練和推理中受益。

在GPU方面，AMD和Hugging Face將首先在企業(yè)級(jí)Instinct MI2xx和MI3xx系列上合作，然后在客戶級(jí)Radeon Navi3x系列上合作。

在最初的測(cè)試中，AMD最近報(bào)告，MI250訓(xùn)練BERT-Large的速度比其競(jìng)爭(zhēng)對(duì)手快1.2倍，訓(xùn)練GPT2-Large快1.4倍。

在CPU方面，兩家公司將致力于為客戶端Ryzen和服務(wù)器EPYC CPU優(yōu)化推理。

最后，他們的合作將包括性能強(qiáng)大的Alveo V70 AI加速器。

HuggingFace計(jì)劃支持最先進(jìn)的自然語言處理、計(jì)算機(jī)視覺和語音的轉(zhuǎn)化器架構(gòu)，如BERT、DistilBERT、ROBERTA、Vision Transformer、CLIP和Wav2Vec2。

當(dāng)然，生成式AI模型也將可用（例如，GPT2、GPT-NeoX、T5、OPT、LLaMA），包括HuggingFace自己的BLOOM和StarCoder模型。

最后，HuggingFace還將支持更多傳統(tǒng)的計(jì)算機(jī)視覺模型，如ResNet和ResNext，以及深度學(xué)習(xí)推薦模型，這對(duì)HuggingFace來說還是頭一次。

未來，合作的重點(diǎn)將放在確保對(duì)HuggingFace社區(qū)最重要的模型能在AMD的平臺(tái)上開箱即用。

HuggingFace將與AMD工程團(tuán)隊(duì)密切合作，優(yōu)化關(guān)鍵模型，以提供最佳性能，這得益于最新的AMD硬件和軟件功能。

HuggingFace將把AMD的ROCm SDK無縫集成到HuggingFace的開源庫中，首先是transformer庫。

參考資料：

https://www.cnbc.com/2023/06/13/amd-reveals-new-ai-chip-to-challenge-nvidias-dominance.html

https://huggingface.co/blog/huggingface-and-amd