AMD AI芯片被曝軟件有大量bug、無法開箱即用!難成英偉達(dá)平替！ 原創(chuàng)
編輯 | 伊風(fēng)
出品 | 51CTO技術(shù)棧（微信號：blog51cto）
AMD的旗艦AI GPU加速器，被曝軟件存在大量bug，幾乎無法用于訓(xùn)練AI模型？！
這事挺讓人意外的，因為它可是AMD用來阻擊霸主英偉達(dá)的一張王牌。
去年12月，AMD在自家的“Advancing AI”活動中，首次宣布推出了MI300X，其性能比英偉達(dá)的 H100 足足高出 60%！
圖片
一年過去了，已經(jīng)投產(chǎn)的AMD MI300X是否真有當(dāng)時宣傳的那么強勁？
技術(shù)分析公司SemiAnalysis發(fā)了一份真實、詳盡的報告，感覺太打臉了……他們對 @NVIDIA H100/H200 GPU 和 @AMD MI300X 的性能進(jìn)行了比較，揭開了發(fā)布會數(shù)據(jù)與現(xiàn)實的殘忍鴻溝！
這份報告有多真實呢？報告中一點拐彎抹角也沒有，直接說：AMD 的軟件體驗充滿了 bug，使得 MI300X 的開箱即用訓(xùn)練幾乎不可能。
報告中還給了個細(xì)節(jié)：這份歷時五個月的調(diào)查報告，本來計劃幾個月前就發(fā)布——但都被AMD的軟件bug給生生耽誤了！
報告團(tuán)隊直接聯(lián)系了 AMD技術(shù)人員一起debug！
“為了讓 MI300X 的表現(xiàn)不因軟件棧的 bug 而受限，我們花費了大量時間定位和修復(fù) AMD 軟件的 bug，而非僅僅展示開箱性能問題?！?/p>
報告中提到：我們與 AMD 的反復(fù)互動旨在確保我們的測試能夠客觀地評估實際用戶可能遇到的體驗。
這個體驗差不說。主要問題是，不是所有用戶都有機會聯(lián)系上AMD副總裁解決這些bug吧……
看來，英偉達(dá)的“CUDA護(hù)城河”依然穩(wěn)穩(wěn)的很安心。
MI300X暫時無法匹敵對手的芯片，報告說，AMD的改進(jìn)仍有許多的工作要做，”如果軟件沒有實質(zhì)性的改進(jìn)，AMD可能會進(jìn)一步落后，尤其是在Nvidia即將推出下一代Blackwell芯片的情況下?！?/p>
那么AMD的MI300X關(guān)鍵問題有哪些？我們梳理了這份報告的Key Findings ，然后看看已經(jīng)囤了AMD卡的該如何“補救”一下。
一、“如果不是AMD工程師幫助，其效能會遠(yuǎn)低于Nvidia”
SemiAnalysis團(tuán)隊透露，他們和蘇姿豐會面談了1.5個小時，并向蘇媽給了很多的建議。
蘇媽承認(rèn) AMD 軟件棧中存在缺陷。并且也大方回復(fù)，表示聽勸。
圖片
我們詳細(xì)看看報告中AMD MI300X 問題的部分：
- 僅從理論上的FLOP/s和HBM帶寬/容量進(jìn)行比較，就像僅憑相機的像素數(shù)來評估相機性能一樣。真正判斷性能的唯一方法是運行實際的基準(zhǔn)測試。
- Nvidia的“開箱即用”性能和用戶體驗非常出色，我們在基準(zhǔn)測試中沒有遇到任何Nvidia特有的Bug。Nvidia僅安排了一名工程師為我們提供技術(shù)支持，但由于我們沒有遇到Nvidia軟件問題，因此幾乎不需要額外支持。
- 相比之下，AMD的“開箱即用”體驗非常難以使用，需要相當(dāng)?shù)哪托暮团Σ拍苓_(dá)到可用狀態(tài)。在我們的大部分基準(zhǔn)測試中，AMD PyTorch公共穩(wěn)定版本仍然存在問題，需要通過各種變通方法來解決。
- 如果沒有AMD多支工程師團(tuán)隊的支持來排查和修復(fù)我們遇到的軟件問題，AMD的結(jié)果會遠(yuǎn)低于Nvidia的水平。
- 我們與Sustainable Metal Cloud合作，在256塊Nvidia H100上運行了非官方的MLPerf訓(xùn)練GPT-3 175B模型，以測試不同VBoost設(shè)置的效果。
- 對于AMD而言，其公開穩(wěn)定版本軟件的實際性能遠(yuǎn)遠(yuǎn)低于其宣傳的理論TFLOP/s。Nvidia的實際性能同樣低于宣傳的理論TFLOP/s，但差距沒有AMD那么大。
- 雖然MI300X的總體擁有成本（TCO）比H100/H200更低，但基于AMD公開穩(wěn)定版本軟件的訓(xùn)練性能在TCO維度上的表現(xiàn)更差。不過，如果使用AMD軟件的定制開發(fā)版本，情況會有所改變。
- 在訓(xùn)練性能上，MI300X在矩陣乘法微基準(zhǔn)測試中的表現(xiàn)較弱，基于AMD公共版本軟件的單節(jié)點訓(xùn)練吞吐量仍然落后于Nvidia的H100和H200。
- MI300X的性能受限于AMD的軟件。雖然MI300X在BF16開發(fā)分支上的性能有所改善，但這些改進(jìn)尚未合并到AMD內(nèi)部代碼庫的主分支中，也沒有進(jìn)入PyTorch穩(wěn)定版本。在這些改進(jìn)被合并并發(fā)布之前，Nvidia的下一代Blackwell可能已經(jīng)上市了。
- AMD的訓(xùn)練性能還受到MI300X擴(kuò)展性能較弱的限制。這是由于其ROCm計算通信庫（RCCL）的弱點，以及與Nvidia相比，AMD在網(wǎng)絡(luò)和交換硬件的垂直整合程度較低。而Nvidia通過其Nvidia集體通信庫（NCCL）、InfiniBand/Spectrum-X網(wǎng)絡(luò)結(jié)構(gòu)和交換機實現(xiàn)了高度的整合。
- AMD的許多AI庫是Nvidia AI庫的分支版本，這導(dǎo)致了次優(yōu)的結(jié)果和兼容性問題。
- AMD的客戶通常僅在推理時使用手工優(yōu)化的內(nèi)核，這意味著其性能僅限于非常狹窄且定義明確的用例，而在快速變化的工作負(fù)載下缺乏靈活性。
需要查看完整報告的朋友，地址在這里↓：
?? https://semianalysis.com/2024/12/22/mi300x-vs-h100-vs-h200-benchmark-part-1-training/??
二、機器學(xué)習(xí)編譯技術(shù)，讓AMD變得更“好用”
雖然AMD GPU的軟件棧有硬傷，但也不是完全無解的。
Hacker News上熱議的一篇技術(shù)博客，講解了他們?nèi)绾问褂脵C器學(xué)習(xí)編譯技術(shù)，讓AMD能和NVIDIA的卡掰掰手腕。
通過機器學(xué)習(xí)編譯（MLC）技術(shù)，在性能優(yōu)化和自動化配置上解決了AMD GPU在軟件層面的主要缺陷。
最終實現(xiàn)的效果：能在AMD GPU 上使用 ROCm 部署 LLM ，而且性能極具競爭力！
通過他們的 MLC-LLM 項目，AMD Radeon RX 7900 XTX 的推理性能已經(jīng)接近 NVIDIA RTX 3090 Ti 的 94%，并達(dá)到 RTX 4090 的 80%。
圖片
通過機器編譯技術(shù)，復(fù)雜的手動優(yōu)化工作實現(xiàn)了自動化。巧妙解決了AMD用戶手動設(shè)置大量環(huán)境變量（如幾十個）來優(yōu)化性能的痛點。
MLC-LLM 項目做到這些的核心原理有三：
- 自動生成最優(yōu)計算路徑
- 替代手動調(diào)參，提升易用性
- 高效利用硬件特性
關(guān)于具體實現(xiàn)方法，請?zhí)D(zhuǎn)該博客進(jìn)行閱讀：
?? https://blog.mlc.ai/2023/08/09/Making-AMD-GPUs-competitive-for-LLM-inference??
三、寫在最后：英偉達(dá)的領(lǐng)先態(tài)勢還將繼續(xù)
這篇技術(shù)報告揭露的問題，讓我們看到了發(fā)布會和現(xiàn)實的差距。
一位前NVIDIA的技術(shù)人員說，“除了實驗性硬件規(guī)格之外，還有許多事情要做”。
圖片
Nvidia的CUDA生態(tài)已然是修好的高速公路，一路暢通；而AMD的生態(tài)目前仍像是一條坑坑洼洼的鄉(xiāng)村小路——開發(fā)者需要花很多時間修路。
AMD的消費級 GPU 基于 RDNA 架構(gòu)，而數(shù)據(jù)中心級 GPU 基于 CDNA 架構(gòu)，預(yù)計到 2026 年， AMD 才會發(fā)布統(tǒng)一的 UDNA 架構(gòu)。
圖片
在AMD修路的時候，英偉達(dá)的工程師還在加班加點，通過新功能、新庫和性能更新來加深護(hù)城河。
在如此深的護(hù)城河下，沒有英偉達(dá)的平替。
?本文轉(zhuǎn)載自??51CTO技術(shù)棧??，作者：伊風(fēng)
