登上了Nature的「超人」芯片設(shè)計系統(tǒng)AlphaChip，卻多次遭到質(zhì)疑。

而且不是簡單說說而已，做實驗、寫論文，還有一篇作為invited paper發(fā)在ISPD 2023。

AlphaFold都拿諾獎了，AlphaChip還擱這辟謠呢？

怎么辦？谷歌首席科學(xué)家Jeff Dean表示：我也寫篇論文！

圖片

EDA社區(qū)一直對我們的AlphaChip方法是否像Nature論文中聲稱的那樣有效持懷疑態(tài)度。annadgoldie、Azaliamirh和我寫了個論文，來回應(yīng)這些問題：

圖片

論文地址：https://arxiv.org/pdf/2411.10053

Jeff Dean認(rèn)為，這種毫無根據(jù)的懷疑，在很大程度上是由下面這篇文章（「一篇存在嚴(yán)重缺陷的未經(jīng)同行評審的論文」）導(dǎo)致的：

圖片

論文地址：https://arxiv.org/pdf/2302.11014

該論文聲稱復(fù)制了我們的方法，但未能在主要方面遵循：

作者沒有進行預(yù)訓(xùn)練（盡管在我們的Nature文章中提到了37次預(yù)訓(xùn)練 ），剝奪了基于學(xué)習(xí)的方法從其他芯片設(shè)計中學(xué)習(xí)的能力；

減少了20倍的計算量，并且沒有進行收斂訓(xùn)練。

這就像評估一個以前從未見過圍棋的AlphaGo，然后得出結(jié)論，AlphaGo不太擅長圍棋。

Jeff Dean等人還回應(yīng)了Igor Markov（Synopsys的杰出架構(gòu)師）在 CACM 2024年11月刊上發(fā)表的分析文章。

圖片

論文地址：https://cacm.acm.org/research/reevaluating-googles-reinforcement-learning-for-ic-macro-placement/

圖片

Jeff Dean表示，Markov發(fā)論文時妹說自己是Synopsys的高級員工，——Synopsys是商業(yè)EDA軟件，而AlphaChip是開源的。

Markov的論文分析中還引用了另一篇沒發(fā)表的匿名PDF：

圖片

https://statmodeling.stat.columbia.edu/wp-content/uploads/2022/05/MLcontra.pdf

這實際上也是Markov寫的。

Markov的文章提出了隱晦的指控，所有這些都是完全沒有根據(jù)的，而且已經(jīng)被Nature證明過了。

我很驚訝Synopsys想與此扯上關(guān)系，我很驚訝CACMmag認(rèn)為有必要在沒有證據(jù)的情況下發(fā)表這類指控，

除了兩篇有缺陷的、未經(jīng)同行評審的文章之外，沒有任何技術(shù)數(shù)據(jù)。

谷歌的回擊

話說在arxiv上吃瓜，小編還是第一次。

在Introduction部分，谷歌拉了個時間表：

2020年4月：發(fā)布Nature論文的arXiv預(yù)印本。

2020年8月：TPU v5e中流片了10個AlphaChip布局。

2021年6月：發(fā)表了Nature文章。

2021年9月：在TPU v5p中流片了15個AlphaChip布局。

2022年1月 - 2022年7月：開源了AlphaChip，Google的另一個團隊獨立復(fù)制了Nature論文中的結(jié)果。

2022年2月：谷歌內(nèi)部獨立委員會拒絕發(fā)表Markov等人的觀點，因為數(shù)據(jù)不支持其主張和結(jié)論。

2022年10月：在Trillium（最新的公共TPU）中流片了25個AlphaChip布局。

2023年2月：Cheng等人在arXiv上發(fā)帖，聲稱對我們的方法進行了「大規(guī)模重新實現(xiàn)」。

2023年6月：Markov發(fā)布了他的「meta-analysis」。

2023年9月：Nature啟動了第二次同行評審。

2024年3月：Google Axion處理器（基于ARM的CPU）采用了7個AlphaChip布局。

2024年4月：Nature完成了調(diào)查和出版后審查，發(fā)現(xiàn)完全對我們有利。

2024年9月：MediaTek高級副總裁宣布擴展AlphaChip以加速其最先進芯片的開發(fā)。

2024年11月：Markov重新發(fā)表了他的「meta-analysis」。

簡單來說，我AlphaChip已經(jīng)在自家服役這么長時間了，聯(lián)發(fā)科也用了，Nature也調(diào)查過了，無懈可擊。

圖片

而且作為不同的部門，TPU團隊需要足夠的信任才會使用AlphaChip（優(yōu)于人類專家、高效且可靠），他們不能承擔(dān)不必要的風(fēng)險。

對于反方的Markov，論文評價道：「Markov的大部分批評都是這種形式：在他看來，我們的方法不應(yīng)該奏效，因此它一定不起作用，任何表明相反的證據(jù)都是欺詐?！?/span>

說到欺詐這件事，正反方都談到了內(nèi)部舉報人（whistle-

blower），在Markov的文章中是這樣記載的：

論文的兩位主要作者抱怨他們的研究中不斷出現(xiàn)欺詐指控。2022 年，谷歌解雇了內(nèi)部舉報人，并拒絕批準(zhǔn)出版谷歌研究人員撰寫的一篇批評Mirhoseini等人的論文，舉報人起訴谷歌不當(dāng)解雇（根據(jù)加州舉報人保護法）。

而本文表示：這位舉報人向谷歌調(diào)查員承認(rèn)，他懷疑這項研究是欺詐性的，但沒有證據(jù)。

對錯誤論文的逐條回應(yīng)

沒有預(yù)先訓(xùn)練RL方法

與以前的方法不同，AlphaChip是一種基于學(xué)習(xí)的方法，這意味著它會隨著解決更多的芯片放置問題而變得更好、更快。

這是通過預(yù)訓(xùn)練實現(xiàn)的，如下圖2所示，訓(xùn)練數(shù)據(jù)集越大，放置新區(qū)塊的方法就越好。

相反，Cheng等人根本沒有進行預(yù)訓(xùn)練（沒有訓(xùn)練數(shù)據(jù)），這意味著模型以前從未見過芯片，必須學(xué)習(xí)如何從頭開始為每個測試用例執(zhí)行布局。

作者在Nature論文中詳細討論了預(yù)訓(xùn)練的重要性，并實證證明了它的影響。例如下圖3表明，預(yù)訓(xùn)練可以提高放置質(zhì)量和收斂速度。

在開源的Ariane RISC-V CPU上，非預(yù)訓(xùn)練的RL需要48小時，才能接近預(yù)先訓(xùn)練模型在6小時內(nèi)可以產(chǎn)生的值。

在Nature論文中，作者針對主數(shù)據(jù)表中的結(jié)果進行了48小時的預(yù)訓(xùn)練，而Cheng等人預(yù)訓(xùn)練了 0 小時。

「Cheng試圖通過暗示我們的開源存儲庫不支持預(yù)訓(xùn)練，來為他們?nèi)狈︻A(yù)訓(xùn)練找借口，但這是不正確的，預(yù)訓(xùn)練就是在多個樣本上運行方法?！?/span>

使用的計算資源減少了一個數(shù)量級

在Cheng等人的論文中，RL方法提供的RL體驗收集器減少了20倍（26個對比512個），GPU數(shù)量減少了一半（8個對比16個）。

使用較少的計算可能會損害性能，或者需要運行相當(dāng)長的時間才能實現(xiàn)相同的性能。

如下圖4所示，在大量GPU上進行訓(xùn)練可以加快收斂速度并產(chǎn)生更好的最終質(zhì)量。

RL方法未訓(xùn)練到收斂

隨著機器學(xué)習(xí)模型的訓(xùn)練，損失通常會減少，然后趨于平穩(wěn)，這代表「收斂」——模型已經(jīng)了解了它正在執(zhí)行的任務(wù)。

眾所周知，訓(xùn)練到收斂是機器學(xué)習(xí)的標(biāo)準(zhǔn)做法。

但如下圖所示，Cheng等人沒有為任何一個進行收斂訓(xùn)練，

圖片

下表總結(jié)了詳細信息。除了沒有提供圖的BlackParrotNG45和Ariane-NG45，其他四個具有收斂圖的塊（Ariane-GF12、MemPool-NG45、BlackParrot-GF12 和 MemPool-GF12），訓(xùn)練在相對較低的步數(shù)（分別為 350k、250k、160k 和 250k 步）處截止。

圖片

如果遵循標(biāo)準(zhǔn)的機器學(xué)習(xí)實踐，可能會提高這些測試用例的性能。

不具代表性、不可重現(xiàn)

在Nature論文中，作者報告的張量處理單元（TPU）塊的結(jié)果來自低于7nm的技術(shù)節(jié)點，這是現(xiàn)代芯片的標(biāo)準(zhǔn)制程。

相比之下，Cheng等人采用了舊技術(shù)節(jié)點尺寸45nm和12nm）的結(jié)果，這從物理設(shè)計的角度來看有很大不同。

例如，在低于10nm時，通常使用multiple patterning，導(dǎo)致在較低密度下出現(xiàn)布線擁塞問題。因此，對于較舊的技術(shù)節(jié)點大小，AlphaChip可能會受益于調(diào)整其獎勵函數(shù)的擁塞或密度分量。

AlphaChip的所有工作都是在7nm、5nm和更新的工藝上進行的，作者沒有專注于將其應(yīng)用于舊工藝制程的設(shè)計。

此外，Cheng等人也無法或不愿意分享在其主數(shù)據(jù)表中復(fù)制結(jié)果所需的綜合網(wǎng)表。

參考資料：https://x.com/JeffDean/status/1858540085794451906