在上周發(fā)表于同行評審科學(xué)雜志《自然》中的論文里，Google Brain團(tuán)隊的科學(xué)家們介紹了一種用于布局規(guī)劃的深度強(qiáng)化學(xué)習(xí)技術(shù)，借助AI的力量對計算機(jī)芯片內(nèi)的不同元件進(jìn)行放置協(xié)調(diào)。研究人員們設(shè)法使用強(qiáng)化學(xué)習(xí)技術(shù)設(shè)計出下一代張量處理單元，也就是谷歌引以為傲的專用AI處理器。 

在芯片設(shè)計當(dāng)中使用軟件并非新鮮事物，但谷歌研究人員們介紹道，這種新的強(qiáng)化學(xué)習(xí)模型能夠“自動生成芯片布局圖，其成果在各項關(guān)鍵指標(biāo)（包括功耗、性能與芯片面積等）上都等同甚至優(yōu)于由人類給出的芯片布局方案。”更重要的是，其設(shè)計周期要遠(yuǎn)遠(yuǎn)低于人類工作時長。 

事實上，AI在眾多領(lǐng)域表現(xiàn)出的強(qiáng)于人類的智能水平已經(jīng)得到各方關(guān)注。一家媒體將其描述為“能夠以超越人類的速度設(shè)計出計算機(jī)芯片的AI軟件”，并表示“谷歌的全新AI能夠在6個小時之內(nèi)設(shè)計出一套以往人類工程師需要幾個月才能完成的芯片設(shè)計方案。” 

另一篇報道則認(rèn)為，“AI技術(shù)在AI設(shè)計芯片領(lǐng)域的宏圖遠(yuǎn)景才剛剛拉開帷幕。” 

但在通讀這篇論文之后，真正打動我的并不是這套負(fù)責(zé)設(shè)計計算機(jī)芯片的AI系統(tǒng)的極度復(fù)雜性，而是人類與AI之間和諧而高效的協(xié)同作用。 

類比、直覺與獎勵 

這篇論文將有待解決的問題描述為：“芯片布局規(guī)劃流程，包括將網(wǎng)表放置在芯片畫布（二維網(wǎng)格）之上，優(yōu)化性能指標(biāo)（例如功耗、時序、面積與線長），同時遵循嚴(yán)格的密度限制與路由擁塞約束。” 

基本上，這項任務(wù)的核心就是以最佳方式放置芯片元件。然而，與其他經(jīng)典問題一樣，隨著芯片元件數(shù)量的持續(xù)增加，尋找最佳設(shè)計會變得愈發(fā)困難。 

現(xiàn)有軟件有助于加快芯片排布的發(fā)現(xiàn)速度，但如果目標(biāo)芯片的復(fù)雜度過高，傳統(tǒng)軟件方案明顯無法滿足需求。研究人員決定從強(qiáng)化學(xué)習(xí)解決其他復(fù)雜空間問題的眾多案例中汲取經(jīng)驗，并發(fā)現(xiàn)圍棋AI在這方面似乎頗具潛力。 

研究人員們在論文中寫道，“芯片布局規(guī)劃與圍棋非常相似，也有一個個棋子（例如網(wǎng)表拓?fù)洹⒑暧嫈?shù)、宏尺寸與縱橫比）、棋盤（不同的畫布尺寸與縱橫比）以及獲勝條件（例如密度及路由擁塞限制等不同評估指標(biāo)的相對重要度）。” 

芯片設(shè)計需要用到人類智能中最重要、也最為復(fù)雜的元素之一——類比。我們?nèi)祟惪梢詮囊酝鉀Q的問題中提取抽象經(jīng)驗，并將這些經(jīng)驗應(yīng)用于新的問題。雖然我們這種能力的使用可以說是潛移默化、順暢自然，但其本身極為重要、甚至可以說是遷移學(xué)習(xí)的實現(xiàn)前提。正因為如此，研究人員才能將芯片布局問題重新定義為棋類游戲，并像其他科學(xué)家解決圍棋游戲那樣攻克設(shè)計難題。 

深度強(qiáng)化學(xué)習(xí)模型特別擅長搜索這種巨大空間，而人類大腦的算力水平在物理上根本實現(xiàn)不了這樣的處理。不過科學(xué)家們面臨的芯片設(shè)計難題，在困難度上又比圍棋高了幾個數(shù)量級。研究人員們寫道，“在包含1000個單元格的網(wǎng)格上放置1000個節(jié)點集群時，其狀態(tài)空間達(dá)到千次方數(shù)量級（大于10的2500次方），而圍棋的狀態(tài)空間僅為10的360次方。”而實際需要設(shè)計的芯片，則往往由數(shù)百萬個節(jié)點組成。

最終，他們使用人工神經(jīng)網(wǎng)絡(luò)解決了復(fù)雜性難題。人工神經(jīng)網(wǎng)絡(luò)能夠?qū)⑿酒O(shè)計編碼為向量表達(dá)，并大大降低問題空間的探索難度。根據(jù)論文的解釋，“我們有著這樣一種直覺，即能夠執(zhí)行常規(guī)芯片放置任務(wù)的策略，還應(yīng)該能夠在推理過程中將未見過的全新芯片相關(guān)狀態(tài)編碼為有意義的信號。因此，我們訓(xùn)練出一種能夠預(yù)測新網(wǎng)表位置獎勵的神經(jīng)網(wǎng)絡(luò)架構(gòu)，而最終目標(biāo)是使用這套架構(gòu)作為策略中的編碼器層。” 

很多朋友都覺得“直覺”這東西不太靠譜，但直覺的背后卻涉及一種非常復(fù)雜且鮮為人知的過程，涉及經(jīng)驗、無意識知識、模式識別等等。我們的直覺往往來自在某個領(lǐng)域的多年經(jīng)驗積累，但同時也會從其他專業(yè)中得到啟發(fā)。幸運的是，在高性能計算與機(jī)器學(xué)習(xí)工具的幫助之下，對直覺判斷進(jìn)行測試正變得越來越簡單。 

另外值得注意的是，強(qiáng)化學(xué)習(xí)系統(tǒng)需要精心設(shè)計的獎勵機(jī)制。事實上，有科學(xué)家認(rèn)為只要設(shè)定正確的獎勵函數(shù)，強(qiáng)化學(xué)習(xí)甚至足以達(dá)成人工通用智能（AGI）。而如果沒有正確的獎勵，強(qiáng)化學(xué)習(xí)代理則可能陷入無限循環(huán)，重復(fù)愚蠢而無意義的嘗試。在以下視頻中，可以看到參加賽船冠軍賽的強(qiáng)化學(xué)習(xí)代理一味追求高積分，反而放棄了真正重要的目標(biāo)——贏下比賽。 

谷歌科學(xué)家們決定將布局規(guī)劃系統(tǒng)的獎勵設(shè)計為“代理線長、擁塞度與密度的負(fù)加權(quán)總和。”這里的權(quán)重，屬于強(qiáng)化學(xué)習(xí)模型開發(fā)及訓(xùn)練過程中必須調(diào)整的一項超參數(shù)。 

有了正確的獎勵，強(qiáng)化學(xué)習(xí)模型就能利用其計算能力找到種種方法設(shè)計出能夠?qū)崿F(xiàn)獎勵最大化的平面布局圖。 

策劃數(shù)據(jù)集 

系統(tǒng)中使用的深度神經(jīng)網(wǎng)絡(luò)，則是通過監(jiān)督學(xué)習(xí)開發(fā)完成的。監(jiān)督機(jī)器學(xué)習(xí)需要借助標(biāo)記數(shù)據(jù)在訓(xùn)練期間調(diào)整模型參數(shù)。谷歌科學(xué)家們創(chuàng)建了“一套包含10000個芯片元件放置方案的數(shù)據(jù)集，其中輸入信息與給定放置方式保持相關(guān)狀態(tài)，標(biāo)簽則為該放置方法的獎勵。” 

為了避免手動創(chuàng)建放置平面圖，研究人員在數(shù)據(jù)集中不僅使用人工設(shè)計圖、也加入了不少計算機(jī)生成的數(shù)據(jù)。論文中并沒有詳盡介紹評估訓(xùn)練數(shù)據(jù)集中包含的算法生成示例到底有多少是由人類工程師設(shè)計，但可以肯定的是，如果沒有高質(zhì)量的訓(xùn)練數(shù)據(jù)，監(jiān)督學(xué)習(xí)模型最終只會給出糟糕的推理結(jié)論。 

從這個意義上說，芯片設(shè)計AI系統(tǒng)明顯不同于其他強(qiáng)化學(xué)習(xí)程序——以AlphaZero為例，它能夠在完全無需人為干涉的情況下發(fā)展出強(qiáng)大的圍棋對弈策略。但未來，研究人員可能會開發(fā)出一種新的強(qiáng)化學(xué)習(xí)代理，有望自主設(shè)計平面圖、無需任何監(jiān)督學(xué)習(xí)元素。但我的個人猜測是，考慮到設(shè)計工作的高度復(fù)雜性，此類問題的解決可能仍然需要人類直覺、機(jī)器學(xué)習(xí)與高性能計算的強(qiáng)強(qiáng)聯(lián)合。 

強(qiáng)化學(xué)習(xí)設(shè)計與人類設(shè)計 

谷歌研究人員的探索帶來了種種有趣的結(jié)論，而其中最大的亮點當(dāng)數(shù)芯片的實際布局。我們?nèi)祟悤酶鞣N捷徑來克服自己大腦的物理局限。我們沒辦法一次性啃下包含大量復(fù)雜元素的“硬骨頭”，但人腦會對整個復(fù)雜系統(tǒng)進(jìn)行模塊化與分層拆解，一步步克服其中的挑戰(zhàn)。而這種自上而下進(jìn)行架構(gòu)考量與設(shè)計的能力，無疑將在負(fù)責(zé)解決極端復(fù)雜問題的系統(tǒng)中發(fā)揮重要的作用。

這里我們再來看一個軟件工程的例子，也就是我（作者）自己的專業(yè)領(lǐng)域。理論上，我們當(dāng)然可以在單一文件中通過一條規(guī)模巨大且連綿不絕的命令流中編寫整個程序。但軟件開發(fā)人員從來不會這么編程，我們只會從代碼片段、函數(shù)、類、模塊入手一步步搭建軟件成果，并通過定義良好的接口將各種組件連通起來。以此為基礎(chǔ)，我們把階段性成果嵌套進(jìn)更大的體系，由此逐步構(gòu)建起一套分組件、分層級的架構(gòu)。如此一來，我們無需閱讀程序中的每一行也能理解它的運作方式。模塊化機(jī)制使得多位程序員能夠同時開發(fā)同一程序，而原有程序中的組件也能供更多后續(xù)程序使用。有時候，單憑觀察程序中的類架構(gòu)就足以幫助我們找到正確的bug定位路徑或者正確的升級添加位置。正因為如此，我們往往愿意犧牲速度來換取更高的模塊化水平與更高的設(shè)計質(zhì)量。

同樣的指導(dǎo)方針在計算機(jī)芯片設(shè)計中同樣有所體現(xiàn)。人為設(shè)計的芯片往往在不同模塊之間有著清晰的邊界。另一方面，谷歌強(qiáng)化學(xué)習(xí)代理設(shè)計出的平面圖則能夠從中找到電阻最小的路徑，而不再受人腦思維容量的限制。

我很好奇，未來這種AI輔助設(shè)計模式會不會成為新的趨勢甚至是常態(tài)。或者說，機(jī)器學(xué)習(xí)生成的高度優(yōu)化方案需要做出妥協(xié)，由此更好地與人類工程師所強(qiáng)加的自上而下的考量方式相匹配。

AI + 人類智能 

正如谷歌強(qiáng)化學(xué)習(xí)芯片設(shè)計師們所言，AI的硬件與軟件創(chuàng)新探索仍然離不開人類提供的抽象思維、問題定位、解決方案直覺以及驗證數(shù)據(jù)選擇等重要能力。換言之，AI芯片能夠不斷增強(qiáng)這些技能，但卻很難徹底加以替代。