作為如今最成功的人工智能算法，人工神經(jīng)網(wǎng)絡(luò)，可以松散地模擬了人腦中真實(shí)神經(jīng)網(wǎng)絡(luò)的復(fù)雜鏈接。 不過(guò)與人腦的高能效相比，實(shí)在是太費(fèi)電了。

于是，神經(jīng)擬態(tài)計(jì)算應(yīng)運(yùn)而生，這種技術(shù)更貼近模仿了人腦的運(yùn)作機(jī)理與物理定律。 然而，由于器件失配難題，模擬神經(jīng)元的質(zhì)性會(huì)與設(shè)計(jì)略有不同，且電壓和電流水平在不同的神經(jīng)元之間也有差異。 相比之下，AI算法的訓(xùn)練則是在具有完全一致的數(shù)字神經(jīng)元的計(jì)算機(jī)上完成的。
因此，實(shí)際在神經(jīng)擬態(tài)芯片上運(yùn)行時(shí)，經(jīng)常會(huì)出現(xiàn)「水土不服」的問(wèn)題。  2022年1月在美國(guó)國(guó)家科學(xué)院院刊上發(fā)布的一篇論文，揭示了繞過(guò)此難題的一種途徑。

論文鏈接：https://www.pnas.org/content/119/4/e2109194119 

由瑞士弗雷德里希米歇爾生物醫(yī)療研究所的研究者弗里德曼·曾克，與德國(guó)海德堡大學(xué)的研究者約翰內(nèi)斯·希密爾聯(lián)合組成的團(tuán)隊(duì)，在脈沖神經(jīng)網(wǎng)絡(luò)這一類型的AI算法上獲得新進(jìn)展。 脈沖神經(jīng)網(wǎng)絡(luò)使用模仿人腦中的特色脈沖交流訊號(hào)，可以在神經(jīng)擬態(tài)芯片上運(yùn)行，學(xué)會(huì)如何代償芯片中的器件失配。 此論文是AI邁向神經(jīng)擬態(tài)運(yùn)算的顯著一步。 

模擬神經(jīng)網(wǎng)絡(luò)

與現(xiàn)有AI運(yùn)行設(shè)備不同，神經(jīng)擬態(tài)計(jì)算并不將數(shù)據(jù)在長(zhǎng)間隔距離的CPU與存儲(chǔ)卡之間搬運(yùn)。 神經(jīng)擬態(tài)芯片設(shè)計(jì)模仿果凍般人腦的基礎(chǔ)架構(gòu)，將計(jì)算單元（神經(jīng)元）置于存儲(chǔ)單元（連接神經(jīng)元的突觸）旁邊。 為了讓設(shè)計(jì)更像人腦，研究者將神經(jīng)擬態(tài)芯片結(jié)合模擬計(jì)算，如此能像真實(shí)神經(jīng)元一樣處理持續(xù)不斷的信號(hào)。

這樣產(chǎn)出的芯片，與現(xiàn)下依賴處理０與１的二元基礎(chǔ)信號(hào)的數(shù)碼計(jì)算模式和架構(gòu)，有顯著不同。 以人腦作為設(shè)計(jì)指南，神經(jīng)擬態(tài)芯片承諾有朝一日終結(jié)AI等大數(shù)據(jù)量運(yùn)算工作的高耗能。不幸的是，AI算法在神經(jīng)擬態(tài)芯片的模擬版本上運(yùn)行效果不佳。 這是因?yàn)槠骷涞娜毕荩涸谏a(chǎn)過(guò)程中，芯片里模擬神經(jīng)元的微型組件大小出現(xiàn)不匹配。 由于單個(gè)芯片不足以運(yùn)行最新的AI訓(xùn)練過(guò)程，算法必須在傳統(tǒng)計(jì)算機(jī)上進(jìn)行預(yù)訓(xùn)練。 但之后將算法轉(zhuǎn)輸?shù)叫酒蠒r(shí)，一旦遇上模擬硬件不匹配的問(wèn)題，算法就兩眼一抹黑了。 

基于人腦設(shè)計(jì)的計(jì)算模式是模擬計(jì)算而非數(shù)碼計(jì)算，這點(diǎn)差別微妙而關(guān)鍵。 數(shù)碼計(jì)算只能有效呈現(xiàn)人腦脈沖信號(hào)的二元性方面：脈沖信號(hào)作為一道沖過(guò)神經(jīng)元的電信號(hào)，狀態(tài)具有二元性，要么輸出了，要么沒(méi)輸出，這就是0與1的區(qū)別。

不過(guò)事實(shí)上因?yàn)槿四X細(xì)胞中有電壓變化，當(dāng)細(xì)胞內(nèi)電壓超過(guò)比細(xì)胞外電壓高到一定程度的特定閾值，就會(huì)輸出脈沖。 如此一來(lái)，脈沖是在一定時(shí)段內(nèi)持續(xù)不絕地輸出的，而且神經(jīng)元決定輸出脈沖的狀態(tài)也是持續(xù)不絕的，這其實(shí)是一種模擬信號(hào)的狀態(tài)。 瑞士蘇黎世聯(lián)邦理工學(xué)院的神經(jīng)擬態(tài)工程研究者夏洛特·弗倫克爾說(shuō)：「模擬態(tài)體現(xiàn)了人腦運(yùn)算模式的核心之美。成功效仿人腦的這一關(guān)鍵方面，將是神經(jīng)擬態(tài)運(yùn)算的主驅(qū)動(dòng)因素之一?！?/span> 2011年，海德堡大學(xué)的一組研究人員開(kāi)始開(kāi)發(fā)一種既有模擬態(tài)又有數(shù)碼態(tài)的神經(jīng)擬態(tài)芯片，為神經(jīng)科學(xué)實(shí)驗(yàn)?zāi)M大腦。

此后，團(tuán)隊(duì)又發(fā)布了新一版的芯片「BrainScaleS-2」，其中每個(gè)模擬神經(jīng)元都模擬了腦細(xì)胞的輸入-輸出電流和電壓變化。 不過(guò)，由于材質(zhì)的導(dǎo)電質(zhì)性不同于真人腦，芯片在速度上要比人腦快1000倍。 

在這項(xiàng)新的工作中，通過(guò)將芯片納入算法的訓(xùn)練過(guò)程，脈沖神經(jīng)網(wǎng)絡(luò)可以學(xué)習(xí)如何糾正BrainScaleS-2芯片上的電壓差別。 為了處理器件失配的問(wèn)題，團(tuán)隊(duì)還專門(mén)為脈沖神經(jīng)網(wǎng)絡(luò)開(kāi)發(fā)了全新的方法，將芯片用梯度替代法這種學(xué)習(xí)方法與計(jì)算機(jī)交互。 梯度替代法通過(guò)持續(xù)改變神經(jīng)元之間的連接，來(lái)盡量減少神經(jīng)網(wǎng)絡(luò)在執(zhí)行任務(wù)中的錯(cuò)誤數(shù)量（類似于非脈沖神經(jīng)網(wǎng)絡(luò)使用的反向傳播）。

梯度替代法能夠在計(jì)算機(jī)上的訓(xùn)練過(guò)程中糾正芯片的不完善之處。 首先，讓脈沖神經(jīng)網(wǎng)絡(luò)利用芯片上模擬神經(jīng)元的不同電壓執(zhí)行一項(xiàng)簡(jiǎn)單的任務(wù)，并將電壓的記錄發(fā)回計(jì)算機(jī)。 然后，讓算法自動(dòng)學(xué)習(xí)如何最好地改變其神經(jīng)元之間的連接，以便仍能與模擬神經(jīng)元很好地配合，在學(xué)習(xí)的同時(shí)持續(xù)更新芯片上的神經(jīng)元。 最終，當(dāng)訓(xùn)練完成后，脈沖神經(jīng)網(wǎng)絡(luò)就能在芯片上順利地執(zhí)行任務(wù)了。 

研究人員表示，他們的神經(jīng)網(wǎng)絡(luò)在語(yǔ)音和視覺(jué)任務(wù)上，達(dá)到了與在計(jì)算機(jī)上執(zhí)行任務(wù)的頂級(jí)脈沖神經(jīng)網(wǎng)絡(luò)相同的準(zhǔn)確性。 換句話說(shuō)，該算法準(zhǔn)確地了解到它需要做哪些改變來(lái)克服器件失配的問(wèn)題。 蘇塞克斯大學(xué)的計(jì)算神經(jīng)科學(xué)家托馬斯·諾沃特尼表示：「這個(gè)系統(tǒng)正如預(yù)期的那樣具有令人印象深刻的能效：運(yùn)行所消耗的能量比標(biāo)準(zhǔn)處理器少1000倍左右?！?/span> 然而，弗倫克爾指出，神經(jīng)擬態(tài)芯片仍然需要在為類似的語(yǔ)音和視覺(jué)識(shí)別任務(wù)而特別優(yōu)化的硬件面前證明自己。 諾沃特尼也指出，這種方法可能難以擴(kuò)展到大型的實(shí)際任務(wù)，因?yàn)樗匀恍枰谟?jì)算機(jī)和芯片之間來(lái)回搬運(yùn)數(shù)據(jù)。 團(tuán)隊(duì)的終極目標(biāo)則是讓脈沖神經(jīng)網(wǎng)絡(luò)可以自始至終地在神經(jīng)擬態(tài)芯片上訓(xùn)練和運(yùn)行，而不需要借助傳統(tǒng)計(jì)算機(jī)。 不過(guò)，設(shè)計(jì)并生產(chǎn)所需的新一代芯片可能要數(shù)年的時(shí)間。

作者介紹

弗里德曼·曾克

瑞士蘇黎世弗雷德里希米歇爾生物醫(yī)療研究所的神經(jīng)計(jì)算科學(xué)家。主研究方向?yàn)榉律拿}沖神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)、記憶、信息處理過(guò)程，以及機(jī)器學(xué)習(xí)與神經(jīng)計(jì)算科學(xué)的交匯。  

約翰內(nèi)斯·希密爾

德國(guó)海德堡大學(xué)物理學(xué)院專用集成電路實(shí)驗(yàn)室主任、電子視覺(jué)研究組負(fù)責(zé)人。研究方向是混合態(tài)超大規(guī)模集成電路系統(tǒng)的信息處理應(yīng)用，特別是仿生神經(jīng)網(wǎng)絡(luò)模型的模擬應(yīng)用方向。