近年來，隨著科學家們不斷推動機器學習的邊界，訓練日益復雜的神經(jīng)網(wǎng)絡模型所需的時間、能源和資金正在飛速增長?！改Ｐ湍芙?，訓練太慢」成為困擾越來越多研究人員的一個頭疼問題。

最近，被稱為「模擬深度學習」的人工智能新領域有望以更少的能源實現(xiàn)更快的計算?？删幊屉娮杵魇悄M深度學習的關鍵部分，就像晶體管是數(shù)字處理器的核心元素一樣。

通過在復雜的層中重復排列可編程電阻器，研究人員可以創(chuàng)建一個模擬人工神經(jīng)元和突觸網(wǎng)絡，就像數(shù)字神經(jīng)網(wǎng)絡一樣執(zhí)行計算。這個網(wǎng)絡可以被訓練來實現(xiàn)復雜的人工智能任務，如圖像識別和自然語言處理。

模擬神經(jīng)網(wǎng)絡的計算速度很大程度上取決于「人造突觸」的傳輸速度。麻省理工學院的一個團隊要解決的就是這個環(huán)節(jié)。他們之前已經(jīng)開發(fā)了一種人造模擬突觸，現(xiàn)在要做的是，搞個新材料，超越原來的老版本。

這次，他們在制造過程中利用了一種實用的無機材料，讓前文提到的可編程電阻器的運行速度達到了以前的版本的100萬倍，同時也實現(xiàn)了比人腦中的突觸快約100萬倍。此外，這種材料還使電阻的能源效率極高。與早期版本的設備中使用的材料不同，新材料與硅制造技術兼容。這一變化使得在納米尺度上制造器件成為可能，并可能為整合到深度學習應用的商業(yè)計算硬件中鋪平道路。這項研究論文已經(jīng)發(fā)表在Science上。

論文鏈接：https://www.science.org/doi/pdf/10.1126/science.abp8064

論文的通信作者、麻省理工學院電氣工程和計算機科學系（EECS）的唐納教授Jesús A. del Alamo說：「憑借這一關鍵發(fā)現(xiàn)，加上MIT.nano的強大的納米制造技術，我們已經(jīng)能夠把這些碎片放在一起，并證明這些設備本質上是非?？斓?，可以在合理的電壓下運行?！埂冈撛O備的工作機制是將最小的離子--質子--電化學插入絕緣氧化物中，以調節(jié)其電子傳導性。因為我們用的設備非常薄，所以可以通過使用強電場來加速這個離子的運動，并將這些離子設備推向納秒級操作」論文通信作者、核科學與工程系和材料科學與工程系的Breene M. Kerr教授Bilge Yildiz解釋說。論文通信作者、巴特爾能源聯(lián)盟核科學與工程系教授和材料科學與工程系教授Ju Li說：

「生物細胞中的動作電位以毫秒級尺度上升和下降，因為大約0.1伏的電壓差受制于水的穩(wěn)定性。"在這里，我們在一個特殊的納米級厚度的固體玻璃薄膜上施加高達10伏的電壓，該薄膜可以傳導質子，而不會永久損壞它。而且，電場越強，離子設備運行速度就越快?！贡疚牡墓餐髡哌€包括材料科學與工程系的Ellen Swallow Richards教授Frances M. Ross；博士后Nicolas Emond和Baoming Wang；以及EECS的研究生Difei Zhang。

這些可編程電阻器極大地提高了神經(jīng)網(wǎng)絡的訓練速度，同時極大降低了進行訓練的成本和能耗。這可以幫助科學家們更快地開發(fā)深度學習模型，應用于自動駕駛汽車、欺詐檢測或醫(yī)學圖像分析等用途。「一旦有了模擬處理器，就不用再訓練其他人正在研究的網(wǎng)絡了。你可以訓練具有前所未有的高復雜度的網(wǎng)絡，而這種復雜度是其他人無法承受的。換句話說，這不僅僅是一輛跑得快的汽車，而是一家飛機」。論文第一作者、麻省理工學院博士后Murat Onen說。

100萬倍加速深度學習

模擬深度學習之所以比其數(shù)字深度學習更快、更節(jié)能，主要有兩個原因。

首先，計算是在內存中進行的，所以巨大的數(shù)據(jù)負載不會從內存來回傳輸?shù)教幚砥?。模擬處理器也以并行方式進行操作。如果矩陣擴大，模擬處理器不需要更多時間來完成新的操作，因為所有的計算都是同時進行的。麻省理工學院新的模擬處理器技術的關鍵元素被稱為質子可編程電阻。這些電阻以納米為單位，排列成一個陣列，就像一個棋盤。

納秒級質子可編程電阻器

為了開發(fā)一種超高速、高能效的可編程質子電阻，研究人員尋找了不同的電解質材料。當其他設備使用有機化合物時，Onen卻專注于無機磷硅酸鹽玻璃（PSG）。PSG基本上是二氧化硅，這是一種粉狀的干燥劑材料，用來除濕。

在加濕條件下，研究人員研究了它作為燃料電池的質子導體。它也是硅加工中最著名的氧化物。為了制造PSG，硅中加入了少量的磷，使其具有質子傳導的特殊特性。Onen假設，優(yōu)化后的PSG在室溫下可以具有較高的質子導電性，且不需要水，這將使其成為理想的固體電解質。

驚人的速度

PSG能夠實現(xiàn)質子的超快運動，因為它包含大量納米大小的孔，這些孔的表面為質子擴散提供了路徑。

它還能承受非常強的脈沖電場。

Onen解釋說：「這一點至關重要，因為對裝置施加更多的電壓可以使質子極速移動。」

Onen說：「這種速度相當令人驚訝。通常情況下，我們不會在設備上使用如此強大的磁場，以避免它們變成灰燼。但相反，質子最終以巨大的速度穿梭在設備堆上，而且還是比我們之前的速度快一百萬倍。此外，由于質子體積小、質量低，這種運動不會破壞任何東西。它幾乎就像傳送一樣?！?/span>

因為質子不會損壞材料，所以電阻器可以運行數(shù)百萬個周期而不發(fā)生故障。

質子可編程電阻器的超快和高能效調制特性

這種新型電解質使可編程質子電阻器的速度比以前的設備快100萬倍，并且可以在室溫下有效工作，這對于將其納入計算硬件非常重要。

由于PSG的絕緣特性，當質子運動時，幾乎沒有電流通過材料。Onen補充說：「這使得該設備非常節(jié)能?！?/span>

del Alamo表示：「現(xiàn)在他們已經(jīng)證明了這些可編程電阻器的有效性，研究人員計劃對其進行重新設計，以實現(xiàn)大批量生產(chǎn)。然后他們可以研究電阻陣列的特性，并將其放大，以便將其嵌入到系統(tǒng)中?！?/span>

Yildiz補充說：「這些離子設備可以實現(xiàn)的另一個令人興奮的方向是節(jié)能硬件，以模擬神經(jīng)科學中推導的神經(jīng)回路和突觸可塑性規(guī)則，超越模擬深度神經(jīng)網(wǎng)絡。我們已經(jīng)開始與神經(jīng)科學進行這樣的合作，得到了MIT Quest for Intelligence的支持?！?/span>

del Alamo說：「 我們的合作對未來的創(chuàng)新至關重要。未來的道路仍然充滿挑戰(zhàn)，但同時也非常令人興奮！」

斯坦福大學材料科學與工程副教授William Chueh說：「 諸如鋰離子電池中發(fā)現(xiàn)的插層反應已經(jīng)在存儲設備中得到了廣泛的探索。這項工作表明，基于質子的存儲器件提供了令人印象深刻且令人驚訝的開關速度和耐用性?！?/span>

不過William Chueh并沒有參與這項研究。