要說世界上最先進(jìn)的神經(jīng)網(wǎng)絡(luò)模型是什么？那絕對是人腦莫屬了。

人腦有860億個神經(jīng)元，相互結(jié)合在一起構(gòu)成的神經(jīng)網(wǎng)絡(luò)不僅在性能上超越人工神經(jīng)網(wǎng)絡(luò)，能量消耗也少的驚人。

當(dāng)下的人工智能系統(tǒng)試圖通過創(chuàng)建多層神經(jīng)網(wǎng)絡(luò)來模仿人腦，旨在將盡可能多的神經(jīng)元塞進(jìn)盡可能少的空間。

這種方式雖然取得了性能進(jìn)步，但這樣的設(shè)計不僅需要大量的電力，并且輸出的結(jié)果與人腦相比也是相形見絀。

根據(jù)估計，OpenAI在微軟數(shù)據(jù)中心使用 Nvidia GPU 訓(xùn)練神經(jīng)網(wǎng)絡(luò)GPT-3時，大約需要 190,000 千瓦時的電量，相當(dāng)于丹麥 126 戶家庭每年使用的電量。如果換算成化石燃料產(chǎn)生的二氧化碳含量來算，相當(dāng)于駕駛一輛汽車從地球出發(fā)往返一趟月球。

并且神經(jīng)網(wǎng)絡(luò)以及使用巨大數(shù)據(jù)集訓(xùn)練它們所需的硬件數(shù)量，還在不斷增長。以GPT為例，在GPT-3時已經(jīng)有1750億個參數(shù)了，比前身GPT-2的參數(shù)量要多100倍。

這種「越大越好」的神經(jīng)網(wǎng)絡(luò)設(shè)計顯然不符合可持續(xù)的科學(xué)發(fā)展觀。

來自柏林工業(yè)大學(xué)的一個多學(xué)科研究小組最近創(chuàng)建了一個新型神經(jīng)「網(wǎng)絡(luò)」。但叫它網(wǎng)絡(luò)還是比較勉強(qiáng)的，因為它新就新在，只有一個神經(jīng)元！

研究人員提出一種新的方法，能夠?qū)⒁粋€任意大小的深度神經(jīng)網(wǎng)絡(luò)折疊成一個具有多個延時反饋的單一神經(jīng)元循環(huán)。這個單神經(jīng)元深度神經(jīng)網(wǎng)絡(luò)只包括一個單一的非線性和適當(dāng)?shù)卣{(diào)整反饋的信號，可以完全表示標(biāo)準(zhǔn)的深度神經(jīng)網(wǎng)絡(luò)（DNN），包含稀疏DNN，和將DNN的概念擴(kuò)展到動態(tài)系統(tǒng)的實現(xiàn)。

這個新模型也稱為時間折疊（Folded-in-time） Fit-DNN，在基準(zhǔn)任務(wù)的測試中也表現(xiàn)出相當(dāng)強(qiáng)的性能。

獨木難成林？

一個常規(guī)的神經(jīng)網(wǎng)絡(luò)網(wǎng)絡(luò)需要在空間上申請多個節(jié)點彼此連接，而單個神經(jīng)元模型則是在時間維度上進(jìn)行擴(kuò)散連接。

研究人員設(shè)計的多層前饋DNN的完全時間折疊的方法，只需要一個帶有反饋調(diào)節(jié)延遲環(huán)的單一神經(jīng)元。通過非線性操作的時間順序化，可以實現(xiàn)一個任意深度或?qū)挾鹊腄NN。

在傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)中，如GPT-3，每個神經(jīng)元都有一個權(quán)重值，以便對結(jié)果進(jìn)行微調(diào)。但這種方式導(dǎo)致的結(jié)果通常是更多的神經(jīng)元，產(chǎn)生更多的參數(shù)，而只有更多的參數(shù)才能產(chǎn)生更精確的結(jié)果。

但柏林工業(yè)大學(xué)的團(tuán)隊發(fā)現(xiàn)，他們可以通過在不同時間對同一神經(jīng)元進(jìn)行不同的加權(quán)，而不是在空間上分散不同加權(quán)的神經(jīng)元來實現(xiàn)類似功能。

這就好比在宴會上，你可以通過快速切換座位的方式，裝作不同的客人說出不同的部分來模擬餐桌上的對話。

聽起來有點「人格分裂」，但通過這種時序上的擴(kuò)展，一個人（神經(jīng)元）也可以完成多個人才能完成的事。

剛才提到「快速」切換，柏林團(tuán)隊表示，這種說法已經(jīng)很低調(diào)了。

實際上他們的系統(tǒng)通過激光在神經(jīng)元中激活基于時間的反饋回路，理論上可以達(dá)到接近宇宙極限的速度——也就是以光速或接近光速進(jìn)行神經(jīng)網(wǎng)絡(luò)切換。

根據(jù)研究人員的說法，這對人工智能來說意味著，能夠顯著降低訓(xùn)練超大規(guī)模神經(jīng)網(wǎng)絡(luò)的能源成本。

為了實現(xiàn)上述想法，研究人員假設(shè)系統(tǒng)狀態(tài)根據(jù)一般形式的微分方程在連續(xù)時間內(nèi)演變。

這里x(t)表示神經(jīng)元在時間t的狀態(tài)；f是一個非線性函數(shù)，其參數(shù)a(t)結(jié)合了數(shù)據(jù)信號J(t)、時間變化的偏置b(t)以及由函數(shù)Md(t)調(diào)制的延時反饋信號x(t -τd)。可以明確考慮不同延遲長度τd的多個環(huán)路。由于反饋環(huán)路，系統(tǒng)成了一個所謂的延遲動力系統(tǒng)。

直觀地說，F(xiàn)it-DNN中的反饋回路導(dǎo)致神經(jīng)元重新引入已經(jīng)通過非線性f的信息，這使得非線性f可以多次連鎖。經(jīng)典的DNN通過逐層使用神經(jīng)元來構(gòu)成其可訓(xùn)練的表征，而Fit-DNN則通過重復(fù)向同一神經(jīng)元引入反饋信號來實現(xiàn)同樣的目的。

在每個pass中，時變的偏置b(t)和延遲線上的調(diào)制Md(t)確保系統(tǒng)的時間演變以期望的方式處理信息。為了獲得數(shù)據(jù)信號J(t)和輸出y，兩個變量都需要一個適當(dāng)?shù)那疤幚砘蚝筇幚聿僮鳌?/p>

為了進(jìn)一步說明Fit-DNN在功能上等同于多層神經(jīng)網(wǎng)絡(luò)，可以看到Fit-DNN可以將具有多個延遲環(huán)的單個神經(jīng)元的動態(tài)性轉(zhuǎn)化為DNN。

x(t)的時間演化可以分為長度為T的時間間隔，每個間隔模擬一個隱藏層。在每個區(qū)間中，選擇N個點。使用一個具有小時間間隔θ的等距時間網(wǎng)格。對于有N個節(jié)點的隱藏層來說，可以得出θ=T/N。在每個時間網(wǎng)格點tn=nθ，將系統(tǒng)狀態(tài)x(tn)作為一個獨立變量。每個時間網(wǎng)格點tn將代表一個節(jié)點，而x(tn)代表其狀態(tài)?？梢赃M(jìn)一步假設(shè)數(shù)據(jù)信號J(t)、偏置b(t)和調(diào)制信號Md(t)是步長為θ的步長函數(shù)。

作為一個非常稀疏的網(wǎng)絡(luò)，研究人員首先將Fit-DNN應(yīng)用于圖像去噪任務(wù)：在Fashion-MNIST數(shù)據(jù)集的圖像中加入強(qiáng)度為方差為1的高斯噪聲，將其視為值在0（白色）和1（黑色）之間的向量。然后截斷閾值0和1處剪切所得到的向量條目，以獲得有噪聲的灰度圖像。去噪的任務(wù)就是要從其噪聲版本中重建原始圖像。

實驗結(jié)果對比了原始Fashion-MNIST圖像、其噪聲版本和重建圖像的例子?？梢钥吹交謴?fù)的效果還是相當(dāng)不錯的。

但Fit-DNN真正的問題是，時間循環(huán)的單個神經(jīng)元是否能產(chǎn)生與數(shù)十億個神經(jīng)元相同的結(jié)果。

為了證明Fit-DNN和時間狀態(tài)下的計算能力，研究人員選了五個圖像分類任務(wù)：MNIST40、Fashion-MNIST41、CIFAR-10、CIFAR-100，以及SVHN。

實驗對比了Fit-DNN在上述任務(wù)中每個隱藏層的不同節(jié)點數(shù)N=50、100、200和400時的表現(xiàn)。從結(jié)果中可以看到對相對簡單的MNIST和Fashion-MNIST任務(wù)上單個神經(jīng)元取得了很高的準(zhǔn)確率。但對于更具挑戰(zhàn)性的CIFAR-10、CIFAR-100和SVHN任務(wù)的準(zhǔn)確率則比較低。

雖然這些結(jié)果顯然不能與當(dāng)下sota模型創(chuàng)造的性能記錄相媲美，但它們是在一個新穎的、完全不同的架構(gòu)上實現(xiàn)的。特別是，這里的Fit-DNN只使用了權(quán)重矩陣可用對角線的一半。對于測試的任務(wù)，增加N顯然會導(dǎo)致性能的提高。

隨著進(jìn)一步的發(fā)展，科學(xué)家們相信該系統(tǒng)可以擴(kuò)展到時間維度上「無限數(shù)量的」神經(jīng)元連接。

他們表示，這樣的系統(tǒng)是可行的，它可以超越人腦，成為世界上最強(qiáng)大的神經(jīng)網(wǎng)絡(luò)，這就是人工智能專家所說的「超級智能」。