預(yù)測(cè)復(fù)雜的系統(tǒng)一定要用更多的神經(jīng)元嗎？在最新一期的《自然 · 通訊》上，俄亥俄州立大學(xué)的研究者給出了否定的答案。他們找到了一種將儲(chǔ)備池計(jì)算速度最高提升 100 萬(wàn)倍的方法，使用的神經(jīng)元比原來要少得多。

在數(shù)學(xué)領(lǐng)域，有一個(gè)名叫「動(dòng)力系統(tǒng)」的概念。這一系統(tǒng)中存在一個(gè)固定的規(guī)則，描述了幾何空間中的一個(gè)點(diǎn)隨時(shí)間的演化情況，例如鐘擺晃動(dòng)、管道中水的流動(dòng)、湖中每年春季魚類的數(shù)量等。

然而，動(dòng)力系統(tǒng)就像天氣一樣，是很難預(yù)測(cè)的，因?yàn)槌跏紬l件下微小的變化能帶動(dòng)整個(gè)系統(tǒng)的長(zhǎng)期的巨大的連鎖反應(yīng)，這就是我們所熟知的蝴蝶效應(yīng)。

[[425395]]

為了更好地預(yù)測(cè)動(dòng)力系統(tǒng)隨時(shí)間的演化，相關(guān)研究者在本世紀(jì)初提出了一種名為「儲(chǔ)備池計(jì)算（Reservoir computing ）」的機(jī)器學(xué)習(xí)算法。這是一種模仿人腦工作方式的計(jì)算方法，在預(yù)測(cè)動(dòng)力系統(tǒng)演化方面非常有效，研究者也一直在這條路上不斷改進(jìn)。

在最新一期的《自然 · 通訊》雜志上，來自美國(guó)俄亥俄州立大學(xué)的研究者公布了他們?cè)趦?chǔ)備池計(jì)算研究上的新進(jìn)展。這些研究者表示，他們找到了一種新方法，將儲(chǔ)備池計(jì)算的速度提高了 33 到 100 萬(wàn)倍，而所需的計(jì)算資源和數(shù)據(jù)輸入?yún)s大大減少。他們將這種方法稱為「下一代儲(chǔ)備池計(jì)算」。

論文鏈接：https://www.nature.com/articles/s41467-021-25801-2

這項(xiàng)研究的一作兼通訊作者為俄亥俄州立大學(xué)物理系教授 Daniel Gauthier。

共同作者包括克拉克森大學(xué)電子與計(jì)算機(jī)工程系教授 Erik Bollt、俄亥俄州立大學(xué)物理學(xué)博士 Aaron Griffith 和俄亥俄州立大學(xué)物理學(xué)博士后研究員 Wendson Barbosa。

這項(xiàng)研究還得到了美國(guó)國(guó)防高級(jí)研究計(jì)劃局（DARPA）的支持。

在針對(duì)新方法的一次測(cè)試中，研究者在臺(tái)式電腦上只用不到一秒的時(shí)間就解決了一個(gè)復(fù)雜的計(jì)算問題。如果使用當(dāng)前的 SOTA 技術(shù)來解決該問題，研究者要用到超級(jí)計(jì)算機(jī)，而且需要更長(zhǎng)的時(shí)間。

下一代儲(chǔ)備池計(jì)算：用更少的神經(jīng)元作出更準(zhǔn)確的預(yù)測(cè)

儲(chǔ)備池計(jì)算使用人工神經(jīng)網(wǎng)絡(luò)來預(yù)測(cè)動(dòng)力系統(tǒng)的演化。研究者將動(dòng)力系統(tǒng)上的數(shù)據(jù)輸入神經(jīng)網(wǎng)絡(luò)中一個(gè)由隨機(jī)連接的人工神經(jīng)元組成的「儲(chǔ)備池」中。該網(wǎng)絡(luò)產(chǎn)生有用的輸出，研究者可以解釋該輸出并給出反饋，從而建立一個(gè)越來越準(zhǔn)確的演化預(yù)測(cè)系統(tǒng)。

系統(tǒng)越大、越復(fù)雜，期望預(yù)測(cè)的結(jié)果越準(zhǔn)確，人工神經(jīng)網(wǎng)絡(luò)就越大，完成任務(wù)所需的計(jì)算資源和時(shí)間也就越多。新研究主要作者、美國(guó)俄亥俄州立大學(xué)物理學(xué)教授 Daniel Gauthier 說，這里的問題是，基于人工神經(jīng)元的儲(chǔ)備池是一個(gè)黑盒子，科學(xué)家們不知道它里面到底發(fā)生了什么，只知道它管用。

儲(chǔ)備池計(jì)算核心的人工神經(jīng)網(wǎng)絡(luò)建立在數(shù)學(xué)基礎(chǔ)上的，Gauthier 解釋說，「我們讓數(shù)學(xué)家看一下這些網(wǎng)絡(luò)，并告訴我們里面的各種組件到底在多大程度上是必不可少的?！?/p>

在這項(xiàng)新研究中，Gauthier 和他的同事調(diào)查了這個(gè)問題，發(fā)現(xiàn)整個(gè)儲(chǔ)備池計(jì)算系統(tǒng)可以大大簡(jiǎn)化，從而顯著降低對(duì)計(jì)算資源的需求，節(jié)省大量時(shí)間。

他們?cè)谝粋€(gè)預(yù)測(cè)任務(wù)中測(cè)試了此概念，該任務(wù)涉及 Edward Lorenz 開發(fā)的天氣系統(tǒng)，Edward Lorenz 是蝴蝶效應(yīng)的發(fā)現(xiàn)者，被譽(yù)為混沌理論之父。

在 Lorenz 預(yù)測(cè)任務(wù)中，研究者提出的下一代儲(chǔ)備池計(jì)算技術(shù)明顯優(yōu)于當(dāng)前的 SOTA 技術(shù)。在一臺(tái)臺(tái)式機(jī)上進(jìn)行的一個(gè)相對(duì)簡(jiǎn)單的模擬中，新系統(tǒng)的速度是當(dāng)前模型的 33 到 163 倍。

但是，當(dāng)目標(biāo)是達(dá)到 great accuracy 時(shí)，下一代儲(chǔ)備池計(jì)算要快 100 萬(wàn)倍。Gauthier 說，新方法只需要 28 個(gè)神經(jīng)元就能達(dá)到原本 4000 個(gè)神經(jīng)元才能達(dá)到的準(zhǔn)確率。

速度提升的一個(gè)重要原因在于：與上一代儲(chǔ)備池計(jì)算相比，新一代儲(chǔ)備池計(jì)算背后的「大腦」需要的 warmup 和訓(xùn)練要少得多。

Warmup 指的是需要作為輸入被添加到儲(chǔ)備池計(jì)算機(jī)，從而為其實(shí)際任務(wù)做好準(zhǔn)備的訓(xùn)練數(shù)據(jù)。「我們的新方法幾乎不需要 warm 時(shí)間，」Gauthier 表示，「目前，為了 warmup，研究者必須放入 1000、10000 個(gè)甚至更多的數(shù)據(jù)點(diǎn)。這些都是實(shí)際工作中不需要的數(shù)據(jù)。我們只需要輸入一兩個(gè)或三個(gè)數(shù)據(jù)點(diǎn)。」

一旦研究人員準(zhǔn)備好訓(xùn)練儲(chǔ)備池計(jì)算機(jī)進(jìn)行預(yù)測(cè)，下一代系統(tǒng)需要的數(shù)據(jù)就會(huì)少很多。

在 Lorenz 預(yù)測(cè)任務(wù)的測(cè)試中，研究人員使用 400 個(gè)數(shù)據(jù)點(diǎn)，就得到了與上一代儲(chǔ)備池計(jì)算機(jī)使用 5000 個(gè)或更多數(shù)據(jù)點(diǎn)產(chǎn)生的相同的結(jié)果（具體數(shù)據(jù)點(diǎn)數(shù)量取決于所需的準(zhǔn)確率）。

Gauthier 說：「令人興奮的是，下一代儲(chǔ)備池計(jì)算采用了之前就已經(jīng)非常優(yōu)秀的技術(shù)，大大提高了效率?！顾麄冇?jì)劃將這項(xiàng)工作擴(kuò)展到更復(fù)雜的計(jì)算問題上，比如預(yù)測(cè)流體動(dòng)力學(xué)。

「這是一個(gè)極具挑戰(zhàn)性的問題。我們想看看，是否可以使用簡(jiǎn)化的儲(chǔ)備池計(jì)算模型，以加快解決這個(gè)問題的進(jìn)程。」Gauthier 表示。