作為世界上最受矚目的人工智能技術(shù)研究機構(gòu)之一，Google DeepMind 總是在不斷帶來我們驚喜。在去年的官方總結(jié)中，DeepMind 指出，「2016 年，我們的另一重要研究領(lǐng)域是記憶(memory)，特別是如何將神經(jīng)網(wǎng)絡(luò)的決策智能和有關(guān)復(fù)雜結(jié)構(gòu)化數(shù)據(jù)的存儲、推理能力結(jié)合起來的難題。」

近日，DeepMind 又發(fā)布一份新研究(這一方法不同于之前提出的 PathNet)，宣稱實現(xiàn)了神經(jīng)網(wǎng)絡(luò)的連續(xù)學(xué)習(Continual Learning)，讓計算機程序可以不忘記之前學(xué)習過的內(nèi)容并漸進式地學(xué)習新內(nèi)容。這篇論文結(jié)合了生物學(xué)、突觸彈性理論，并討論了突觸不僅存儲權(quán)重還存儲這一權(quán)重不確定性的理論。這項研究得到了廣泛的關(guān)注，比如 Bloomberg 的報道寫道，這項研究「可能將為能被更輕松地應(yīng)用于多種任務(wù)的人工智能系統(tǒng)開啟新的道路，它也應(yīng)該可以提升人工智能系統(tǒng)在任務(wù)之間遷移知識的能力和掌握一系列互相鏈接的步驟的能力?！箼C器之心在此對 DeepMind 與該研究相關(guān)的官方博客文章和論文摘要進行了介紹。

論文地址：http://www.pnas.org/content/early/2017/03/13/1611835114.full.pdf

學(xué)習執(zhí)行任務(wù)的計算機程序通常也會很快地忘記這些任務(wù)。我們的研究表明可以修改學(xué)習規(guī)則使程序在學(xué)習新任務(wù)的時候還記得舊任務(wù)。這是向能漸進學(xué)習和自適應(yīng)學(xué)習的更加智能的機器所邁出的重要一步。

深度神經(jīng)網(wǎng)絡(luò)是目前最成功的機器學(xué)習技術(shù)，可用于解決語言翻譯、圖像分類和圖像生成等多種任務(wù)。但是，通常只有當數(shù)據(jù)是一次性全部呈現(xiàn)時，它們才能學(xué)習多種任務(wù)。隨著一個網(wǎng)絡(luò)在一項特定任務(wù)上的訓(xùn)練的進行，其參數(shù)也將逐漸適應(yīng)此任務(wù)的解決。而當引入一個新任務(wù)的時候，新的適應(yīng)過程會改寫該網(wǎng)絡(luò)之前已經(jīng)獲得的知識。這種現(xiàn)象在認知科學(xué)領(lǐng)域被稱為「災(zāi)難性遺忘(catastrophic forgetting)」，這也被認為是神經(jīng)網(wǎng)絡(luò)的基本限制之一。

相對而言，我們的大腦卻有著不同的工作方式。我們可以漸進地學(xué)習，可以一次只學(xué)習一個技能，而且也能在學(xué)習新任務(wù)時應(yīng)用我們之前獲得知識。這也是我們最近在 PNAS 上發(fā)表的論文《Overcoming catastrophic forgetting in neural networks》的起點。在這篇論文中，我們提出了一種可以克服神經(jīng)網(wǎng)絡(luò)的災(zāi)難性遺忘的方法。我們的靈感來自于神經(jīng)科學(xué)，涉及到有關(guān)哺乳動物和人類大腦鞏固之前習得的技能和記憶的理論。

神經(jīng)科學(xué)家已經(jīng)識別出了大腦之中的兩種鞏固(consolidation)方式：系統(tǒng)鞏固(systems consolidation)和突觸鞏固(synaptic consolidation)。系統(tǒng)鞏固是指這樣一個過程：將我們大腦中的快速學(xué)習部分已經(jīng)獲得的記憶印刻到慢速學(xué)習的部分。這種印刻過程被認為是通過有意識或無意識的回憶實現(xiàn)的——比如說，這可能會發(fā)生在做夢的時候。而對于第二種機制——突觸鞏固，是指如果一些突觸連接在之前所學(xué)到的任務(wù)中是很重要的，那么它們被改寫的可能性就更小。具體而言，我們的算法就從這種機制中獲得了解決災(zāi)難性遺忘的靈感。

神經(jīng)網(wǎng)絡(luò)由很多連接構(gòu)成，這些連接的方式在很大程度上類似于大腦中的連接。在學(xué)會一個任務(wù)之后，我們計算每個連接對于該任務(wù)的重要程度。當我們學(xué)習一個新任務(wù)時，我們按照連接對舊任務(wù)的重要程度，按比例地對連接進行修改保護。因此這就可以在無需修改在之前的任務(wù)中所學(xué)習到的內(nèi)容的同時而學(xué)會新的任務(wù)，并且這也不會帶來顯著的計算成本。我們可以將我們?yōu)槊總€連接所施加的保護看作是通過一個彈簧鏈接到之前的保護值，其剛度(stiffness)正比于其連接的重要程度。為此，我們將我們的算法稱為「彈性權(quán)重鞏固(EWC/Elastic Weight Consolidation)」。

DeepMind新的AI程序同時應(yīng)付兩個任務(wù)的學(xué)習過程

為了測試我們的算法，我們讓一個代理按順序接觸 Atari 游戲。單獨根據(jù)得分掌握單個游戲，很有挑戰(zhàn)性，不過，按順序掌握多個游戲更是難上加難，因為每個游戲都需要一種單獨的策略。正如下面圖表所表明的，沒有 EWC，在停止游戲后(藍色)，該代理會迅速忘記每個游戲。這意味著，平均而言該代理幾乎沒有掌握任何一個游戲。不過，如果我們使用了 EWC(棕色和紅色)，該代理就不會輕易忘記游戲，還能一個接一個地掌握多個游戲。

今天，計算機程序還無法從數(shù)據(jù)中自適應(yīng)地進行實時學(xué)習。不過，我們已經(jīng)表明，對于神經(jīng)網(wǎng)絡(luò)來說，災(zāi)難性遺忘不是一座不可征服的高山。我們也希望，這份研究代表了人們朝著能夠以更加靈活自動化的方式進行學(xué)習的程序又邁進了一步。

我們的研究也推進了人類對大腦中突觸鞏固(synaptic consolidation)形成方式的理解。實際上，作為我們的研究基礎(chǔ)的神經(jīng)科學(xué)理論目前只是在非常簡單的例子中得以證明。通過表明那些相同的理論也可以適用到更加現(xiàn)實和復(fù)雜的機器學(xué)習環(huán)境中，我們希望能夠進一步賦予這一思想更大的重要性：突觸鞏固是保留記憶和方法的關(guān)鍵。

論文：克服神經(jīng)網(wǎng)絡(luò)中的災(zāi)難性遺忘

(Overcoming catastrophic forgetting in neural networks)

摘要

以順序的方式學(xué)習任務(wù)的能力對人工智能的開發(fā)來說是至關(guān)重要的。到目前為止，神經(jīng)網(wǎng)絡(luò)都還不具備這種能力，而且人們普遍認為災(zāi)難性遺忘(catastrophic forgetting)是連接主義模型(connectionist model)的不可避免 特征。我們的研究表明有可能克服這種限制并訓(xùn)練出能夠在很長一段時間里在它們沒有經(jīng)歷過的任務(wù)上保持專業(yè)知識的網(wǎng)絡(luò)。我們的方法能夠選擇性地減慢對這些任務(wù)而言比較重要的權(quán)重的學(xué)習速率。通過解決一系列基于手寫數(shù)字數(shù)據(jù)集的分類任務(wù)和按順序?qū)W習多個 Atari 2600 游戲，我們表明我們的方法是可擴展的和有效的。

原文：https://deepmind.com/blog/enabling-continual-learning-in-neural-networks/

【本文是51CTO專欄機構(gòu)機器之心的原創(chuàng)譯文，微信公眾號“機器之心( id: almosthuman2014)”】

戳這里，看該作者更多好文