谷歌DeepMind最新突破：讓機(jī)器像人腦一樣保留學(xué)習(xí)記憶，向類人智能更進(jìn)一步
導(dǎo)讀：和人腦不同，計(jì)算機(jī)程序?qū)W習(xí)執(zhí)行一項(xiàng)任務(wù)后，通常也會(huì)很快地忘記它們。而DeepMind這項(xiàng)***研究通過(guò)修改學(xué)習(xí)規(guī)則，程序在學(xué)習(xí)一個(gè)新任務(wù)時(shí)，還能記得起老任務(wù)。這樣的程序，能夠持續(xù)地、自適應(yīng)地學(xué)習(xí)，無(wú)疑這是程序邁向更加智能化的重要一步。
計(jì)算機(jī)程序?qū)W習(xí)執(zhí)行一項(xiàng)任務(wù)后，通常也會(huì)很快地忘記它們。相比之下，我們的大腦以非常不同的方式工作。我們能夠逐步學(xué)習(xí)，一次獲得一個(gè)技能，并在學(xué)習(xí)新任務(wù)時(shí)運(yùn)用我們以前的知識(shí)。作為起點(diǎn)，DeepMind在最近的PNAS文章里，提出一種方法來(lái)克服神經(jīng)網(wǎng)絡(luò)中的災(zāi)難性遺忘。靈感源自神經(jīng)科學(xué)關(guān)于哺乳動(dòng)物和人類大腦鞏固化既往獲得的技能和記憶的理論。
神經(jīng)科學(xué)家已經(jīng)發(fā)現(xiàn)，在大腦中有兩種固化方法：系統(tǒng)固化和突觸固化。系統(tǒng)固化是指將我們大腦的快速學(xué)習(xí)過(guò)程獲取的記憶印記到緩慢學(xué)習(xí)過(guò)程。這種印記由有意識(shí)的和無(wú)意識(shí)的回憶所介導(dǎo)的—例如，這可能在夢(mèng)中發(fā)生。第二種機(jī)制突觸固化，則是指那些在既往學(xué)習(xí)任務(wù)中扮演重要角色的神經(jīng)元之間的連接，不太可能被重寫。我們的算法，就是從這種機(jī)制中得到靈感，來(lái)解決災(zāi)難性忘記的問(wèn)題。
一個(gè)神經(jīng)網(wǎng)絡(luò)由多個(gè)連接組成，其連接方式與大腦的神經(jīng)元之間的連接方式相同。某個(gè)學(xué)習(xí)任務(wù)完成后，我們計(jì)算每個(gè)連接對(duì)該任務(wù)的重要性。當(dāng)我們學(xué)習(xí)下一個(gè)新的任務(wù)時(shí)，按照每個(gè)連接對(duì)舊任務(wù)的重要性的比例，保護(hù)它們免受修改。因此，可以學(xué)習(xí)新任務(wù)而不重寫在先前任務(wù)中已經(jīng)學(xué)習(xí)的內(nèi)容，并且不會(huì)引起顯著的計(jì)算成本增加。用數(shù)學(xué)術(shù)語(yǔ)來(lái)說(shuō)，我們可以認(rèn)為在一個(gè)新任務(wù)中每個(gè)連接所附加的保護(hù)比作彈簧，彈簧的強(qiáng)度與其連接的重要性成比例。為此，我們稱之為“彈性權(quán)重固化”( Elastic Weight Consolidation ， EWC)。
為了測(cè)試我們的算法，我們讓程序依次學(xué)習(xí)一個(gè)Atari游戲。當(dāng)DeepMind在2014年突破性地教它的機(jī)器學(xué)習(xí)系統(tǒng)如何玩Atari游戲時(shí)，系統(tǒng)可以學(xué)會(huì)擊敗游戲，并且得分高于人類，但不記得它是如何做到的。單單從得分來(lái)學(xué)習(xí)一個(gè)游戲是一項(xiàng)具有挑戰(zhàn)性的任務(wù)，但是依次學(xué)習(xí)多個(gè)游戲更具挑戰(zhàn)性，因?yàn)槊總€(gè)游戲需要單獨(dú)的策略。如下圖所示，如果沒有EWC，程序會(huì)在每個(gè)游戲停止后(藍(lán)色)會(huì)快速忘記它。這意味著，平均來(lái)說(shuō)，它幾乎沒有學(xué)會(huì)任何游戲。 然而，如果我們使用EWC(棕色和紅色)，程序不會(huì)輕易忘記，并可以一個(gè)接一個(gè)地學(xué)會(huì)玩好幾個(gè)游戲。
“以前，我們有一個(gè)系統(tǒng)，可以學(xué)習(xí)玩任何游戲，但它只能學(xué)會(huì)玩一個(gè)游戲，”James Kirkpatrick，DeepMind的研究科學(xué)家，并且其新研究論文的主要作者告訴WIRED。 “在這里我們展示一個(gè)可以學(xué)習(xí)玩很多個(gè)游戲的系統(tǒng)”。
“我們只允許它們?cè)谟螒蛑g的變化非常緩慢，”他說(shuō)。 “這種方式有學(xué)習(xí)新任務(wù)的空間，但我們應(yīng)用的更改不會(huì)覆蓋我們以前學(xué)習(xí)的算法”。
為了測(cè)試算法，DeepMind使用深層神經(jīng)網(wǎng)絡(luò)，稱為Deep Q-Network (DQN)，它以前曾用來(lái)征服Atari游戲。然而，這次使用EWC算法來(lái)“增強(qiáng)”DQN。它測(cè)試了算法和神經(jīng)網(wǎng)絡(luò)上隨機(jī)選擇的十個(gè)Atari游戲，這是AI已經(jīng)證明可以像一個(gè)人類玩家一樣好。每個(gè)游戲播放2000萬(wàn)次之前系統(tǒng)自動(dòng)移動(dòng)到下一個(gè)Atari游戲。
使用EWC算法的深層神經(jīng)網(wǎng)絡(luò)能夠?qū)W習(xí)玩一個(gè)游戲，然后轉(zhuǎn)移它學(xué)到的玩一個(gè)全新的游戲。
然而，系統(tǒng)絕不***。 雖然它能夠從以前的經(jīng)驗(yàn)中學(xué)習(xí)并保留最有用的信息，但是它不能像只完成一個(gè)游戲的神經(jīng)網(wǎng)絡(luò)那樣表現(xiàn)得好。“目前，我們已經(jīng)展示了順序?qū)W習(xí)，但我們還沒有證明它是對(duì)學(xué)習(xí)效率的改進(jìn)，”Kirkpatrick說(shuō)。 “我們的下一步將嘗試和利用順序?qū)W習(xí)嘗試和改進(jìn)現(xiàn)實(shí)世界的學(xué)習(xí)”。
連續(xù)學(xué)習(xí)任務(wù)而不忘記的能力是生物和人工智能的核心組成部分。今天，計(jì)算機(jī)程序還不能自適應(yīng)地、實(shí)時(shí)地從數(shù)據(jù)學(xué)習(xí)。然而，DeepMind已經(jīng)證明災(zāi)難性地遺忘并不是神經(jīng)網(wǎng)絡(luò)的不可逾越的挑戰(zhàn)。這項(xiàng)研究也推進(jìn)了我們對(duì)固化過(guò)程在人類大腦中如何發(fā)生的理解。事實(shí)上，我們的工作所基于的神經(jīng)科學(xué)理論主要在非常簡(jiǎn)單的例子中得到證實(shí)。通過(guò)將這個(gè)理論應(yīng)用在更現(xiàn)實(shí)和復(fù)雜的機(jī)器學(xué)習(xí)環(huán)境中，我們希望進(jìn)一步加強(qiáng)對(duì)突觸固化在記憶保留中的作用及其機(jī)制的研究。
來(lái)源：
https://deepmind.com/blog/enabling-continual-learning-in-neural-networks/， http://www.wired.co.uk/article/deepmind-atari-learning-sequential-memory-ewc
【本文是51CTO專欄機(jī)構(gòu)大數(shù)據(jù)文摘的原創(chuàng)譯文，微信公眾號(hào)“大數(shù)據(jù)文摘（ id: BigDataDigest）”】
