[[232536]]

大數(shù)據(jù)文摘出品

編譯：臻臻、Shan LIU、龍牧雪

大部分人不會喜歡遺忘的感覺。

回到家順手把鑰匙丟在一個(gè)角落就再也想不起來放在哪兒了，街角偶遇一個(gè)同事卻怎么拍腦袋也叫不出他的名字……我們害怕遺忘，討厭遺忘。

然而，生而為人，健忘其實(shí)是種關(guān)鍵能力。

對于人類而言，遺忘絕不僅僅是“想不起來”，而是一個(gè)幫助大腦吸收新信息并鍛煉有效決策的積極過程。

現(xiàn)在，數(shù)據(jù)科學(xué)家們正在嘗試應(yīng)用神經(jīng)科學(xué)原理來改進(jìn)機(jī)器學(xué)習(xí)，并且堅(jiān)信人類大腦能夠解鎖圖靈完備的人工智能。

人腦為什么需要遺忘

我們的大腦被普遍認(rèn)作為信息過濾器。先放入一大堆亂七八糟的數(shù)據(jù)，篩選有用的信息，然后清理任何不相關(guān)的細(xì)節(jié)，用以陳述故事或作出決策。清除沒用的細(xì)節(jié)是為了給新數(shù)據(jù)騰出儲存空間，類似在計(jì)算機(jī)上運(yùn)行磁盤清理。

[[232537]]

用神經(jīng)生物學(xué)的術(shù)語來說，遺忘發(fā)生于神經(jīng)元之間的突觸連接減弱或者消失之時(shí)，同時(shí)隨著新神經(jīng)元的發(fā)育，他們又會重新連接海馬回路，覆蓋現(xiàn)有記憶。

對于人類來說，遺忘有兩個(gè)好處：

• 通過減少過時(shí)信息對我們決策的影響來增強(qiáng)靈活性
• 防止過度擬合過去的特定事件和促進(jìn)概括能力

為了有效地適應(yīng)環(huán)境，人類需要有策略性遺忘的能力。

計(jì)算機(jī)也需要遺忘?

計(jì)算機(jī)的遺忘與人類的不同，這是人工智能面臨的一大挑戰(zhàn)。深度神經(jīng)網(wǎng)絡(luò)在完成機(jī)器學(xué)習(xí)任務(wù)方面非常成功，但它們的遺忘方式也與我們不一樣。

舉一個(gè)簡單的例子，如果你教一個(gè)講英語的孩子學(xué)習(xí)西班牙語，這個(gè)孩子會在學(xué)習(xí)過程中應(yīng)用英語學(xué)習(xí)的技巧，比如名詞、動詞動態(tài)、句子建立方法等。同時(shí)他會忘記那些不相關(guān)的部分，比如口音、嘟囔、語調(diào)等。如此，這個(gè)孩子可以在策略性遺忘的同時(shí)逐漸學(xué)習(xí)和建立新的思維方式。

[[232538]]

相比之下，如果你已經(jīng)訓(xùn)練了一個(gè)神經(jīng)網(wǎng)絡(luò)去學(xué)習(xí)英語，那么它的參數(shù)則已經(jīng)適應(yīng)了英語問題的解法。此時(shí)你要教它學(xué)習(xí)西班牙語，它就會生成新的適應(yīng)系統(tǒng)并覆蓋以前為學(xué)習(xí)英語所獲得的知識，刪除所有內(nèi)容并重新開始。這被稱作“災(zāi)難性遺忘”，并被認(rèn)為是“神經(jīng)網(wǎng)絡(luò)的一個(gè)根本局限”。

雖然這還是一個(gè)新領(lǐng)域，最近科學(xué)家們已經(jīng)在探索克服這種限制的潛在理論，并取得了長足的進(jìn)步。

三、3個(gè)方法教AI學(xué)會遺忘

1. 長短期記憶網(wǎng)絡(luò)(LSTM)

LSTM是一種循環(huán)神經(jīng)網(wǎng)絡(luò)，它使用特定的學(xué)習(xí)機(jī)制來決定在任意一個(gè)節(jié)點(diǎn)哪些信息需要記住，哪些需要更新，哪些需要關(guān)注。

LSTM工作機(jī)制如何?一個(gè)簡單的解釋是拿電影來做類比：假設(shè)一個(gè)計(jì)算機(jī)正在嘗試通過分析先前的場景來預(yù)測電影中接下來會發(fā)生的事。一個(gè)場景是一個(gè)女人拿著一把刀，計(jì)算機(jī)會猜測她是一個(gè)廚師還是兇手呢?另一個(gè)場景中，一個(gè)女人和一個(gè)男人在金色拱門下吃壽司：計(jì)算機(jī)會猜他們是在日本還是麥當(dāng)勞呢?或者其實(shí)他們是在圣路易斯?

[[232539]]

大拱門是美國圣路易斯的標(biāo)志性建筑

LSTM通過以下3步提升神經(jīng)網(wǎng)絡(luò)：

(1) 遺忘/記憶

(2) 保存

當(dāng)模型看到一張新圖像，它需要了解這個(gè)圖像是否有什么信息值得被使用和保存。如果一個(gè)女人在某個(gè)場景中路過廣告牌，機(jī)器應(yīng)該記住這個(gè)廣告牌還是將其視作噪聲數(shù)據(jù)忽略掉呢?

(3) 劃重點(diǎn)

我們可能需要記住電影中的這個(gè)女人是個(gè)母親這一信息點(diǎn)，因?yàn)槲覀兩院髸匆娝暮⒆觽儯沁@個(gè)信息在她不出現(xiàn)的場景里可能并不重要，所以在那些場景里我們不需要重點(diǎn)關(guān)注。同樣，并非所有存儲在神經(jīng)網(wǎng)絡(luò)的長期記憶中的內(nèi)容都是立即相關(guān)的，所以LSTM所做的就是在安全保存所有信息備用的同時(shí)，幫助決定哪一部分在哪一時(shí)刻被重點(diǎn)關(guān)注。

2. 彈性權(quán)重固化(EWC)

EWC是由谷歌旗下DeepMind的研究人員于2017年3月創(chuàng)建的一種算法，旨在模擬一種被稱為突觸整合的神經(jīng)科學(xué)過程。在突觸整合過程中，我們的大腦評估一項(xiàng)任務(wù)，計(jì)算許多用于執(zhí)行任務(wù)的神經(jīng)元的重要性，同時(shí)權(quán)衡哪些神經(jīng)元對正確執(zhí)行任務(wù)更為重要。

這些關(guān)鍵的神經(jīng)元被編譯為重要的，并且在隨后的任務(wù)中相對不可能被覆蓋。同樣，在神經(jīng)網(wǎng)絡(luò)中，多個(gè)連接(如神經(jīng)元)被用于執(zhí)行任務(wù)。EWC將一些連接編譯為至關(guān)重要的，從而保護(hù)他們不被覆蓋/遺忘。

在下面的圖表中，你可以看到研究人員將EWC應(yīng)用于Atari游戲時(shí)發(fā)生了什么。藍(lán)線表示標(biāo)準(zhǔn)的深度學(xué)習(xí)過程，紅線及棕線則由EWC提供以顯示改進(jìn)后的結(jié)果：

3. 瓶頸理論

瓶頸理論由耶路撒冷希伯來大學(xué)的計(jì)算機(jī)科學(xué)家和神經(jīng)科學(xué)家Naftali Tishby在2017年秋提出。這個(gè)構(gòu)想是，網(wǎng)絡(luò)擺脫了嘈雜的無關(guān)細(xì)節(jié)的輸入數(shù)據(jù)，就好比用瓶頸將信息擠壓，只保留與基本概念最相關(guān)的特征。

Tishby解釋說，神經(jīng)網(wǎng)絡(luò)經(jīng)歷了兩個(gè)階段的學(xué)習(xí)——擬合與壓縮。在擬合過程中，網(wǎng)絡(luò)標(biāo)記其訓(xùn)練數(shù)據(jù);而在更漫長的壓縮過程中，它“丟棄關(guān)于數(shù)據(jù)的信息，只跟蹤***大的特征”，也即是那些最能幫助它泛化的特征。通過這種方式，壓縮成為策略性遺忘的一種方式，掌控這一瓶頸也可能成為AI研究人員用于構(gòu)建未來更強(qiáng)大神經(jīng)網(wǎng)絡(luò)的新目標(biāo)和體系的一個(gè)工具。

正如Tishby所說：“遺忘才是學(xué)習(xí)過程中最重要的一部分。”

人類大腦和遺忘的過程中，有可能藏著通往強(qiáng)AI的密碼。但科學(xué)家們?nèi)栽谏舷虑笏鳌?/p>

相關(guān)報(bào)道：

https://hackernoon.com/machine-un-learning-why-forgetting-might-be-the-key-to-ai-406445177a80

【本文是51CTO專欄機(jī)構(gòu)大數(shù)據(jù)文摘的原創(chuàng)譯文，微信公眾號“大數(shù)據(jù)文摘（ id: BigDataDigest）”】

戳這里，看該作者更多好文