人工智能會(huì)產(chǎn)生意識(shí)嗎？

這是一直以來美劇《西部世界》中探討的問題。AI主人公覺醒，意識(shí)到這個(gè)世界是人類殺伐主宰的樂園，于是開啟了逆襲之路。

[[324368]]

在本周舉行的2020年ICLR上，圖靈獎(jiǎng)得主、蒙特利爾學(xué)習(xí)算法研究所主任Yoshua Bengio對(duì)AI和機(jī)器學(xué)習(xí)的未來提供了最新的見解。他講到未來機(jī)器學(xué)習(xí)完全有可能超越無意識(shí)，向全意識(shí)邁進(jìn)。而注意力機(jī)制正是實(shí)現(xiàn)這一過程的關(guān)鍵要素。

這位大咖2月份剛剛在紐約的2020年AAAI 會(huì)議上與圖靈獎(jiǎng)獲得者 Geoffrey Hinton 和 Yann LeCun 一起發(fā)表了演講。而在ICLR的演講中，Bengio 闡述了他更早之前的一些想法。

注意力機(jī)制是啥？

注意力機(jī)制來源于人類的視覺注意力，是人類在進(jìn)化過程中形成的一種處理視覺信息的機(jī)制。最簡單的例子，比如看一個(gè)圖片，會(huì)有特別顯眼的場景率先吸引注意力，因?yàn)榇竽X中對(duì)這類東西很敏感。 

[[324369]]

注意力是神經(jīng)科學(xué)理論的核心，該理論認(rèn)為人們的注意力資源有限，所以大腦會(huì)自動(dòng)提煉最有用的信息。

在機(jī)器學(xué)習(xí)的語境下，「注意力」指的是一個(gè)算法關(guān)注一個(gè)或同時(shí)關(guān)注到幾個(gè)元素的機(jī)制。它是一些機(jī)器學(xué)習(xí)模型架構(gòu)的核心。2017年，谷歌論文Attention is All You Need當(dāng)中提出了Transformer，一個(gè)利用注意力機(jī)制來提高模型訓(xùn)練速度的方法。Transformer在一些特定任務(wù)中性能表現(xiàn)超過Google之前的神經(jīng)機(jī)器翻譯模型。

Google Transformer架構(gòu)

目前，注意力模型（Attention Model）已經(jīng)在自然語言處理、圖像識(shí)別以及語音識(shí)別等領(lǐng)域取得了最先進(jìn)的成果，是深度學(xué)習(xí)技術(shù)中最值得關(guān)注與深入了解的核心技術(shù)之一。注意力模型也是構(gòu)成企業(yè)AI的基礎(chǔ)，幫助員工完成一系列認(rèn)知要求高的任務(wù)。

類比人類思維，靠直覺還是靠推理？

Bengio 在演講中談到了美籍以色列心理學(xué)家兼經(jīng)濟(jì)學(xué)家 Daniel Kahneman 在他2011出版的開創(chuàng)性著作《思考，快與慢》中提出的認(rèn)知系統(tǒng)。

第一種認(rèn)知類型是無意識(shí)的（快系統(tǒng)），憑直覺，非?？焖伲钦Z言性的，基于慣性，它只涉及隱含的知識(shí)類型，是人潛意識(shí)中的知識(shí)，深藏于腦海中。

簡單說，這種過程不費(fèi)腦子，第一反應(yīng)，直覺地做出回應(yīng)。比如說，思考1+1=2的過程。

當(dāng)然這種直覺思考的過程會(huì)產(chǎn)生很多偏差，比如說曝光效應(yīng)，光環(huán)效應(yīng)等。曝光效應(yīng)一個(gè)最明顯的例子就是電視廣告，天天重復(fù)播放的信息給你洗腦，會(huì)在人的大腦里構(gòu)成曝光效應(yīng)，讓你覺得這個(gè)產(chǎn)品好。直覺很多時(shí)候是非理性的。

第二種認(rèn)知類型是有意識(shí)的（慢系統(tǒng)），基于語言學(xué)和算法，要涉及更高級(jí)一些的推理和規(guī)劃，以及顯性的知識(shí)。換句話說，是需要費(fèi)力思考的，比較慢，比如說腦內(nèi)運(yùn)算158乘以67。

正是快和慢的結(jié)合構(gòu)成了我們?nèi)祟惖乃季S模式。

Bengio將這個(gè)人類的有意識(shí)思維和AI進(jìn)行對(duì)比，他指出，有意識(shí)的認(rèn)知系統(tǒng)的一個(gè)有趣特征是，它可以在新的情境下，將語義概念進(jìn)行重組，這也是人工智能和機(jī)器學(xué)習(xí)算法所具備的特性。

某種程度上，AI和機(jī)器學(xué)習(xí)算法比人腦的直覺要更加理性。

這讓人想起《西部世界》的科學(xué)顧問，神經(jīng)學(xué)家大衛(wèi)·伊格爾曼（David Eagleman）說的一句話，意識(shí)，是一種突破程序設(shè)定的連接。我們能夠復(fù)制大腦的算法；如果這個(gè)算法等同于意識(shí)，那意識(shí)也理應(yīng)可以被復(fù)制和轉(zhuǎn)移。

意識(shí)從無到有，未來AI不再「跟著感覺走」？

目前的機(jī)器學(xué)習(xí)方法還沒有完全超越無意識(shí)到全意識(shí)，但是 Bengio 相信這種轉(zhuǎn)變未來是完全有可能的。

他指出，神經(jīng)科學(xué)研究表明，有意識(shí)的思維中涉及的語義變量往往是含有因果關(guān)系的ーー它們涉及的對(duì)象可控，比如說意圖。換句話說，不再跟著感覺走，是有邏輯和目的性在其中。

同時(shí)，語義變量和思維之間存在映射關(guān)系，例如詞語和句子之間的關(guān)系，而且已有的概念可以進(jìn)行重新組合，形成新的、不熟悉的概念。

注意力正是實(shí)現(xiàn)這一過程的核心要素之一，Bengio 解釋道。

在此基礎(chǔ)上，他和同事們在去年的一篇論文中提出了循環(huán)獨(dú)立機(jī)制(recurrent independent mechanism，RIMs) ，這是一種新的模型架構(gòu)，在這種架構(gòu)中，多組單元獨(dú)立運(yùn)作，相互之間通過注意力機(jī)制交流。前者保證了專業(yè)，后者保證了泛化。

實(shí)驗(yàn)?zāi)繕?biāo)是，證明 RIM 能夠改善模型在不同環(huán)境和模塊化任務(wù)中的泛化效果。該研究不關(guān)注該方法是否超出高度優(yōu)化的基線模型，而是想展示該方法面對(duì)大量不同任務(wù)時(shí)的通用性，且這些任務(wù)的環(huán)境是不斷變化的。 

圖 10：RIM 與 LSTM 基線模型的對(duì)比。在這 4 個(gè)不同實(shí)驗(yàn)中，研究者對(duì)比了 RIM 和兩個(gè)不同的 LSTM 基線模型。在所有案例中，研究者發(fā)現(xiàn) rollout 過程中，RIM 比 LSTM 更準(zhǔn)確地捕捉到球的運(yùn)動(dòng)軌跡。

實(shí)驗(yàn)結(jié)果表明，RIM具備專門化（specialization）特性，可大幅提升模型在大量不同任務(wù)上的泛化性能。

「這使得智能體能夠更快地適應(yīng)分布的變化，或者... ... 推斷出變化發(fā)生的原因，」Bengio 說。

他又講到想要打造「有意識(shí)」的AI系統(tǒng)面臨幾大挑戰(zhàn)，包括訓(xùn)練模型進(jìn)行元學(xué)習(xí)(或理解數(shù)據(jù)中的因果關(guān)系) ，以及加強(qiáng)機(jī)器學(xué)習(xí)和強(qiáng)化學(xué)習(xí)之間的集成。但他相信，生物學(xué)和AI研究之間的相互作用最終將解開這把神奇的鑰匙，使這些機(jī)器可以像人類一樣推理，甚至表達(dá)情感。 

[[324370]]

「神經(jīng)科學(xué)早已開始研究意識(shí)相關(guān)的問題了... ... 在過去的幾十年里取得了很大進(jìn)展。我認(rèn)為現(xiàn)在是時(shí)候?qū)⑦@些進(jìn)展納入到機(jī)器學(xué)習(xí)模型當(dāng)中了?！笲engio在演講中表示。

看來西部世界中的世界也不遠(yuǎn)了...