【51CTO.com快譯】深度學(xué)習(xí)的挑戰(zhàn)

　　過去的幾年已經(jīng)證明，作為深度學(xué)習(xí)模型的主要組成部分，人工神經(jīng)網(wǎng)絡(luò)相對(duì)生物大腦來說缺乏效率、靈活性以及通用性。

　　本吉奧、辛頓和勒庫(kù)在論文中提到：雖然在各式任務(wù)中取得成功，但監(jiān)督學(xué)習(xí)需要大量的數(shù)據(jù)標(biāo)注，而僅基于獎(jiǎng)勵(lì)的強(qiáng)化學(xué)習(xí)又需要大量交互。這正是當(dāng)下的機(jī)器學(xué)習(xí)需要突破的地方。

　　具體來說，監(jiān)督學(xué)習(xí)是機(jī)器學(xué)習(xí)中的一種訓(xùn)練方式，通過讓機(jī)器學(xué)習(xí)大量帶有標(biāo)簽的樣本數(shù)據(jù)，訓(xùn)練出一個(gè)模型，并使該模型可以根據(jù)輸入得到相應(yīng)輸出的過程。簡(jiǎn)言之，在訓(xùn)練集中找規(guī)律，再對(duì)測(cè)試樣本使用這種規(guī)律。由此可見，對(duì)于有大量標(biāo)簽樣本的任務(wù)來說監(jiān)督學(xué)習(xí)非常有用。

　　強(qiáng)化學(xué)習(xí)則是機(jī)器學(xué)習(xí)的另一種訓(xùn)練方式，機(jī)器（agent）以“試錯(cuò)”的方式進(jìn)行學(xué)習(xí)，通過與環(huán)境進(jìn)行交互獲得的獎(jiǎng)勵(lì)指導(dǎo)行為，旨在使機(jī)器選擇的行為能獲得環(huán)境最大的獎(jiǎng)勵(lì)。簡(jiǎn)單如五子棋的棋盤，機(jī)器在棋盤上排列出五子連珠即可獲得獎(jiǎng)勵(lì)，復(fù)雜如城市交通環(huán)境，自動(dòng)駕駛汽車在其中要避免碰撞、遵守交規(guī)、到達(dá)目的地就能獲得獎(jiǎng)勵(lì)。

　　上述可見，這兩種機(jī)器學(xué)習(xí)的方式需要投入大量勞力。對(duì)監(jiān)督學(xué)習(xí)來說，標(biāo)注數(shù)據(jù)集非常難得，尤其是在沒有開源數(shù)據(jù)集的專業(yè)領(lǐng)域，因?yàn)檫@往往意味著大量標(biāo)注的人力成本和時(shí)間。對(duì)強(qiáng)化學(xué)習(xí)來說，需要大量的計(jì)算資源來進(jìn)行不斷地訓(xùn)練試錯(cuò)，因此只有少數(shù)公司和科研機(jī)構(gòu)可以采用這一訓(xùn)練方式。

　　本吉奧、辛頓和勒庫(kù)也在文中提到，目前深度學(xué)習(xí)能解決的問題范圍依然比較局限。固然這些學(xué)習(xí)方式在某些特定任務(wù)中表現(xiàn)出色，但出了那個(gè)它們接受過訓(xùn)練的狹窄領(lǐng)域后，這些系統(tǒng)往往是脆弱的。一般來說，一些細(xì)微的變化，諸如圖片像素的微調(diào)或環(huán)境規(guī)則的變更，都可能導(dǎo)致深度學(xué)習(xí)任務(wù)誤入歧途。

　　這種局限性很大程度上要?dú)w因于“獨(dú)立同分布”（I.I.D）假設(shè)。從早期開始，機(jī)器學(xué)習(xí)領(lǐng)域的理論家們就專注于I.I.D假設(shè)——測(cè)試用例應(yīng)該來自與訓(xùn)練用例相同的分布。但遺憾的是，這種假設(shè)與現(xiàn)實(shí)世界并不相符。

　　現(xiàn)實(shí)世界的構(gòu)成會(huì)因?yàn)椴煌囊蛩囟粩嘧兓?，其中許多因素如果沒有因果模型幾乎是不可能展現(xiàn)的。智能體必須不斷地觀察并從環(huán)境和其他智能體中學(xué)習(xí)，從而使自己的行為適應(yīng)這種變化。事實(shí)上，即使是當(dāng)今最好的人工智能系統(tǒng)，從實(shí)驗(yàn)室遷移到生產(chǎn)環(huán)境時(shí)表現(xiàn)也往往會(huì)受影響。

　　當(dāng)應(yīng)用到諸如計(jì)算機(jī)視覺和自然語(yǔ)言處理等領(lǐng)域時(shí)，智能體必須處理高熵環(huán)境，I.I.D假設(shè)就變得更加脆弱。目前很多研究人員和公司試圖通過在更多數(shù)據(jù)上訓(xùn)練神經(jīng)網(wǎng)絡(luò)來克服深度學(xué)習(xí)的局限性，希望更大的數(shù)據(jù)集覆蓋更廣泛的分布，從而降低其在現(xiàn)實(shí)世界中的失敗幾率。

　　深度學(xué)習(xí)vs混合人工智能

　　人工智能科學(xué)家的最終目標(biāo)是通用人工智能。但如今的深度學(xué)習(xí)系統(tǒng)對(duì)于分布變化適應(yīng)的魯棒性較之人類還是相去甚遠(yuǎn)。

　　本吉奧、辛頓和勒庫(kù)在他們的論文中提到，人類和動(dòng)物主要通過觀察來學(xué)習(xí)大量關(guān)于這個(gè)世界的常識(shí)。這些常識(shí)可以作為基礎(chǔ)幫助人類學(xué)習(xí)復(fù)雜任務(wù)，因此人類往往只需要幾個(gè)范例，就能夠快速適應(yīng)類似的變化。

　　他們認(rèn)為，人類進(jìn)行泛化的方式不同于普通的I.I.D：人類正確解釋現(xiàn)有概念的新組合。即使這些組合在我們的訓(xùn)練分布中出現(xiàn)的概率極低，只要符合我們已經(jīng)學(xué)到的高級(jí)句法和語(yǔ)義模式，我們就能正確理解。

　　科學(xué)家們?yōu)榭s小人工智能和人類智能之間的差距提供了各種解決方案。在過去幾年中，一種被廣泛討論的方法是將神經(jīng)網(wǎng)絡(luò)與經(jīng)典符號(hào)系統(tǒng)相結(jié)合的混合人工智能。符號(hào)操縱是人類思考世界能力的重要組成部分，也是深度學(xué)習(xí)系統(tǒng)面臨的巨大挑戰(zhàn)之一。但本吉奧、辛頓和勒庫(kù)并不認(rèn)可這一觀點(diǎn)，他們并不相信神經(jīng)網(wǎng)絡(luò)和符合人工智能的混合方案。他們認(rèn)為，更好的神經(jīng)網(wǎng)絡(luò)架構(gòu)將最終覆蓋到人類和動(dòng)物智能的各個(gè)方面，包括符號(hào)操縱、推理、因果推理和常識(shí)。

　　新進(jìn)展

　　如果要讓未來的機(jī)器學(xué)習(xí)系統(tǒng)有更好的泛化能力，以及更快地適應(yīng)分布外數(shù)據(jù)，我們應(yīng)該如何進(jìn)行設(shè)計(jì)？

　　在他們的論文中，Bengio, Hinton和LeCun介紹了深度學(xué)習(xí)的最新進(jìn)展。其中一個(gè)例子就是Transformer，這種神經(jīng)網(wǎng)絡(luò)架構(gòu)已經(jīng)成為很多應(yīng)用中的主導(dǎo)架構(gòu)，包括我們比較熟悉的OpenAI的GPT-3和谷歌的Meena等語(yǔ)言模型的核心。Transformer的優(yōu)勢(shì)之一是無(wú)需標(biāo)注數(shù)據(jù)就能學(xué)習(xí)。Transformer可以通過自監(jiān)督學(xué)習(xí)來開發(fā)表征，然后在收到提示后應(yīng)用這些表征來填補(bǔ)單詞缺失的句子或生成連貫的文本。最近，研究人員發(fā)現(xiàn)Transformer也可以應(yīng)用于計(jì)算機(jī)視覺任務(wù)。Transformer與卷積神經(jīng)網(wǎng)絡(luò)相結(jié)合可以預(yù)測(cè)隱藏區(qū)域的內(nèi)容。

　　一種更有前景的技術(shù)是對(duì)比學(xué)習(xí)，它試圖找到缺失區(qū)域的向量表示，而不是預(yù)測(cè)準(zhǔn)確的像素值。這似乎是一種更接近人類思維的方式。當(dāng)我們看到如下圖所示的圖像時(shí)，我們可能無(wú)法精準(zhǔn)地描述真實(shí)照片的細(xì)節(jié)，但我們的大腦可以對(duì)遮罩區(qū)域（如門、窗等）中可能出現(xiàn)的情況進(jìn)行高水平的描述。這可能更有利于將神經(jīng)網(wǎng)絡(luò)中的向量表示與現(xiàn)實(shí)世界的概念結(jié)合起來。

[[419935]]

　　讓神經(jīng)網(wǎng)絡(luò)減少對(duì)人類標(biāo)注數(shù)據(jù)的依賴，契合勒庫(kù)專注的自監(jiān)督學(xué)習(xí)方向的研究。

　　其他要點(diǎn)

　　如今的深度學(xué)習(xí)對(duì)于感知而言無(wú)疑是最為成功的，也就是所謂的系統(tǒng)1類任務(wù)，如何通過深度學(xué)習(xí)進(jìn)行系統(tǒng)2類任務(wù)，則需要審慎的通用步驟。在這方面的研究也令人期待。

　　“系統(tǒng)2類深度學(xué)習(xí)”這個(gè)概念借用了諾貝爾獎(jiǎng)得主心理學(xué)家丹尼爾·卡尼曼的術(shù)語(yǔ)。系連通2類描述了需要有意識(shí)思考的大腦功能，包括符號(hào)操作、推理、多步驟規(guī)劃和解決復(fù)雜的數(shù)學(xué)問題。系統(tǒng)2類深度學(xué)習(xí)仍處于早期階段，但如果它成為現(xiàn)實(shí)，它可以解決神經(jīng)網(wǎng)絡(luò)的一些關(guān)鍵問題，包括分布外泛化、因果推理、魯棒遷移學(xué)習(xí)和符號(hào)操作。

　　此外，“膠囊網(wǎng)絡(luò)”是辛頓過去幾年關(guān)注的一個(gè)研究領(lǐng)域。膠囊網(wǎng)絡(luò)的目的是將神經(jīng)網(wǎng)絡(luò)從檢測(cè)圖像中的特征升級(jí)到檢測(cè)物體、物體的物理性質(zhì)以及物體之間的層次關(guān)系。膠囊網(wǎng)絡(luò)可以通過直觀物理學(xué)提供深度學(xué)習(xí)，這種能力使人類和動(dòng)物能夠理解三維環(huán)境。

The future of deep learning, according to its pioneers – TechTalks  https://bdtechtalks.com/2021/07/01/deep-learning-future-bengio-hinton-lecun/?utm_campaign=Artificial%2BIntelligence%2BWeekly&utm_medium=email&utm_source=Artificial_Intelligence_Weekly_224

【51CTO譯稿，合作站點(diǎn)轉(zhuǎn)載請(qǐng)注明原文譯者和出處為51CTO.com】