本文經(jīng)AI新媒體量子位（公眾號ID:QbitAI）授權(quán)轉(zhuǎn)載，轉(zhuǎn)載請聯(lián)系出處。

千呼萬喚始出來，馬毅教授的AI綜述論文終于出爐！

耗時三個多月，聯(lián)合神經(jīng)科學家曹穎、計算機大牛沈向洋，協(xié)作完成。

據(jù)本人描述，這篇論文是將他“過去五年的工作以及智能七十多年的發(fā)展有機結(jié)合起來”，并且還表示：

一生從未在一篇文章上花這么多精力和時間。

具體而言，就是“理出了智能的起源以及計算原理的基本輪廓和框架，能讓大家認識到這種理論聯(lián)系實踐的可能性?！?/p>

此前在社交網(wǎng)絡(luò)上預(yù)告時，許多網(wǎng)友都期待十足。

結(jié)果今天剛發(fā)不久，就有學者表示，正好要設(shè)計新的生成模型，給了我靈感。

來看看這是篇怎樣的論文？

兩大原則：簡約和自洽

過去十年中，人工智能的進展主要依賴于訓(xùn)練同質(zhì)化的黑箱模型，決策過程、特征表示等方面在很大程度上都是難以解釋的。

而這種端到端的粗暴訓(xùn)練，不僅導(dǎo)致了模型大小、訓(xùn)練數(shù)據(jù)以及計算成本不斷增長，而且在實踐中還伴隨著許多問題。

學到的表征缺乏豐富性；訓(xùn)練中缺乏穩(wěn)定性；缺乏適應(yīng)性，容易出現(xiàn)災(zāi)難性遺忘……

基于這樣的背景，研究人員假設(shè)，在實踐中出現(xiàn)這些問題的根本原因之一，是對智能系統(tǒng)的功能和組織原則缺乏系統(tǒng)和綜合的理解。

而這背后是否存在一個統(tǒng)一的方法來解釋。

為此這篇文章提出了兩個基本原則——簡約和自洽，分別回答兩個關(guān)于學習的基本問題。

1、學什么：從數(shù)據(jù)中學習的目標是什么，如何衡量？

2、如何學：我們?nèi)绾瓮ㄟ^高效和有效的計算來實現(xiàn)這樣一個目標？

他們認為這兩個原則制約著任何智能系統(tǒng)的功能和設(shè)計，而且完全可以以可測量和可計算的方式重新表述。

以簡約性為例。智能的基礎(chǔ)是環(huán)境中的低維結(jié)構(gòu)，這讓預(yù)測和泛化變成可能，這也就是簡約原則。而應(yīng)該如何來度量？本文提出了個幾何公式來衡量簡約性。

基于這兩個原則， 得出了感知/智能的通用架構(gòu)：壓縮器和生成器之間的閉環(huán)轉(zhuǎn)錄。

它暗示了兩者之間的交互應(yīng)該是一種追逃游戲。在這個游戲中，他們扮演聯(lián)合目標函數(shù)的對立面，而非自動編碼器。

這也是此框架的主要優(yōu)勢之一，通過自我監(jiān)督和自我批判進行自我學習，這是最自然和有效的。

從根本上說，這個框架可以擴展到完全無監(jiān)督的環(huán)境中， 這時候只需將每個新樣本和它的增量做看作新的累。

自監(jiān)督類型+自我批評的游戲機制，這樣一個閉環(huán)轉(zhuǎn)錄就會很容易學會。

值得一提的是，這種學習特征的結(jié)構(gòu)，類似于在靈長類動物的大腦中觀察到的類別選擇區(qū)域的結(jié)構(gòu)。

作者之一曹穎表示，這個框架與此前諸多想法類似，包括預(yù)測編碼、對比學習、生成模型、Transformer……

除此之外，他們還給出了些新方向，比如CV與圖形學之間的閉環(huán)關(guān)系。

最后整合在一起，一個自主的智能體，學習某種任務(wù)的最佳策略，是將感知（反饋）、學習、優(yōu)化和行動整合到一個閉環(huán)中。

它統(tǒng)一并解釋了現(xiàn)代深度網(wǎng)絡(luò)和許多人工智能實踐的演變。雖然整個文章主要以視覺數(shù)據(jù)的建模為例。

但研究人員相信這兩個原則，將統(tǒng)一對廣泛自主智能系統(tǒng)的理解，并為理解大腦提供一個框架。

最后，他們還以熱力學之父的話作為結(jié)尾。

大致意思是只有當你能測量，并用數(shù)字來表示你所講的東西時，你就對它有了解；如若不然，它可能是知識的開始，但在你的思想中，你幾乎沒有推進到科學的階段。

One More Thing

有意思的是，就在提交arXiv之際，馬毅教授還在網(wǎng)絡(luò)上求助：

有人就不能寫一個接口嗎？一鍵提交論文的那種。而不是花費大量時間在修改論文。

網(wǎng)友們也紛紛支招：使用LaTeX 編譯器，而不是PdfLaTeX。

還有人直接上圖。

好了，感興趣的旁友可戳下方鏈接了解更多～

論文鏈接：

https://arxiv.org/abs/2207.04630