今年3月，Gary Marcus（加里·馬庫斯）提出「深度學習撞墻」這個觀點后，在人工智能學界激起千層浪。

當時，就連深度學習三巨頭都坐不住了，先是Geoffrey Hinton在一期播客中駁斥了這個觀點。

緊接著6月，Yann LeCun撰寫了一篇文章對此作出了回應，并指出別把一時困難當撞墻。

現(xiàn)在，馬庫斯在美國NOEMA雜志發(fā)表了一篇題為「Deep Learning Alone Isn’t Getting Us To Human-Like AI」的文章。

同樣，他依舊沒有改變自己的觀點——僅靠深度學習并不能實現(xiàn)類人智能。

并提出，當前人工智能主要集中在深度學習上的研究，是時候該重新考慮一下了。

近70年來，人工智能領(lǐng)域中最根本的爭論就是：人工智能系統(tǒng)是否應該建立在「符號操作」上 ，還是應該建立在類腦的「神經(jīng)網(wǎng)絡」系統(tǒng)之上。

其實，這里還有第三種可能性：混合模型 ——將神經(jīng)網(wǎng)絡的深度學習與符號操作的強大抽象能力相結(jié)合。

LeCun近期在NOEMA雜志發(fā)表的文章「What AI Can Tell Us About Intelligence」同樣探討了這個問題，但是馬庫斯指出他的文章看似清晰，但又有明顯缺陷，即前后邏輯矛盾。

這篇文章開頭，他們拒絕混合模型，但文章最后又承認混合模型的存在，并提到它是一種可能的前進方式。

神經(jīng)網(wǎng)絡和符號操作的混合模型

馬庫斯指出，LeCun和Browning的觀點主要是「如果一個模型學會了符號操作，它就不是混合的」。

但機器學習的問題是一個發(fā)展的問題（系統(tǒng)是如何產(chǎn)生的？）

而系統(tǒng)一旦發(fā)展起來如何運作是一個計算問題（例如，它使用一種機制還是兩種機制？），即「任何利用了符號和神經(jīng)網(wǎng)絡兩者的系統(tǒng)都是混合模型」。

也許他們真正想說的是，人工智能很可能是一種學習的混合體，而不是天生的混合體。但學習的混合體仍然是混合體。

而馬庫斯的觀點是，「符號操作本身就是與生俱來的，或者有另外一種東西是與生俱來的，這種東西間接促成了符號操作的產(chǎn)生」。

所以我們的研究重心應當放在如何發(fā)現(xiàn)這個間接促成符號操作的介質(zhì)上。

即提出了假設，只要我們能弄清楚是什么介質(zhì)讓系統(tǒng)達到可以學習符號抽象的程度，我們就能構(gòu)建利用世界上所有知識的系統(tǒng)。

接下來，馬庫斯引經(jīng)據(jù)典，梳理了人工智能領(lǐng)域關(guān)于符號操作和神經(jīng)網(wǎng)絡辯論的歷史。

早期的人工智能先驅(qū)如Marvin Minsky、John McCarthy認為符號操作是唯一合理的前進方式。

而神經(jīng)網(wǎng)絡先驅(qū)Frank Rosenblatt則認為，AI建立在神經(jīng)節(jié)點疊加并處理數(shù)字輸入的結(jié)構(gòu)上表現(xiàn)可能會更好。

事實上，這兩種可能性并不相互排斥。

AI所使用的神經(jīng)網(wǎng)絡并不是字面上的生物神經(jīng)元網(wǎng)絡，相反，它是一個簡化的數(shù)字模型，它具備一些人類大腦的特性，但復雜性很小。

原則上，這些抽象符號可以以許多不同的方式連接起來，其中一些可以直接實現(xiàn)邏輯和符號操作。

Warren S. McCulloch 和 Walter Pitts在1943年發(fā)表的A Logical Calculus of the Ideas Inmanent in Nervous Activity，明確承認了這種可能性。

其他人包括1950 年代的 Frank Rosenblatt 和 1980 年代的 David Rumelhart 和 Jay McClelland，提出了神經(jīng)網(wǎng)絡作為符號操作的替代方案。Geoffrey Hinton 也普遍支持這一立場。

然后馬庫斯又接連把LeCun、Hinton和Yoshua Bengio等圖靈獎獲得者cue了個遍。

意思是光我說了不算，其他大佬都這么說的！

時間來到2015年，LeCun、Bengio和Hinton在Nature上寫了一篇關(guān)于深度學習的宣言式論文。

這篇文章以對符號的攻擊結(jié)束，認為「需要新的范式來通過對大向量的操作來取代基于規(guī)則的符號表達式操作」。

事實上，Hinton 非常確信符號是一條死胡同，同年他在斯坦福大學發(fā)表了一個名為「以太符號」的演講——將符號比作科學史上最大的錯誤之一。

上世紀80年代，他的兩位前合作者 Rumelhart 和 McClelland 也提出了類似的論點，他們在 1986 年的一本著名著作中辯稱，符號不是「人類計算的本質(zhì)」，引發(fā)了大辯論。

馬庫斯稱，2018年他寫了一篇文章為符號操作辯護時，LeCun不加解釋地否定了他關(guān)于混合AI的論點，在 Twitter上將其斥為「大部分錯誤的觀點」。

然后又說，兩位著名的深度學習領(lǐng)域的大牛也表示支持混合 AI。

Andrew Ng在3月表示支持此類系統(tǒng)。Sepp Hochreiter——LSTMs 的共同創(chuàng)造者，領(lǐng)先的學習序列深度學習架構(gòu)之一，也做了同樣的事情，他在四月公開表示，最有希望的廣泛人工智能方法是神經(jīng)符號人工智能。

而在LeCun和Browning的新觀點里，符號操作實際上是至關(guān)重要的，正如馬庫斯和Steven Pinker從1988年開始提出的觀點。

馬庫斯也就由此指責Lecun，「你的觀點我?guī)资昵熬吞岢隽?，你的研究倒退了幾十年」?/span>

而且不只是我一個人說的，其他大佬也這么認為。

LeCun 和 Browning 的其余文章大致可以分為三個部分：

1、對我的立場的錯誤描述2、努力縮小混合模型的范圍3、符號操作可能是通過學習而不是與生俱來的原因。

接下來馬庫斯又針對LeCun論文中的觀點進行反駁：

LeCun和Browning說，「Marcus說，如果你一開始沒有符號操作，你就永遠不會擁有它」。

而事實上我在2001年的《代數(shù)思維》一書中明確承認，我們不確定符號操作是否是與生俱來的。

他們批評我「深度學習無法取得進一步進展」的言論，而我的實際觀點并不是DL在任何問題上都不會再有進展，而是深度學習本身對于組合性、推理等某些工作來說是錯誤的工具。

同樣，他們污蔑我說系統(tǒng)中符號推理要么有要么沒有（1或者0）。

這根本就是瞎說。

的確DALL-E不使用符號進行推理，但這并不意味著任何包含符號推理的系統(tǒng)都必須是有或者沒有。

至少早在上世紀70年代的系統(tǒng)MYCIN中，就有純粹的符號系統(tǒng)可以進行各種定量推理。

符號操作先天性

符號操作能力是否可以通過學習而不是從一開始就建立？

答案是肯定的。

馬庫斯稱，之前的實驗雖然不能保證符號操作的能力是與生俱來的，但幾乎與這一觀點別無二致。它們確實對任何依賴大量經(jīng)驗的學習理論構(gòu)成了挑戰(zhàn)。

并提出了以下2個主要的論點：

1、可學習性

在2001年出版的The Algebraic Mind一書中，馬庫斯展示了某些系統(tǒng)都能夠?qū)W習符號操作。

一個系統(tǒng)，如果有一些內(nèi)置的起點，將比一塊純粹的白板更能有效地了解這個世界。

事實上，就連LeCun自己最著名的工作——On Convolutional Neural Networks ——就是一個很好的例證：對神經(jīng)網(wǎng)絡學習方式的內(nèi)置約束，從而大大提高了效率。很好地集成符號操作后，可能會帶來更大的收益。

2、人類嬰兒表現(xiàn)出一些符號操作的能力

在一系列經(jīng)常被引用的規(guī)則學習實驗中，嬰兒們將抽象模式推廣到了他們所接受過訓練的具體例子之外。隨后對人類嬰兒內(nèi)隱邏輯推理能力的研究更加證明了這一點。

另外，研究表明，比如蜜蜂可以以將太陽方位角函數(shù)推廣到它們從未見過的光照條件下。

在LeCun看來，學習符號等同于晚年獲得的東西，是因為年輕時候需要更精確、更專業(yè)的技能。

而令人費解的是，在反對符號操作的先天性后，LeCun并沒有給出強有力的證據(jù)，證明符號操作是后天習得的。

如果一只小山羊在出生后不久就可以爬下山坡，為什么新生的神經(jīng)網(wǎng)絡不能開箱即用地結(jié)合一點符號操作呢？

同時，LeCun和Browning沒有具體說明，缺乏符號操作的內(nèi)在機制，如何解決語言理解和推理中眾所周知的特定問題？

他們只是給出一個微弱的歸納：由于深度學習已經(jīng)克服了從1到N的問題，我們應該對它能克服N+1問題有信心。

人們應該懷疑深度學習是否已經(jīng)達到了極限。鑒于最近在DALL-E 2、Gato和PaLM中看到的任務持續(xù)增量改進，不要將一時困難誤認為是「墻」似乎是明智的。深度學習不可避免的失敗之前已經(jīng)被預言過，但押注它是不值得的。

樂觀是一方面，但要看清現(xiàn)實。

深度學習原則上面臨著一些特定的挑戰(zhàn)，主要在組合性、系統(tǒng)性和語言理解方面，所有這些圍繞著一般化和「分布遷移」。

現(xiàn)在，每個人都認識到分布遷移是當前神經(jīng)網(wǎng)絡的致命弱點。當然，深度學習已經(jīng)取得了進展，但是在這些基礎(chǔ)問題上，進展并不大。

在馬庫斯看來，符號操作可能具有先天性的情況與以往的情況大致相同:

1、當前的系統(tǒng)，在「代數(shù)思維」出現(xiàn)的20年后，即使面對海量的數(shù)據(jù)集和訓練，仍然無法可靠地提取符號運算（例如乘法）。

2、人類嬰兒的例子表明，在接受正規(guī)教育之前，他們有能力概括自然語言和推理的復雜方面。3、一點內(nèi)在的象征意義可以大大提高學習效率。AlphaFold 2的強大功能部分來自于精心構(gòu)建的分子生物學與生俱來的表征。

簡言之，世界可能大致分為三個垃圾箱:

一是在工廠完全安裝了符號操作設備的系統(tǒng)。

二是具有先天的學習裝置系統(tǒng)缺乏符號操作，但是在正確的數(shù)據(jù)和訓練環(huán)境下，有足夠的能力獲得它。

三是即使有足夠的訓練，也無法獲得完整的符號操作機制的系統(tǒng)。

當前的深度學習系統(tǒng)似乎屬于第三類：一開始沒有符號操作機制，并且在此過程中沒有可靠的符號操作機制。

當前，了解符號操作的來源是我們的首要任務。即便是神經(jīng)網(wǎng)絡最狂熱的支持者現(xiàn)在也認識到符號操作對于實現(xiàn)AI的重要性。

而這正是神經(jīng)符號學界一直關(guān)注的問題: ：如何讓數(shù)據(jù)驅(qū)動的學習和符號表示在一個單一的、更強大的智能中協(xié)調(diào)一致地工作？