今年5月，DeepMind發(fā)布了一個(gè)多模態(tài)人工智能系統(tǒng)Gato，僅靠一套模型參數(shù)即可同時(shí)執(zhí)行600多種不同的任務(wù)，一時(shí)引起行業(yè)內(nèi)對通用人工智能（AGI）的熱議。

DeepMind的研究部主管Nando de Freitas當(dāng)時(shí)還發(fā)了一個(gè)推特表示，只要不斷提升規(guī)模（scale）就能把AI給通關(guān)了！

我們要做的只是讓模型更大、更安全、計(jì)算更有效率、采樣更快、更智能的存儲、更多模態(tài)、在數(shù)據(jù)上創(chuàng)新、在線/離線等。

只要解決規(guī)模上的問題就能抵達(dá)AGI，業(yè)界需要多關(guān)注這些問題！

最近，著名AI學(xué)者、Robust.AI的創(chuàng)始人兼 CEO 、紐約大學(xué)的名譽(yù)教授Gary Marcus又發(fā)表了一篇博客，認(rèn)為這種說法「為時(shí)太早了」，并且已經(jīng)開始出現(xiàn)危機(jī)了！

Marcus對AI行業(yè)發(fā)展持續(xù)關(guān)注，但對AI的炒作持批判態(tài)度，曾表達(dá)過「深度學(xué)習(xí)撞墻」、「GPT-3完全沒意義」等反對意見。

大模型玩不下去怎么辦？

Nando認(rèn)為，人工智能不需要進(jìn)行范式轉(zhuǎn)變，只需要更多的數(shù)據(jù)、更高的效率和更大的服務(wù)器。

Marcus把這個(gè)假設(shè)轉(zhuǎn)述為: 如果沒有根本性的新創(chuàng)新，AGI可能會從更大規(guī)模的模型中產(chǎn)生。這個(gè)假設(shè)也可以稱之為「規(guī)模超越一切」(scaling- über-alles)。

他的假設(shè)，現(xiàn)在通常被稱為規(guī)模最大化（scaling maximalism），仍然非常流行，很大程度上是因?yàn)樵絹碓酱蟮哪Ｐ痛_實(shí)性能很強(qiáng)，比如圖像生成等任務(wù)都需要借助大模型。

但也僅僅是到目前為止。

問題在于，數(shù)月乃至數(shù)年來不斷提高的一些技術(shù)，實(shí)際上遠(yuǎn)遠(yuǎn)不能達(dá)到我們所需要的那種規(guī)模。

龐氏騙局越來越多，規(guī)模帶來的性能優(yōu)勢只是經(jīng)驗(yàn)觀察得出的結(jié)果，無法確保正確。

Marcus分享了三個(gè)最近看到的前兆，可能預(yù)示著規(guī)模最大化假說可能將要終結(jié)。

1.世界上可能沒有足夠的數(shù)據(jù)量來支持規(guī)模最大化。

這點(diǎn)很多人已經(jīng)開始擔(dān)心了。

來自紐約大學(xué)和蘇黎世聯(lián)邦理工大學(xué)的研究人員William Merrill、Alex Warstadt和Tal Linzen最近提出了一個(gè)證明，稱「目前的神經(jīng)語言模型不太適合在沒有大量數(shù)據(jù)的情況下提取自然語言的語義」。

論文鏈接：https://arxiv.org/pdf/2209.12407.pdf

盡管這個(gè)證明中包含了太多的前置假設(shè)，以至于無法被當(dāng)作一個(gè)反駁證據(jù)，但是如果這個(gè)假設(shè)接近正確的話，那么在規(guī)模上可能很快就會出現(xiàn)真正的麻煩。

2.世界上可能沒有足夠的可用計(jì)算資源支撐規(guī)模最大化。

Miguel Solano最近給Marcus寄來了一份合作撰寫的手稿 ，作者認(rèn)為，要想達(dá)到當(dāng)前的超級基準(zhǔn)，例如BIG-bench，將會需要消耗2022年全美國電力消耗的四分之一還多。

倉庫鏈接：??https://github.com/google/BIG-bench??

BIG-bench是一個(gè)眾包的基準(zhǔn)數(shù)據(jù)集，旨在探索大型語言模型并推斷其未來的能力，其中包含200多個(gè)任務(wù)。

3.一些重要的任務(wù)可能根本無法在規(guī)模上擴(kuò)展。

最明顯的例子是最近由Ruis, Khan, Biderman, Hooker, Rockt?schl和Grefenstette共同完成的一項(xiàng)語言學(xué)任務(wù)，他們研究了語言的語用含義。

比如對于問題「你留下指紋了嗎?」，收到回答可能是「我戴了手套」，其語義是「不」。

正如Marcus長期以來所主張的那樣，在沒有認(rèn)知模型和常識的情況下讓模型意識到這一點(diǎn)真的很困難。

規(guī)模在這類任務(wù)中基本沒什么作用，即使是最好的模型也只有80.6%的準(zhǔn)確率，對于大多數(shù)模型來說，規(guī)模的效果最多只能忽略不計(jì)。

并且，你可以很容易地想象出該任務(wù)的更復(fù)雜版本，模型的性能還會進(jìn)一步降低。

更讓Marcus深受打擊的是，即使是像這樣單一的重要任務(wù)，約80%的性能也可能意味著規(guī)模的游戲無法繼續(xù)玩下去。

如果模型只是學(xué)會了語法和語義，但是在語用或常識推理方面失敗了，那么你可能根本就無法獲得可信任的AGI

「摩爾定律」并沒有像最初期望的那樣帶領(lǐng)我們走得那么遠(yuǎn)，那么快，因?yàn)樗⒉皇怯钪娴囊蚬?，永遠(yuǎn)成立。

規(guī)模最大化只是一個(gè)有趣的假設(shè)，它不會讓我們抵達(dá)通用人工智能，比如上述三個(gè)問題的解決將會迫使我們進(jìn)行范式轉(zhuǎn)換。

網(wǎng)友Frank van der Velde表示，規(guī)模最大化的追隨者往往傾向于使用「大」和「更多」這樣模糊的術(shù)語。

與人類在學(xué)習(xí)語言中使用的訓(xùn)練數(shù)據(jù)相比，深度學(xué)習(xí)模型用到的訓(xùn)練數(shù)據(jù)太大了。

但與人類語言真正語義集合相比，這些所謂的海量數(shù)據(jù)仍然微不足道，大約需要100億人每秒生成一句話，持續(xù)300年才有可能得到這么大規(guī)模的訓(xùn)練集。

網(wǎng)友Rebel Science更是直言，規(guī)模最大化不是一個(gè)有趣的假設(shè)，而是一個(gè)愚蠢的假設(shè)，不僅會輸在AI這條賽道上，而且還會死的很難看。

規(guī)模最大化過于極端

哥倫比亞大學(xué)哲學(xué)系講師、牛津大學(xué)博士Rapha?l Millière在「規(guī)模最大化」問題爭斗最激烈時(shí)也發(fā)表了一些自己的看法。

規(guī)模最大化曾經(jīng)被看作是深度學(xué)習(xí)批評家的抓手（比如Gary Marcus），隨著行業(yè)內(nèi)人士如Nando de Freitas和Alex Dimakis加入爭論，兩方吵得不可開交。

從業(yè)者的反應(yīng)大多喜憂參半，但并非過于消極，同時(shí)預(yù)測平臺Metaculus上對AGI實(shí)現(xiàn)的預(yù)測日期已經(jīng)提前到了歷史最低點(diǎn)(2028年5月) ，這也可能增大了規(guī)模最大化的可信度。

人們對「規(guī)?！怪饾u信任可能是由于新模型的發(fā)布，諸如PaLM, DALL-E 2, Flamingo和Gato的成功為規(guī)模最大化添了一把火。

Sutton 的「Bitter Lesson」在關(guān)于規(guī)模最大化的討論中拋出了很多觀點(diǎn)，不過并非完全等價(jià)，他認(rèn)為將人類知識構(gòu)建到人工智能模型(例如，特征工程)中的效率低于利用數(shù)據(jù)和計(jì)算來學(xué)習(xí)的效率。

文章鏈接：http://www.incompleteideas.net/IncIdeas/BitterLesson.html

雖然并非沒有爭議，但Sutton的觀點(diǎn)似乎明顯沒有規(guī)模最大化那么激進(jìn)。

它確實(shí)強(qiáng)調(diào)了規(guī)模的重要性，但是并沒有把人工智能研究中的每一個(gè)問題簡化為僅僅是規(guī)模的挑戰(zhàn)。

事實(shí)上，很難確定規(guī)模最大化的具體含義，從字面上理解，「Scaling is all you need」表明我們不需要任何算法創(chuàng)新或者架構(gòu)變化就能實(shí)現(xiàn) AGI，可以擴(kuò)展現(xiàn)有的模型，并強(qiáng)制輸入更多的數(shù)據(jù)。

這種字面上的解釋看起來很荒謬: 即使是像 PalM、 DALL-E 2、 Flamingo或者Gato這樣的模型也仍然需要對以前的方法進(jìn)行架構(gòu)上的改變。

如果有人真的認(rèn)為我們可以將現(xiàn)成的自回歸Transformer擴(kuò)展到 AGI，那真的會讓人感到驚訝。

目前還不清楚認(rèn)同規(guī)模最大化的人覺得AGI需要多大程度的算法創(chuàng)新，這也使得從這一觀點(diǎn)很難產(chǎn)生可證偽的預(yù)測。

擴(kuò)大規(guī)?？赡苁菢?gòu)建任何應(yīng)該被貼上「通用人工智能」標(biāo)簽系統(tǒng)的必要條件，但是我們不應(yīng)該把必要誤認(rèn)為是充分條件。