近一年多，依賴大模型技術(shù)，讓人們?nèi)计饋韺?duì)AI的新憧憬。

關(guān)于大模型是否有意識(shí)，依靠大模型是否能夠構(gòu)建“世界模型”，一直有很大的爭(zhēng)論。

從信仰上來看，分為兩大陣營(yíng)。一種是大模型的反對(duì)派，他們認(rèn)為大模型是鸚鵡學(xué)舌，根本不懂的自己在說什么，也沒有人那樣的創(chuàng)造力，想通過大模型通向AGI是誤入歧途。這個(gè)陣營(yíng)代表為Yann LeCun、李飛飛。

雖然LeCun作為MetaAI首席科學(xué)家，Meta也發(fā)布了Llama系列大模型，但他卻在不同場(chǎng)合表達(dá)了對(duì)大語言模型的不屑，他認(rèn)為L(zhǎng)LM本質(zhì)上只是自回歸文本生成模型，它們只能非常粗淺地理解世界，并且捕獲的只是文本的統(tǒng)計(jì)規(guī)律，無法真正理解文本在現(xiàn)實(shí)世界中所代表的含義，甚至曾公開表示5年內(nèi)GPT就將被拋棄，利用大模型技術(shù)連一只貓的智能都達(dá)不到。

LeCun同時(shí)提出了自己解決方法，他認(rèn)為要想讓AI接近人類水平，其需要像嬰兒一樣學(xué)習(xí)世界如何運(yùn)作。由此，他提出了“世界模型”的概念，解決方案即為JEPA（聯(lián)合嵌入預(yù)測(cè)架構(gòu)）。

JEPA通過一系列的編碼器提取世界狀態(tài)的抽象表示，并使用不同層次的世界模型預(yù)測(cè)器，來預(yù)測(cè)世界的不同狀態(tài)，并在不同的時(shí)間尺度上做出預(yù)測(cè)。所有復(fù)雜的任務(wù)都可以通過“分層”的方式完成，他曾舉了一個(gè)例子：我想從紐約前往北京，第一件事是去機(jī)場(chǎng)，第二件事是乘去往北京的飛機(jī)，最終的代價(jià)函數(shù)（cost function）可以表示從紐約到北京的距離。那么我該如何去機(jī)場(chǎng)？解決方案是把任務(wù)分解到毫秒級(jí)，通過毫秒級(jí)的控制來找到預(yù)測(cè)成本最小的行動(dòng)序列。顯然層次規(guī)劃是最大的挑戰(zhàn)，所謂“失之毫厘，差之千里”，其計(jì)算量和誤差累積都將是JEPA的大麻煩。

而李飛飛也在一些場(chǎng)合表達(dá)了大模型并不是通往AGI的正路。她曾態(tài)度堅(jiān)決的表示AI沒有知覺，LeCun也轉(zhuǎn)發(fā)了盟友的X。

她表示當(dāng)前沒有發(fā)現(xiàn)大模型具有意識(shí)，在未來的ChatGPT版本中也不可能出現(xiàn)。

而與之戰(zhàn)在對(duì)立面的支持大模型是有可能通向AGI的支持派，他們表達(dá)的觀點(diǎn)相對(duì)溫和務(wù)實(shí)，某種意義上講，他們是在不斷實(shí)踐自己的設(shè)想，并且已經(jīng)取得了一定的成就。他們的代表人物是Hinton以及其愛徒ChatGPT之父Ilya。

Hinton在最近一個(gè)與Joel Hellermark的訪談里表示，在過去他們通過生理或者哲學(xué)層面理解人類智能并模擬制造AGI是不可行的，AGI表現(xiàn)的智能實(shí)現(xiàn)或許是另一種方式。

他相信他的學(xué)生ilya的判斷。而ilya在他學(xué)生時(shí)代就憑著自己超人的直覺相信，大模型不簡(jiǎn)單只是學(xué)習(xí)文字符號(hào)概率，而是可以學(xué)習(xí)到自然規(guī)律，具備一定的推理能力，因?yàn)闉榱祟A(yù)測(cè)下一個(gè)符號(hào)，它必須進(jìn)行一些推理。就從實(shí)際情況看，即使你不加入任何特殊的推理元素，僅僅是制造出大的模型，它們也已經(jīng)可以進(jìn)行一些推理了。隨著大模型被做得更大時(shí)，它們就能進(jìn)行更多的推理，甚至非常有創(chuàng)造力。Hinton利用一個(gè)例子來體現(xiàn)大模型甚至擁有超越人類的類比思維，而不是簡(jiǎn)單重復(fù)自己之前預(yù)訓(xùn)練學(xué)習(xí)過的內(nèi)容。

比如訊問 GPT-4，為什么堆肥堆像原子彈？大多數(shù)人回答不出來。大多數(shù)人沒有想過，他們會(huì)認(rèn)為原子彈和堆肥堆是非常不同的東西。但 GPT-4 會(huì)告訴你，它們的能量規(guī)模非常不同，時(shí)間規(guī)模非常不同。但它們的共同點(diǎn)是，當(dāng)堆肥堆變得更熱時(shí)，它產(chǎn)生熱量的速度更快；當(dāng)原子彈產(chǎn)生更多的中子時(shí)，它產(chǎn)生中子的速度也更快。所以這就得到了連鎖反應(yīng)的概念。

大模型似乎理解這兩種連鎖反應(yīng)，并使用這種理解將所有這些信息壓縮到它的權(quán)重中。如果它確實(shí)在這樣做，那么它將會(huì)對(duì)我們還沒有看到的所有事物進(jìn)行同樣的操作。這就是創(chuàng)造力的來源 —— 看到這些表面上截然不同的事物之間的類比關(guān)系。

Hinton在采訪時(shí)表示，大腦認(rèn)知實(shí)際上采用了和大模型一樣的處理邏輯。即大腦將這些符號(hào)轉(zhuǎn)換為嵌入，并使用多層嵌入，因而大腦將得到非常豐富的嵌入。而嵌入仍然與符號(hào)相關(guān)聯(lián)，從這個(gè)意義上講，符號(hào)有其對(duì)應(yīng)的大向量。這些向量相互作用產(chǎn)生下一個(gè)詞的符號(hào)的向量。因此理解是指知道如何將符號(hào)轉(zhuǎn)換為向量，以及向量的元素如何相互作用以預(yù)測(cè)下一個(gè)符號(hào)的向量。人們?cè)J(rèn)為符號(hào)處理只是簡(jiǎn)單地匹配符號(hào)，一個(gè)符號(hào)只有一個(gè)屬性：要么與另一個(gè)符號(hào)相同，要么不相同。實(shí)際并不是這樣，而是利用上下文為符號(hào)提供嵌入向量，然后利用這些嵌入向量的組件之間的相互作用來進(jìn)行思考。 

Hinton甚至表示，大模型也可以擁有情感。但不一定是人類理解的樣子，而意識(shí)應(yīng)該是我們?cè)跊]有外界限制的情況下可能會(huì)采取的行動(dòng)，例如，1973 年在愛丁堡，他見過一個(gè)機(jī)器人表現(xiàn)出情感。這個(gè)機(jī)器人有兩個(gè)抓手，可以在綠色毛氈上組裝玩具汽車，只要將零件分開放置。但如果你把零件堆在一起，由于它的視覺系統(tǒng)不夠好，無法分辨情況，它會(huì)顯得困惑并將零件擊散，然后再進(jìn)行組裝。如果這種行為發(fā)生在人類身上，可能會(huì)認(rèn)為他因?yàn)椴焕斫馇闆r而感到惱怒，并因此摧毀了它。 

Ilya自己也多次表示，大語言模型學(xué)習(xí)的不僅僅是文字概率，而是世界模型，并且曾經(jīng)暗示大模型已經(jīng)擁有意識(shí)。

未來誰可能是正確的？現(xiàn)下還難有明確結(jié)論。但筆者想說，想要打造最快的交通工具，不一定非要有四個(gè)輪子，想要打造AGI，也不見得要和人類完全一樣，關(guān)鍵是我們能做的，它們是否能做，無需關(guān)注黑盒本身。

參考：???https://mp.weixin.qq.com/s/OydltjpVwsQ7hNBH6hq_Og??

本文轉(zhuǎn)載自??AI工程化??，作者： ully ????