GPT-4或LLM有推理能力嗎？這是個(gè)存在已久的爭(zhēng)議性問(wèn)題。

有人認(rèn)為L(zhǎng)LM只是通過(guò)大量的文本訓(xùn)練得到了一種普適的近似檢索，并不具備真正的推理能力。

但也有大量的論文研究宣稱LLM在多項(xiàng)推理任務(wù)中表現(xiàn)優(yōu)異。

現(xiàn)在，來(lái)自IMG Arena的高級(jí)軟件工程師 Johan LAJILI在自己的博客中發(fā)表了文章，堅(jiān)定地支持LLM具有「智能」、「推理」以及「邏輯」的能力。

并且，面對(duì)現(xiàn)有的諸多對(duì)LLM推理能力的質(zhì)疑，Johan也給出了相當(dāng)詳細(xì)的解釋。

博客地址：https://lajili.com/posts/post-3/

那么，就讓我們來(lái)看看，Johan是如何證明LLM是具備推理能力的。

LLM只是一個(gè)「字詞接龍」？

「LLM只是一個(gè)預(yù)測(cè)下一個(gè)單詞的模型」，這是反對(duì)LLM具有推理能力的主要觀點(diǎn)。

這個(gè)觀點(diǎn)通常來(lái)自于那些精通技術(shù)或人工智能的人，實(shí)際上，這個(gè)說(shuō)法也是正確的。

在進(jìn)行工作時(shí)，GPT-4每次只能預(yù)測(cè)一個(gè)單詞（或者更具體地說(shuō)是一個(gè)token）。用戶給它一個(gè)提示或一段需要填充的文本時(shí)，它就會(huì)使用其神經(jīng)網(wǎng)絡(luò)找到最可能跟在后面的單詞。

但是，將LLM的算法與智能手機(jī)鍵盤(pán)上的單詞建議算法相提并論是相當(dāng)短視的。

事實(shí)上，為了能夠準(zhǔn)確預(yù)測(cè)具有意義的句子，GPT-4必須具備一種表示概念的內(nèi)部方式，例如「對(duì)象」、「時(shí)間」、「家庭」以及其他一切的可以被表述的存在。

這不僅是找到一個(gè)與前一個(gè)詞有關(guān)聯(lián)的詞語(yǔ)，LLM還需理解這些詞語(yǔ)的含義，才能準(zhǔn)確地回復(fù)用戶提出的問(wèn)題。

而LLM對(duì)概念的理解是通過(guò)大規(guī)模訓(xùn)練建立起來(lái)的。

通過(guò)這個(gè)過(guò)程，可以證實(shí)LLM具有對(duì)「概念」的概念，即它們可以對(duì)物理世界中的事物以及它們之間的相互作用進(jìn)行表示。

這意味著GPT-4不僅可以預(yù)測(cè)下一個(gè)詞語(yǔ)，還可以理解更高層次的語(yǔ)義概念，使其能夠生成連貫且有意義的文本。

但只能夠理解「概念」還不足以進(jìn)行推理，因?yàn)橥评磉€要求能夠組合不同的概念去解決問(wèn)題。

LLM無(wú)法解答X謎題與邏輯問(wèn)題

隨著人工智能技術(shù)的進(jìn)步，傳統(tǒng)的圖靈測(cè)試，即讓人類分辨與自己對(duì)話的是不是人工智能，在ChatGPT出世后失去了效用。

現(xiàn)在的圖靈測(cè)試變得更加復(fù)雜。

同時(shí)，一些聲稱能夠檢測(cè)出內(nèi)容是否由人工智能生成的公司也陸陸續(xù)續(xù)出現(xiàn)，但這些嘗試基本上都失敗了。

此外，對(duì)于人工智能生成的內(nèi)容，連專業(yè)的語(yǔ)言學(xué)家都有一半的概率都無(wú)法區(qū)分辨認(rèn)。

這些嘗試檢測(cè)人工智能生成內(nèi)容的失敗恰恰證明了我們不再區(qū)分人與人工智能二者生成的內(nèi)容。

現(xiàn)在對(duì)人工智能生成內(nèi)容進(jìn)行區(qū)分時(shí)，通常是通過(guò)一些明顯的跡象，比如句子中出現(xiàn)的「根據(jù)我在2021年9月之前的訓(xùn)練...」此類表述。

但這對(duì)人工智能是不公平的。

如果我們唯一能用來(lái)識(shí)別它的是其自身的一些寫(xiě)作習(xí)慣，那么我們顯然已經(jīng)到了一個(gè)承認(rèn)它的寫(xiě)作技巧與人類相似的階段。

回到LLM能否推理和邏輯謎題的問(wèn)題上。

Jeremy Howard在他的演講中很好地解釋了LLM如何進(jìn)行推理。

通常，一個(gè)優(yōu)秀的、系統(tǒng)的Prompt會(huì)對(duì)GPT-4的結(jié)果產(chǎn)生巨大影響。

如果用戶能夠詳細(xì)說(shuō)明問(wèn)題背景和邏輯步驟，GPT-4通常可以解決這些謎題。

如微軟亞洲研究院、北大、北航等機(jī)構(gòu)的研究人員，通過(guò)97個(gè)回合的「蘇格拉底式」嚴(yán)格推理，成功讓GPT-4得出了「P≠NP」的結(jié)論。

論文地址：https://arxiv.org/abs/2309.05689

與人類不同，GPT-4沒(méi)有思維和口頭語(yǔ)言之間的區(qū)分。

對(duì)于人類來(lái)說(shuō)，在不思考或下意識(shí)的情況下解決問(wèn)題時(shí)，意味著問(wèn)題非常簡(jiǎn)單，這本質(zhì)上是憑記憶回答的。

如在計(jì)算2x8時(shí)，我們會(huì)非常迅速地得出答案是16，此時(shí)我們的大腦沒(méi)有經(jīng)過(guò)任何思考。

但如果是解決一個(gè)復(fù)雜的數(shù)學(xué)問(wèn)題，或猜一個(gè)謎語(yǔ)，一個(gè)編程問(wèn)題，我們?cè)诨卮饐?wèn)題前就得在腦海中思考一番了。

而這，就是推理。

更復(fù)雜的問(wèn)題可能需要我們首先考慮如何解決它，然后再嘗試解答。

在這方面，GPT-4與人類沒(méi)有區(qū)別。

但GPT-4的思考過(guò)程作為回應(yīng)的一部分是可以被看到的。

也許未來(lái)的GPT-5將有一個(gè)「思考」部分的響應(yīng)，但不會(huì)默認(rèn)顯示出來(lái)。

在GPT-4能否具有推理能力這一點(diǎn)上，實(shí)際上只涉及成本以及效率的問(wèn)題。

就像在估算餐廳的餐費(fèi)或進(jìn)行稅務(wù)申報(bào)時(shí)不會(huì)有相同程度的雙重檢查一樣，讓GPT-4對(duì)用戶提出的每個(gè)問(wèn)題都進(jìn)行一番詳細(xì)的論證是非常低效的。

LLM的幻覺(jué)和意識(shí)

關(guān)于LLM的另一個(gè)經(jīng)典問(wèn)題是這些模型存在著偏見(jiàn)和幻覺(jué)等問(wèn)題。

這的確是一個(gè)棘手的難題，但這不代表LLM不能進(jìn)行推理。

舉個(gè)例子，人無(wú)法避免偏見(jiàn)。有些人會(huì)意識(shí)到這一點(diǎn)，而另一些人可能從未思考過(guò)這個(gè)問(wèn)題。

在近代以前，人們還堅(jiān)信地球是宇宙的中心，認(rèn)為空氣就是「無(wú)」。

但我們可以因此下定論說(shuō)近代以前的人都沒(méi)有推理能力嗎？

同樣地，模型會(huì)出錯(cuò)也不意味著模型不會(huì)推理。

因?yàn)檎_或者持續(xù)正確并不是推理的定義，而是全知的定義。

但關(guān)于GPT-4是否存在意識(shí)，我的回答是沒(méi)有。

意識(shí)的存在是非常哲學(xué)性的問(wèn)題，一定程度上也取決于個(gè)人的看法。

但我認(rèn)為意識(shí)是在很長(zhǎng)一段時(shí)間內(nèi)產(chǎn)生的，并需要一個(gè)「自我」來(lái)照顧。

每當(dāng)用戶打開(kāi)GPT-4，選擇在一個(gè)聊天框開(kāi)始對(duì)話時(shí)，這實(shí)際上是在創(chuàng)造一個(gè)全新的存在。

對(duì)話結(jié)束后，這個(gè)存在要么被刪除。要么保持在靜態(tài)狀態(tài)。

缺乏長(zhǎng)期記憶，缺乏情感，不能自發(fā)地對(duì)外部刺激做出反應(yīng)，都是阻礙意識(shí)產(chǎn)生的限制因素。

但我們也可以樂(lè)觀地相信這些問(wèn)題會(huì)在未來(lái)被解決。

也許，現(xiàn)在就有一群聰明人正在研究這些問(wèn)題。

而GPT-4是否存在意識(shí)，只是關(guān)于「意識(shí)」這個(gè)謎題的一小部分。