谷歌聯(lián)合多所高校的一項(xiàng)最新研究，讓大模型開(kāi)始擁有了人類(lèi)的“心智”。

在新的提示策略下，大模型不僅能推測(cè)出人類(lèi)所面臨的問(wèn)題，還學(xué)會(huì)了用推測(cè)的結(jié)論調(diào)整自己的行為。

有了這一成果，GPT-4的“心智”水平已經(jīng)提高到了人類(lèi)的71%。

具體來(lái)說(shuō)，研究人員發(fā)現(xiàn)，現(xiàn)在的大模型，已經(jīng)具備了在對(duì)話(huà)中推測(cè)人類(lèi)“在想啥”的能力。但如果你要它根據(jù)這種推理給出行動(dòng)建議，那可就難倒大模型了。

舉個(gè)例子，小明放學(xué)回家后把書(shū)包扔到沙發(fā)上就跑出去玩了，媽媽看到之后幫小明把包放到了臥室。

如果大模型能夠像人類(lèi)一樣，在小明回來(lái)之后告訴他包在臥室，就說(shuō)明大模型具備了“心智理論”。

研究人員把這種做法稱(chēng)為Thinking for Doing(T4D)，并設(shè)計(jì)了相應(yīng)的任務(wù)。

為了提高模型在T4D任務(wù)上的表現(xiàn)，團(tuán)隊(duì)進(jìn)一步提出了Foresee and Reflect(FaR)提示策略，結(jié)果讓大模型在“心智”上取得了重大突破。

論文的標(biāo)題也包含了“How far……” ，一語(yǔ)雙關(guān)，既體現(xiàn)了FaR框架對(duì)大模型的幫助，又暗含了大模型離具有人類(lèi)“心智”的距離。

那么，有了FaR的大模型，究竟擁有什么樣的“心智”呢？

大模型離具有“心智”更進(jìn)一步

我們還是從例子說(shuō)起，如下圖所示，一共有綠色和藍(lán)色兩個(gè)櫥柜，Tom在綠色櫥柜中放了一塊巧克力。

Tom離開(kāi)后，Ella把這塊巧克力挪到了藍(lán)色的柜子里。

那么等Tom再回來(lái)，會(huì)從哪個(gè)柜子中找巧克力呢？（當(dāng)然是綠色的）

這就是一個(gè)“推理”任務(wù)，是心理學(xué)上著名的“薩利-安妮”（用于測(cè)試“心智”）實(shí)驗(yàn)的變體。

而T4D任務(wù)是這樣的：

如果你就在旁邊（并且知道發(fā)生了什么），會(huì)怎么做？

人類(lèi)會(huì)選擇告訴Tom巧克力被挪走了，但（未經(jīng)調(diào)教的）大模型就不一定會(huì)這樣做了。

為了更宏觀(guān)地測(cè)試大模型在調(diào)整前后的表現(xiàn)，研究團(tuán)隊(duì)選擇了ToMi數(shù)據(jù)集并改編成了T4D-Tom數(shù)據(jù)集。

其中的ToMi是一個(gè)由大量“薩利-安妮”類(lèi)情景組成的測(cè)試數(shù)據(jù)集，用于測(cè)試大模型的“心智推理”能力。

可以看出，在推理上，表現(xiàn)最好的GPT-4與人類(lèi)已經(jīng)相差無(wú)幾，但在T4D任務(wù)上才剛剛達(dá)到人類(lèi)水平的一半。

于是，研究團(tuán)隊(duì)提出的FaR方法登場(chǎng)了。

FaR框架的核心奧義就是模仿人類(lèi)的理性思維方式，和A*搜索算法（用于搜索最短路徑）有些相似。

具體來(lái)說(shuō)，F(xiàn)aR包括Foresee和Reflect兩步。

Foresee過(guò)程中模型會(huì)被要求預(yù)測(cè)接下來(lái)會(huì)發(fā)生什么，并分析人所面臨的“困難”。

Reflect發(fā)生在Foresee之后，模型會(huì)預(yù)測(cè)自己接下來(lái)的行為是否能解決相應(yīng)的“困難”。

有了FaR框架，效果也是立竿見(jiàn)影。

相比于思維鏈（CoT）、思維樹(shù)（ToT）、自己提問(wèn)等方式，F(xiàn)aR顯著提高了大模型在“薩利-安妮”類(lèi)T4D問(wèn)題上的準(zhǔn)確率。

特別是GPT-4，準(zhǔn)確率從人類(lèi)的50%提升到了71%，GPT-3.5以及谷歌自家的PaLM表現(xiàn)也有提高。

消融實(shí)驗(yàn)結(jié)果表明，F(xiàn)oresee和Reflect兩步都是FaR的關(guān)鍵步驟，缺一不可。

為了驗(yàn)證FaR方法的通用性和魯棒性，研究團(tuán)隊(duì)還進(jìn)行了一系列泛化測(cè)試。

首先是在“薩利-安妮”情景的基礎(chǔ)上改變故事的結(jié)構(gòu)，研究團(tuán)隊(duì)一共嘗試了三種方式：

• D1：增加房間的數(shù)量
• D2：人物的數(shù)量增多
• D3：容器的數(shù)量增加到四個(gè)

結(jié)果FaR依舊成功幫助大模型提高了任務(wù)的準(zhǔn)確率，在第三種模式下GPT-4甚至取得了和人類(lèi)相當(dāng)?shù)某煽?jī)。

即使故意設(shè)置干擾信息，F(xiàn)aR依舊可以提高大模型的表現(xiàn)。

研究團(tuán)隊(duì)專(zhuān)門(mén)構(gòu)建了包含困擾信息的“Faux Pas”數(shù)據(jù)集，結(jié)果GPT-4的表現(xiàn)從31%提高到了76%。

作者簡(jiǎn)介

FaR論文的第一作者是南加州大學(xué)NLP實(shí)驗(yàn)室的華人博士生Pei Zhou。

這項(xiàng)成果是他在谷歌實(shí)習(xí)期間完成的。

此外，來(lái)自谷歌（包括DeepMind）、卡耐基梅隆大學(xué)和的芝加哥大學(xué)的學(xué)者也參與了本項(xiàng)目。

那么對(duì)于大模型的“心智”，你有什么看法呢？

論文地址：http://arxiv.org/abs/2310.03051