偷偷摘套内射激情视频,久久精品99国产国产精,中文字幕无线乱码人妻,中文在线中文a,性爽19p

前OpenAI高管新作力挺模型思考,哈佛卻稱AI越「想」越笨

人工智能 新聞
讓模型在預(yù)測(cè)之前有更多的時(shí)間思考,比如通過思路鏈推理等,對(duì)于解除下一層次的智能障礙非常有效。

以推理模型為代表的AI是否真在思考?未來的它們會(huì)進(jìn)化出意識(shí)嗎?

在模型——思考——意識(shí)這種終極問題面前,有下面三個(gè)觀點(diǎn):

  • 模型增加「思考時(shí)間」(即測(cè)試時(shí)計(jì)算)能提升其性能和推理能力。
  • 推理模型思考太多不僅無法提升能力,還會(huì)「降智」。
  • (跑在)數(shù)字計(jì)算機(jī)(上的推理模型)永遠(yuǎn)不可能具有意識(shí)

這三個(gè)截然相反又似乎相互聯(lián)系的觀點(diǎn),來自最近關(guān)于AI的三篇論文/博客:

第1個(gè)觀點(diǎn)來自前OpenAI應(yīng)用AI研究負(fù)責(zé)人,北大畢業(yè)的LilianWeng(翁荔)

讓模型在預(yù)測(cè)之前有更多的時(shí)間思考,比如通過思路鏈推理等,對(duì)于解除下一層次的智能障礙非常有效。

圖片

翁荔最新關(guān)于推理模型《Why we think》的文章一度出圈

第2個(gè)觀點(diǎn)來自哈佛大學(xué)、亞馬遜和紐約大學(xué)的最新研究(2025年5月16日),通訊作者Xiaomin Li,是一位在哈佛大學(xué)攻讀應(yīng)用數(shù)學(xué)博士學(xué)位的學(xué)生。

思維鏈(Chain-of-Thought)并不總是錦上添花,有時(shí)候,它會(huì)讓大模型越想越錯(cuò)!

圖片

當(dāng)思考失效:大語言模型在執(zhí)行指令時(shí)陷入推理陷阱

第3個(gè)觀點(diǎn)來自加州大學(xué)舊金山分校博士,哈佛醫(yī)學(xué)院系統(tǒng)生物學(xué)系虛擬細(xì)胞計(jì)劃創(chuàng)建者Aneil Mallavarapu,同時(shí)也是企業(yè)家和投資者。

從物理學(xué)和復(fù)雜性理論出發(fā),可以推斷出數(shù)字計(jì)算機(jī)永遠(yuǎn)不可能具有意識(shí)。

圖片

如果AI最終沒有意識(shí),那么現(xiàn)在針對(duì)推理的模型努力是「鏡中花,水中月」嗎?

給推理模型更多時(shí)間去「思考」,到底是在幫助它突破瓶頸,還是在把它推向自我迷惑的深淵?

或者,基于數(shù)字計(jì)算機(jī)的推理模型,真的無法達(dá)到「意識(shí)」境界?

思考有用嗎?來自翁荔的總結(jié)

翁荔的觀點(diǎn)是:多給模型「思考」時(shí)間,可以大幅提升復(fù)雜任務(wù)中的表現(xiàn)。

圖片

首先她用人類思維類比,大模型也需要從「快系統(tǒng)(System1)直覺」轉(zhuǎn)向「慢系統(tǒng)(System2)理性思考」。

這個(gè)概念來自于那本著名的《思考,快與慢》,對(duì)于復(fù)雜問題,人類通常傾向于花時(shí)間思考和分析后,逐步得出結(jié)論。

翁荔認(rèn)為如果將計(jì)算能力當(dāng)做一種資源,神經(jīng)網(wǎng)絡(luò)的能力大小在于其能夠調(diào)動(dòng)的計(jì)算資源有多大。

模型本質(zhì)上是通過計(jì)算的排列組合,構(gòu)成了一個(gè)「電路」,類似各種神經(jīng)元之間的聯(lián)結(jié)。

訓(xùn)練過程(梯度下降)不僅是學(xué)習(xí)任務(wù)本身,更是在「探索」如何以最有效的方式使用已有計(jì)算資源。

模型在訓(xùn)練過程中自行發(fā)現(xiàn)如何在給定資源約束下,建立高效的信息處理和存儲(chǔ)結(jié)構(gòu)。

如果模型被訓(xùn)練成一種能夠適應(yīng)不同計(jì)算資源水平的架構(gòu),那么在測(cè)試時(shí)允許模型使用更多計(jì)算(如CoT推理),等價(jià)于給了模型更多資源去充分發(fā)揮潛能。

增加測(cè)試時(shí)計(jì)算(比如CoT)可以提高模型在復(fù)雜推理任務(wù)中的表現(xiàn),尤其是數(shù)學(xué)、代碼、邏輯等任務(wù)。

圖片

CoT提高了數(shù)學(xué)問題的解決成功率

測(cè)試時(shí)計(jì)算的基本目的是在「思考」中自適應(yīng)的修改模型的輸出分布。有多種方式可以利用測(cè)試時(shí)資源進(jìn)行解碼,達(dá)到選擇更好的樣本的目的。

改進(jìn)解碼過程主要有兩種方法:并行采樣和順序修正。

圖片

并行采樣簡(jiǎn)單、直觀易于實(shí)現(xiàn),但是受限于模型能否一次性得出正確解的能力。

順序采樣則明確要求模型反思錯(cuò)誤,但速度就慢了,甚至有可能將正確的預(yù)測(cè)修改為錯(cuò)誤。

根據(jù)這些特點(diǎn),簡(jiǎn)單的任務(wù)就并行,對(duì)于較難的問題,通常使用順序計(jì)算。(關(guān)于并行和順序具體的方法本文就略過,感興趣可看原博客)

最近比較火的是使用強(qiáng)化學(xué)習(xí)來獲得更好的推理能力,比如DeepSeek-R1和OpenAI的o系列模型。

以開源的DeepSeek-R1為例,它經(jīng)歷了兩輪SFT-RL訓(xùn)練,先監(jiān)督微調(diào)確?;靖袷胶涂勺x性,然后就直接上RL。R1訓(xùn)練過程如下圖所示,R1最終是由V3生成的SFT數(shù)據(jù)結(jié)合純RL訓(xùn)練的一個(gè)節(jié)點(diǎn)而創(chuàng)造出來的。

在這個(gè)過程中,最有趣的要數(shù)DeepSeek公布的模型自己的「啊哈」時(shí)刻。

圖片

完全使用強(qiáng)化學(xué)習(xí)(RL)的方法,無需監(jiān)督微調(diào)(SFT)階段,仍然可以學(xué)習(xí)到諸如反思和回溯等高級(jí)推理能力。

在RL訓(xùn)練過程中,模型自然學(xué)會(huì)了在解決推理任務(wù)時(shí)分配更多的思考Token。

頓悟時(shí)刻由此產(chǎn)生,指的是模型能夠反思之前的錯(cuò)誤,并嘗試替代方法予以糾正。

隨后,出現(xiàn)了多個(gè)開源項(xiàng)目嘗試復(fù)現(xiàn)R1的成果,例如Open-R1、SimpleRL-reason和TinyZero,它們均基于Qwen模型。

這些嘗試也證實(shí)了純強(qiáng)化學(xué)習(xí)在數(shù)學(xué)問題上具有出色的性能,同時(shí)也再次驗(yàn)證了頓悟時(shí)刻的出現(xiàn)。

以上內(nèi)容都表明,只要給足思考時(shí)間,模型就會(huì)變得更聰明。

翁荔也提到了一些其他的促進(jìn)模型思考的方法,比如:

外部工具(比如專業(yè)用來計(jì)算33/8=?)的使用來促使模型更好思考;

監(jiān)控CoT的過程,讓模型更加忠實(shí)的思考,因?yàn)楸O(jiān)控可以發(fā)現(xiàn)比如獎(jiǎng)勵(lì)黑客攻擊等行為;

翁荔還探討了在連續(xù)空間中思考、將思考視為潛在變量和思考時(shí)間的Scaling Law等方法,限于篇幅就不展開。

圖片

ChatGPT給出的關(guān)于在「連續(xù)空間中思考」的直覺理解

思考時(shí)間的Scaling Law類似于大模型參數(shù)Scaling Law,并且有研究發(fā)現(xiàn)優(yōu)化 LLM 測(cè)試時(shí)的計(jì)算可能比擴(kuò)大模型參數(shù)更有效。

給模型額外「思考輪次」(修訂或搜索)確實(shí)能顯著提高解題正確率,且隨預(yù)算遞增呈邊際遞減但仍穩(wěn)步上升。

圖片

翁荔最后的結(jié)論其實(shí)就是對(duì)測(cè)試時(shí)計(jì)算和思維鏈推理的探索為增強(qiáng)模型能力提供了新的機(jī)會(huì)。

更有趣的是,通過測(cè)試時(shí)思維,我們正朝著構(gòu)建未來人工智能系統(tǒng)的方向邁進(jìn),這些系統(tǒng)能夠模仿人類思維的最佳實(shí)踐,包括適應(yīng)性、靈活性、批判性反思和錯(cuò)誤糾正。

簡(jiǎn)單地說,翁荔認(rèn)可現(xiàn)在推理模型走上這條進(jìn)化之路,并且給于模型越多的時(shí)間和資源進(jìn)行思考,模型越有可能模仿人類思維。

正所謂Why we think——因?yàn)橄氲脑蕉?,越聰明?/span>

從這個(gè)角度來看,推理模型還真挺像人的。

思考多了,反而降智?

哈佛/亞馬遜團(tuán)隊(duì)挑戰(zhàn)主流

大部分人和翁荔的看法是一致的,畢竟DeepSeek-R1和OpenAI o系列證明了推理模型的有效性。

但一篇來自哈佛/亞馬遜團(tuán)隊(duì)的論文提出一個(gè)觀點(diǎn):

思維鏈(Chain-of-Thought)并不總是錦上添花,有時(shí)候,它會(huì)讓大模型越想越錯(cuò)、越幫越忙!


在需要遵守指令或格式的任務(wù)中,使用CoT推理,模型遵守指令的準(zhǔn)確率會(huì)下降!

在文章《CoT推理大潰敗?哈佛華人揭秘:LLM一思考,立刻就「失智」》中展示了研究人員對(duì)具體模型的測(cè)評(píng)結(jié)果。

圖片

其中綠色與紅色分別標(biāo)識(shí)原始模式與CoT模式的性能。

各改進(jìn)方法列同時(shí)報(bào)告絕對(duì)準(zhǔn)確率及相對(duì)于CoT模式的變化(↑表示提升,↓表示下降),最優(yōu)改進(jìn)方案用加粗字體標(biāo)出。

結(jié)果是,幾乎全部CoT模型都不如原始模型,可以說推理越多,表現(xiàn)越差!

研究團(tuán)隊(duì)給出的結(jié)論是,CoT會(huì)分散模型「注意力」,模型有時(shí)候會(huì)「越想越偏」,甚至可能自信地犯錯(cuò)。

比如,如果你讓模型執(zhí)行「XXXX,結(jié)果只輸出選項(xiàng)A或B」,那它的注意力就應(yīng)該聚焦在指令里的關(guān)鍵約束詞上,比如「A或B」。

然而,CoT推理的引入?yún)s改變了這種聚焦機(jī)制:當(dāng)你讓模型「一步步來思考」時(shí),它反而會(huì)被自己的推理內(nèi)容吸引,逐漸忽略最開始的指令約束。

這里我們不關(guān)注后續(xù)研究團(tuán)隊(duì)提出的改進(jìn)辦法,而是將「注意力」放在CoT會(huì)分散模型注意力。

在哈佛的這篇研究中,「CoT會(huì)分散模型注意力」這個(gè)結(jié)論和人類也非常的像。

很多時(shí)候,我們?cè)谒伎家粋€(gè)難題,難免思維會(huì)發(fā)散,就像一棵不斷分叉的樹,越思考枝叉越多,也離最開始的目標(biāo)越遠(yuǎn)。

CoT能幫助模型思考,CoT太多又會(huì)分散模型注意力,不論從正反哪個(gè)角度看,似乎推理模型都有了那么點(diǎn)「人味」。

難道推理模型再進(jìn)化下去——也許是OpenAI的o10,或者DeepSeek-R5——一定能夠產(chǎn)生意識(shí)嗎?

AI終點(diǎn)是意識(shí)嗎?

Aneil Mallavarapu的反問

在討論大模型能否產(chǎn)生意識(shí)前,讓我們往后退一步,回到目前承載數(shù)萬億參數(shù)的計(jì)算機(jī)形態(tài)以及為何頂尖科學(xué)家,比如辛頓,大部分都相信「AI有意識(shí)」。

首先關(guān)于人類意識(shí)還沒有一個(gè)非常權(quán)威的結(jié)論。

許多科學(xué)家和工程師認(rèn)為,意識(shí)是從計(jì)算機(jī)和大腦中的離散相互作用的部分產(chǎn)生的。

Aneil Mallavarapu從物理學(xué)和復(fù)雜性理論論證了意識(shí)可能源于非經(jīng)典物理現(xiàn)象,所以馮諾依曼的經(jīng)典結(jié)構(gòu)計(jì)算機(jī)不可能產(chǎn)生意識(shí)。

作為科學(xué)家,Aneil Mallavarapu主張重回以人類和生物系統(tǒng)為基礎(chǔ)的科學(xué)研究路徑。

技術(shù)可以塑造我們的思想。

當(dāng)電被發(fā)現(xiàn)時(shí),理論家和作家們抓住了「電是驅(qū)動(dòng)生命的力量」這一觀點(diǎn)不放。

這啟發(fā)了瑪麗·雪萊創(chuàng)作出一道閃電賦予弗蘭肯斯坦怪物生命的場(chǎng)景。

當(dāng)一項(xiàng)強(qiáng)大的新技術(shù)出現(xiàn)時(shí),它會(huì)重塑文化,并成為一種思維方式。

這個(gè)過程被稱為技術(shù)框架效應(yīng)。

過去,猜測(cè)計(jì)算機(jī)是否有意識(shí)只是大學(xué)宿舍里閑聊的話題,但現(xiàn)在,許多人工智能領(lǐng)域的領(lǐng)導(dǎo)者認(rèn)為,在他們所創(chuàng)造的智能體中,蘊(yùn)含著某種答案。

Open AI的前首席技術(shù)官Ilya Sutskever曾表示,他認(rèn)為自己公司的產(chǎn)品ChatGPT可能「稍微有意識(shí)」。

2023年的一次研究人員會(huì)議上,Ilya說他們將在通用人工智能 (AGI) 出現(xiàn)之前建造一座(地堡)掩體——當(dāng)然,你是否想進(jìn)入掩體是可選的。

圖靈獎(jiǎng)得主、Meta 人工智能部門負(fù)責(zé)人Yann LeCun則認(rèn)為還需要做更多工作,但只要有了正確的算法,就一定能實(shí)現(xiàn)。

LeCun諷刺了那些不相信計(jì)算會(huì)導(dǎo)致意識(shí)的人,稱他們就像18世紀(jì)認(rèn)為生命只能通過神秘的「活力論」來解釋的思想家一樣。

以上兩人的觀點(diǎn)絕非個(gè)別——他們代表著一股日益壯大的思潮,尤其是在科技工作者、哲學(xué)家和未來主義者當(dāng)中,甚至連科學(xué)家也持此觀點(diǎn)。

物理學(xué)家薩賓娜·赫森費(fèi)爾德(Sabine Hossenfelder)最近評(píng)論說,她「看不出計(jì)算機(jī)無法擁有意識(shí)」的理由。

這些觀點(diǎn)并不僅僅是邊緣信念。

一項(xiàng)近期民意調(diào)查顯示,許多人預(yù)計(jì)AI將在五年內(nèi)獲得自我意識(shí),其中38%的人支持賦予Ai法律權(quán)利,69%的人贊成禁止具有自我意識(shí)的AI。

但是Aneil Mallavarapu認(rèn)為似乎人類走在錯(cuò)誤的道路上:

我在哈佛大學(xué)系統(tǒng)生物學(xué)系從事構(gòu)建復(fù)雜生物系統(tǒng)數(shù)學(xué)模型的語言方面的工作,這使我具備了跨越計(jì)算機(jī)科學(xué)、數(shù)學(xué)和生物學(xué)的視角,而我的研究生工作則專注于神經(jīng)元。

出于好奇,我參加了第二屆意識(shí)科學(xué)會(huì)議,那已經(jīng)是30年前的事了。

從那時(shí)起,我一直有一種揮之不去的懷疑,即純粹哲學(xué)和計(jì)算方法在意識(shí)研究上走錯(cuò)了方向,我們需要以嚴(yán)謹(jǐn)?shù)目茖W(xué)和數(shù)學(xué)分析來解決這個(gè)問題。

對(duì)于AI能力的期待,人們似乎喜歡用名字賦予它生命感,通用人工智能AGI、還是超級(jí)人工智能ASI,或者強(qiáng)人工智能Strong AI,但不論是哪一種,都會(huì)最終回到同一個(gè)問題:意識(shí)是什么,它是如何產(chǎn)生的?

哲學(xué)家Thomas Nagel曾思考過「成為一只蝙蝠的感覺是什么」,以此來強(qiáng)調(diào)主觀體驗(yàn)無法被外部觀察和直接理解。

另一個(gè)挑戰(zhàn)ASI/AGI/Strong AI的例子就是著名的「中文屋」實(shí)驗(yàn),從外部看,這個(gè)房間似乎完全理解中文并能作出合適的反應(yīng);但房間內(nèi)的人其實(shí)根本不理解中文,他只是在機(jī)械地執(zhí)行規(guī)則。

一個(gè)計(jì)算機(jī)系統(tǒng),即使表現(xiàn)出智能行為,也并不意味著它真正具備「理解」或「意識(shí)」。

計(jì)算機(jī)不過是通過操縱符號(hào)并執(zhí)行規(guī)則來工作,它們并不真正具備人類所擁有的主觀體驗(yàn)或意義理解。

如果將這個(gè)結(jié)論繼續(xù)下放到翁荔和哈佛團(tuán)隊(duì)所討論的CoT,那就是數(shù)字計(jì)算機(jī)即使擁有無限的CoT,仍無法產(chǎn)生主觀體驗(yàn)——也就是AI無法產(chǎn)生意識(shí)。

意識(shí)作為一種獨(dú)特的自然現(xiàn)象,無法適用于傳統(tǒng)的科學(xué)方法。

Aneil Mallavarapu認(rèn)為基于物理學(xué)、復(fù)雜性和可計(jì)算性理論的基本原理——數(shù)字計(jì)算機(jī)若不違反科學(xué)家和AI支持者所珍視的觀念,就永遠(yuǎn)無法擁有意識(shí)。

我們并不完全了解大腦是如何運(yùn)作的,但數(shù)字計(jì)算機(jī)是由我們?cè)O(shè)計(jì)的,因此我們知道它們的確切工作原理。

它們的行為源于一套簡(jiǎn)單的特性:讀寫內(nèi)存的能力、條件邏輯、一組有限的規(guī)則以及執(zhí)行順序操作的能力。

AI也一樣,只不過是將token轉(zhuǎn)化為一系列的詞向量,最終變成計(jì)算機(jī)中的二進(jìn)制代碼。

圖片

如果經(jīng)典科學(xué)無法產(chǎn)生意識(shí),自然而然地,我們會(huì)想到量子力學(xué)/量子糾纏。

而人類的大腦中產(chǎn)生的意識(shí)是通過經(jīng)典科學(xué)還是量子糾纏產(chǎn)生的?

有一種大腦的雙重模型模型,大腦黑暗的部分以經(jīng)典方式計(jì)算,但無意識(shí),然后將結(jié)算結(jié)果傳遞給明亮的、有意識(shí)的、非經(jīng)典的腦區(qū)。

然而,如果意識(shí)與量子糾纏態(tài)相關(guān),那么大腦的許多部分為何看起來卻是一個(gè)經(jīng)典的信息處理網(wǎng)絡(luò)——人類以此為啟發(fā)創(chuàng)造出當(dāng)下的大模型AI,并且還發(fā)明了大模型的Scaling Law。

這個(gè)問題依然有待腦科學(xué)的進(jìn)步來回答。

從翁荔的總結(jié),到哈佛團(tuán)隊(duì)的最新發(fā)現(xiàn),再到Aneil Mallavarapu的思考,不難發(fā)現(xiàn)——

推理模型引發(fā)的關(guān)于AI與意識(shí)的爭(zhēng)論,已不僅僅是技術(shù)路線之爭(zhēng),更是關(guān)于人類認(rèn)知邊界的深刻反思。

在大模型技術(shù)的高歌猛進(jìn)中,創(chuàng)造出的AI越來越像人,它會(huì)規(guī)劃、會(huì)反思、甚至還有頓悟般的「啊哈」時(shí)刻。

這也是當(dāng)技術(shù)、資本和大眾都在為之狂歡時(shí),為何AI之父辛頓等人會(huì)表現(xiàn)出對(duì)人類擔(dān)憂的根本原因吧。

對(duì)于「AI思考」的思考,不會(huì)止于AI,更歸于人類自身的未來。

責(zé)任編輯:張燕妮 來源: 新智元
相關(guān)推薦

2025-07-28 07:45:36

Anthropic大推理模型LRM

2024-07-25 12:35:33

2023-08-31 07:16:32

人工智能AI算力

2021-08-16 20:45:52

AI人工智能

2024-07-29 07:04:00

大模型AI訓(xùn)AI人工智能

2025-08-06 06:00:00

AI人工智能AI安全

2025-05-08 06:00:00

AI幻覺AI人工智能

2021-11-14 22:04:55

iPhone安卓手機(jī)

2016-10-24 17:16:11

2021-08-16 15:47:02

AI決策人工智能

2025-06-16 03:00:00

2013-03-22 15:47:04

Surface RTSurface pro

2025-05-19 08:54:00

2009-11-26 10:15:00

IT職場(chǎng)

2018-05-05 08:54:24

2012-01-12 09:19:27

2025-05-26 08:30:00

2025-06-30 09:05:00

2020-10-29 09:54:29

手機(jī)信號(hào)

2024-03-25 06:53:34

OpenAIAI 復(fù)活親人
點(diǎn)贊
收藏

51CTO技術(shù)棧公眾號(hào)