譯者 | 涂承燁

審校 | 重樓

當(dāng)研究人員首次發(fā)現(xiàn)大型語(yǔ)言模型（LLMS）可以通過(guò)思維鏈提示一步一步地“思考”時(shí)，這是一個(gè)突破性的時(shí)刻！我們終于可以窺視這些黑盒子的推理過(guò)程了。但如果我告訴你，讓人工智能模型用自然語(yǔ)言思考可能會(huì)阻礙它們的發(fā)展呢？

Meta和加州大學(xué)圣地亞哥分校的研究人員通過(guò)他們的新COCONUT（連續(xù)思維鏈）方法發(fā)現(xiàn)了這一點(diǎn)。

想象一下，試圖解決一個(gè)復(fù)雜的數(shù)學(xué)問(wèn)題，同時(shí)被迫大聲講述每一步。很煩人，對(duì)吧？現(xiàn)在，讓我們先了解語(yǔ)言模型面臨的核心挑戰(zhàn)。

當(dāng)我們讓人工智能模型通過(guò)自然語(yǔ)言推理時(shí)：

• 它們生成的大多數(shù)標(biāo)記只是語(yǔ)言粘合劑，像“因此”、“下一步”和“結(jié)果”這樣的單詞，它們沒(méi)有增加任何推理價(jià)值
• 關(guān)鍵決策點(diǎn)因需要承諾特定單詞而受到瓶頸
• 該模型在保持語(yǔ)法連貫性上花費(fèi)了大量的計(jì)算精力，而不是實(shí)際解決問(wèn)題

研究人員在他們的神經(jīng)科學(xué)研究中發(fā)現(xiàn)了一些有趣的事情：當(dāng)人類(lèi)處理復(fù)雜的推理任務(wù)時(shí)，我們大腦的語(yǔ)言中心通常會(huì)保持令人驚訝的安靜。然而，我們一直在構(gòu)建相反的人工智能系統(tǒng)，迫使它們將每一個(gè)推理步驟轉(zhuǎn)化為文字。

想想你是如何解決一個(gè)謎題。你的大腦可能同時(shí)探索多種可能性，保持模糊的假設(shè)，只有在分享解決方案時(shí)才將其思想總結(jié)為語(yǔ)言。但傳統(tǒng)的思維鏈方法迫使人工智能模型對(duì)每一個(gè)中間步驟進(jìn)行表達(dá)，從而造成了“語(yǔ)言瓶頸”。

這種見(jiàn)解引出了一個(gè)問(wèn)題：如果我們能讓人工智能模型用它們的原生“語(yǔ)言”進(jìn)行推理，即它們隱藏狀態(tài)下的連續(xù)、高維空間，而不是強(qiáng)迫它們把所有內(nèi)容都翻譯成符號(hào)，會(huì)怎么樣？

了解COCONUT的創(chuàng)新

想象一下大聲說(shuō)出你的想法和你大腦中發(fā)生的實(shí)際心理過(guò)程之間的區(qū)別。這種差距（即言語(yǔ)化思維和神經(jīng)活動(dòng)之間的差距）正是Meta的研究人員利用COCONUT所挖掘的。

COCONUT的真正突破在于它如何讓人工智能模型以?xún)煞N不同的方式思考，就像人類(lèi)一樣。想想當(dāng)你解決一個(gè)復(fù)雜的謎題時(shí)，你不會(huì)在腦海中講述每一個(gè)可能的動(dòng)作，對(duì)吧？相反，你會(huì)這么做：

• 吸收問(wèn)題：你吸收信息（比如閱讀謎題規(guī)則）
• 靜靜地思考：你的大腦在不把它們變成文字的情況下探索多種可能性
• 分享解決方案：只有這樣，你才能向他人解釋你的想法

COCONUT為AI模型提供了同樣的自然靈活性。它沒(méi)有像傳統(tǒng)方法那樣強(qiáng)迫他們大聲“說(shuō)出”每一個(gè)想法，而是讓他們?cè)谧匀坏纳窠?jīng)空間中思考，研究人員稱(chēng)之為“潛在空間”。

該模型在兩種模式之間平滑切換：

• 當(dāng)它需要理解問(wèn)題或給出答案時(shí)，它會(huì)使用常規(guī)語(yǔ)言
• 但對(duì)于需實(shí)際思考的過(guò)程時(shí)，它使用純神經(jīng)模式，不受詞語(yǔ)的限制

訓(xùn)練過(guò)程

COCONUT最迷人的方面之一是它的訓(xùn)練課程。它的特別之處在于它反映了自然的學(xué)習(xí)過(guò)程。想想我們是如何教授復(fù)雜技能的，就像你不會(huì)馬上把一個(gè)人扔進(jìn)深淵，而是在他們通過(guò)了每一個(gè)關(guān)卡后，逐漸增加復(fù)雜性。

研究人員對(duì)COCONUT采用了同樣的方法：

階段1：基礎(chǔ)

首先，該模型像其他人工智能一樣學(xué)習(xí)，即通過(guò)傳統(tǒng)的思維鏈推理。這給了它一個(gè)堅(jiān)實(shí)的基礎(chǔ)理解。

階段2：過(guò)渡階段

這就是有趣的地方。漸漸地，那些寫(xiě)下來(lái)的推理步驟被連續(xù)的思考所取代，慢慢地移除輔助輪，讓模型發(fā)展自己的內(nèi)部思維模式。

階段3：平衡

最后，該模型學(xué)會(huì)了在“潛在空間”的深度思考和用清晰的語(yǔ)言傳達(dá)其見(jiàn)解之間無(wú)縫切換。

在訓(xùn)練過(guò)程中，該模型開(kāi)發(fā)出了人們沒(méi)有明確的編程邏輯的能力，比如同時(shí)考慮多個(gè)推理路徑。這種新興行為尤其令人興奮，因?yàn)樗砻魑覀兛赡芨咏匀坏娜斯ぶ悄芡评硇问?。正是這些意想不到的發(fā)展往往導(dǎo)致最大的突破。

還記得之前提到的那些神經(jīng)科學(xué)研究嗎？他們發(fā)現(xiàn)，人類(lèi)大腦經(jīng)常在沒(méi)有高度參與的語(yǔ)言中心的情況下處理復(fù)雜的推理任務(wù)。COCONUT似乎正在發(fā)展類(lèi)似的模式，即在其原生神經(jīng)空間中進(jìn)行深入思考，只有在需要交流時(shí)才轉(zhuǎn)換為語(yǔ)言。

用數(shù)字講述現(xiàn)象

研究中還有一些重要發(fā)現(xiàn)：

• 數(shù)學(xué)單詞問(wèn)題（GSM8k）：在這里，COCONUT達(dá)到了34.1%的準(zhǔn)確率。雖然這低于傳統(tǒng)的思維鏈（42.9%），但明顯優(yōu)于基準(zhǔn)方法。
• 邏輯推理（ProntoQA）：COCONUT達(dá)到99.8%的準(zhǔn)確率，超過(guò)了傳統(tǒng)思維鏈的98.8%。但令人驚訝的是，它只使用了9個(gè)標(biāo)記，而CoT使用了92.5個(gè)標(biāo)記。
• 復(fù)雜計(jì)劃（ProsQA）：最令人印象深刻的結(jié)果來(lái)自這個(gè)高級(jí)推理測(cè)試。COCONUT的準(zhǔn)確率達(dá)到97%，而傳統(tǒng)方法的準(zhǔn)確率僅為77.5%。同樣，它以驚人的效率做到了這一點(diǎn)，即14.2個(gè)標(biāo)記對(duì)49.4個(gè)標(biāo)記。

讓這些結(jié)果充滿(mǎn)希望的不僅僅是原始數(shù)據(jù)，而是它們揭示了不同類(lèi)型的思維。雖然COCONUT在數(shù)學(xué)推理方面可能仍處于起步階段，但它在需要復(fù)雜邏輯規(guī)劃和推理的任務(wù)上表現(xiàn)出色。

COCONUT代表了對(duì)人工智能系統(tǒng)如何進(jìn)行推理的根本性反思，它使我們更接近更自然、更高效、更強(qiáng)大的人工智能形式。從基于語(yǔ)言的推理到持續(xù)思考的旅程，是朝著更有能力、更高效的人工智能系統(tǒng)邁出的一步。

譯者介紹

涂承燁，51CTO社區(qū)編輯，省政府采購(gòu)專(zhuān)家、省綜合性評(píng)標(biāo)專(zhuān)家、公 E 采招標(biāo)采購(gòu)專(zhuān)家，獲得信息系統(tǒng)項(xiàng)目管理師、信息系統(tǒng)監(jiān)理師、PMP，CSPM-2等認(rèn)證，擁有15年以上的開(kāi)發(fā)、項(xiàng)目管理、咨詢(xún)?cè)O(shè)計(jì)等經(jīng)驗(yàn)。對(duì)項(xiàng)目管理、前后端開(kāi)發(fā)、微服務(wù)、架構(gòu)設(shè)計(jì)、物聯(lián)網(wǎng)、大數(shù)據(jù)、咨詢(xún)?cè)O(shè)計(jì)等較為關(guān)注。

原文標(biāo)題：Meta’s COCONUT: The AI Method That Thinks Without Language，作者：Alex McFarland