OpenAI 接連發(fā)布 o1 和 o3 模型，大模型的高階推理能力正在迎來爆發(fā)式增強(qiáng)。在預(yù)訓(xùn)練 Scaling law “撞墻” 的背景下，探尋新的 Scaling law 成為業(yè)界關(guān)注的熱點(diǎn)。高階推理能力有望開啟新的 Scaling law，為大模型的發(fā)展注入新的活力。

近日，華為諾亞方舟實驗室的研究人員提出了一個名為思維森林 “Forest-of-Thought”（FoT）的全新大模型高階推理框架，它通過在推理時擴(kuò)展計算規(guī)模，顯著提升了 LLM 的高階推理能力。

• 論文鏈接：https://arxiv.org/abs/2412.09078
• 項目鏈接：https://github.com/iamhankai/Forest-of-Thought

LLM 的推理困境

盡管 LLM 在多種語言任務(wù)上表現(xiàn)出色，但在解決復(fù)雜推理問題時，它們常常陷入困境。以數(shù)學(xué)問題為例，LLM 可能會在分解問題的過程中忽略關(guān)鍵細(xì)節(jié)或在中間步驟中出錯，導(dǎo)致最終答案錯誤；通常完成一條推理路徑后，大模型通常不會重新審視其他可能的方法，這種缺乏重新評估的能力使得解決方案無法全面應(yīng)對復(fù)雜的問題。相比之下，人類在處理復(fù)雜問題時，會從不同角度反復(fù)思考和驗證，以確保答案的準(zhǔn)確性。

思維森林 FoT 方法介紹

圖 1 中的 FoT 框架通過整合多個推理樹，利用集體決策的優(yōu)勢來解決復(fù)雜的邏輯推理任務(wù)。它采用稀疏激活策略，選擇最相關(guān)的推理路徑，從而提高模型的效率和準(zhǔn)確性。此外，F(xiàn)oT 還引入了動態(tài)自校正策略，使模型能夠在推理過程中實時識別和糾正錯誤，并從過去的錯誤中學(xué)習(xí)。共識引導(dǎo)決策策略也被納入其中，以優(yōu)化正確性和計算資源的使用。

圖 1 思維森林 FoT

稀疏激活策略

在 FoT 的推理過程中，并不是所有的推理樹或樹中的每個節(jié)點(diǎn)都會被計算，而是只選擇最相關(guān)的推理樹或節(jié)點(diǎn)進(jìn)行計算。這種方法不僅提高了效率，還通過選擇最相關(guān)的推理路徑來提高模型的準(zhǔn)確性。通過稀疏激活，F(xiàn)oT 能夠過濾掉每個推理樹的激活，確保只有某些推理樹的路徑被 “激活” 用于推理。

動態(tài)自校正策略

為了提高每個推理樹給出正確答案的概率，F(xiàn)oT 引入了動態(tài)自校正策略。對于推理樹的初始結(jié)果，自校正策略會評估其正確性和有效性，并在每個推理步驟完成后分配相應(yīng)的分?jǐn)?shù)。一旦某個步驟的分?jǐn)?shù)低于預(yù)設(shè)閾值，策略會自動觸發(fā)校正機(jī)制。該機(jī)制首先回顧和分析過去的失敗案例，識別低分和常見錯誤模式的原因，然后嘗試糾正錯誤并優(yōu)化推理方向。通過這種從歷史中學(xué)習(xí)和實時校正的機(jī)制，模型不僅避免了在相同問題上重復(fù)犯錯，還能更迅速、更準(zhǔn)確地找到解決新問題的有效方法。

圖 2 動態(tài)自校正策略

共識引導(dǎo)決策策略

為了解決復(fù)雜的數(shù)學(xué)問題，F(xiàn)oT 設(shè)計了共識引導(dǎo)專家決策（CGED）策略，以確保最終答案的高準(zhǔn)確性和可靠性。CGED 方法結(jié)合了集體智慧和專家判斷，引導(dǎo)推理過程從基于共識的決策轉(zhuǎn)向?qū)＜以u估。在 FoT 方法中，每個獨(dú)立樹通過其獨(dú)特的推理路徑生成一個或多個可能的答案。子樹會對候選答案進(jìn)行投票，選出獲得最多支持的答案。如果無法達(dá)成共識，數(shù)學(xué)專家將評估推理過程并選擇最終答案，以確保其準(zhǔn)確性和有效性。

實驗結(jié)果

研究人員在多個 LLM 推理基準(zhǔn)測試中評估了 FoT 方法，包括 24 點(diǎn)游戲、GSM8K 和 MATH 數(shù)據(jù)集，使用了多個開源 LLM 模型，包括 Llama3-8B，Mistral-7B 和 GLM-4-9B。

24 點(diǎn)游戲

24 點(diǎn)游戲的目標(biāo)是使用給定的四個數(shù)字各一次，通過加、減、乘、除和括號構(gòu)造一個算術(shù)表達(dá)式，使其結(jié)果為 24。表 1 中的實驗結(jié)果表明，當(dāng)推理樹的數(shù)量從 2 增加到 4 時，F(xiàn)oT 的準(zhǔn)確率提高了 14%，顯示出顯著的推理性能提升。相比之下，僅增加單個樹的葉子節(jié)點(diǎn)數(shù)量的 ToT 方法遇到了性能瓶頸，進(jìn)一步增加葉子節(jié)點(diǎn)數(shù)量并未帶來顯著的性能提升。這表明 FoT 通過多棵樹提供的推理路徑多樣性比單純增加單個樹的復(fù)雜性更有效，凸顯了 FoT 框架在實現(xiàn)可擴(kuò)展和高效推理改進(jìn)方面的優(yōu)勢。

表 1  24 點(diǎn)游戲，Llama3-8B 基模型，b 是葉子節(jié)點(diǎn)數(shù)量，n 是樹數(shù)量

GSM8K 基準(zhǔn)測試

研究人員在 GSM8K 數(shù)據(jù)集上評估了 FoT 在不同基模型上的性能。圖 3 中的實驗結(jié)果表明，基于不同的大語言模型 Llama3-8B，Mistral-7B 和 GLM-4-9B，都存在類似的 scaling law：FoT 中的樹數(shù)量越多，帶來的準(zhǔn)確率提升越顯著。

圖 3 FoT 在不同基模型的性能

MATH 基準(zhǔn)測試

在 MATH 數(shù)據(jù)集上，F(xiàn)oT 算法在不同復(fù)雜度級別的問題上均展現(xiàn)出一致的性能提升。如表 2 所示，從最簡單的 level1 到最具挑戰(zhàn)性的 level5，F(xiàn)oT（n=4）的準(zhǔn)確率比 MCTSr 提高了約 10%。這種一致的提升凸顯了 FoT 方法在處理從簡單到復(fù)雜問題的有效性。

表 2 FoT 在 MATH 數(shù)據(jù)集上的性能

FoT 的廣泛應(yīng)用前景

FoT 框架不僅在理論上具有創(chuàng)新性，而且在實際應(yīng)用中也具有廣泛的前景。它可以幫助 LLM 在數(shù)學(xué)、邏輯、金融、醫(yī)療和法律等需要復(fù)雜推理的領(lǐng)域中更好地發(fā)揮作用。例如，在金融領(lǐng)域，F(xiàn)oT 可以用于風(fēng)險評估和投資決策分析；在醫(yī)療領(lǐng)域，它可以輔助醫(yī)生進(jìn)行疾病診斷和治療方案制定；在法律領(lǐng)域，F(xiàn)oT 可以用于案例分析和法律推理。此外，F(xiàn)oT 還可以與現(xiàn)有的 LLM 相結(jié)合，提升其在法律、教育、科研等領(lǐng)域的應(yīng)用效果，為用戶提供更加智能、準(zhǔn)確的服務(wù)。

結(jié)語

思維森林 Forest-of-Thought 框架的提出，為 LLM 的推理能力提升提供了一條新的路徑。它通過多路徑探索和動態(tài)激活推理路徑的結(jié)構(gòu)化框架，有效解決了現(xiàn)有 LLM 推理范式中的關(guān)鍵局限。FoT 不僅提高了模型在復(fù)雜任務(wù)中的問題解決能力，還生成了多樣化的推理結(jié)果，無需依賴反向傳播或微調(diào)。隨著大模型在日常工作和生活的不斷滲透，F(xiàn)oT 有望在更多的應(yīng)用場景中發(fā)揮重要作用，推動大模型向更智能、更高效的方向發(fā)展。