學會“適當暫停與總結(jié)”，大模型終于實現(xiàn)無限推理。

想象一下，讓你一口氣不歇地推演一個超復雜數(shù)學證明，大腦也會“內(nèi)存溢出”吧？

如今的大模型在長上下文推理中也面臨同樣的困境，隨著推理長度增加而指數(shù)級增長的計算成本，以及由于長度受限而被迫中斷推理過程。

為了解決上述問題，浙江大學聯(lián)合北京大學的研究團隊從人類“分段思考+歸納總結(jié)”的智慧中汲取靈感，創(chuàng)新性地提出了大模型的推理新范式——InftyThink。

InftyThink將傳統(tǒng)單一連續(xù)推理拆分為多個短片段，并在片段之間引入用于銜接的推理內(nèi)容總結(jié)，從而突破了推理長度的限制，實現(xiàn)了理論上無限制的推理深度，并同時維持了較高的生成吞吐。

下面是InftyThink的更多詳細細節(jié)。

推理范式設(shè)計

InftyThink的主要特征包含：

• 迭代式推理與階段性總結(jié)

InftyThink將傳統(tǒng)一次性完成的長推理拆分為多次短推理，每次短推理生成有限長度的推理內(nèi)容，并配套生成一段精煉總結(jié)，作為下一階段推理的上下文信息輸入。

這種方式模擬了人類逐步歸納總結(jié)的認知過程，使模型能在保持上下文連貫的同時進行無限深度的推理，解決了傳統(tǒng)長推理在上下文長度和計算復雜度上的限制。

• 固定的計算開銷與上下文窗口

InftyThink實現(xiàn)了一種“鋸齒式”內(nèi)存使用模式，在每輪短推理后清空前輪上下文，僅保留總結(jié)，顯著降低了推理時的計算復雜度。

相對傳統(tǒng)的推理范式長度越長，計算復雜度越高的表現(xiàn)，InftyThink在推理深度與計算效率之間達成了更優(yōu)的平衡。

• 與原始架構(gòu)解耦、訓練范式兼容性強

InftyThink不依賴于模型結(jié)構(gòu)上的調(diào)整，而是通過重構(gòu)訓練數(shù)據(jù)為多輪推理格式來實現(xiàn)其范式，使其能與現(xiàn)有的預訓練模型、微調(diào)、強化學習流程無縫結(jié)合，具備良好的工程可落地性。

一句話概括就是，InftyThink像是給大模型裝上了一個“思維管理器”，使其高效地進行無限制深度推理，大幅降低計算成本，更加高效智能。

數(shù)據(jù)重構(gòu)方法

研究團隊提供了一種可以將傳統(tǒng)推理范式的數(shù)據(jù)重構(gòu)為InftyThink范式的方法，幫助研究者們直接將已有的推理數(shù)據(jù)無縫遷移到InftyThink范式，主要包括如下幾個步驟：

• 推理片段分區(qū)

由于InftyThink將模型的單次推理限制在一個較小的窗口，針對現(xiàn)有的長推理數(shù)據(jù)，首先需要使用分段算法將原始長推理過程按語義邊界劃分為若干子推理段。

文中使用句子/段落進行分界，并確保每段長度小于設(shè)定上下文窗口閾值（文中提到的默認值為4K Tokens），同時保持語義的連貫性。

• 中間總結(jié)生成

論文中使用強大的通用大模型為每段推理生成簡潔、全面的總結(jié)（文中使用Llama3-70B-Instruct），作為下一輪次生成的上下文信息，保障多次短推理之間的銜接與信息的連續(xù)性。

文中所提出的方法在為一段推理片段生成總結(jié)時，會將當前推理片段及其之前的所有推理片段輸入給通用大模型，使生成的總結(jié)能夠包含歷史推理的全部總結(jié)信息。

• 訓練樣本構(gòu)建

論文將每條原始推理數(shù)據(jù)重構(gòu)為多個訓練樣本，每條訓練樣本的輸入為問題和上一次推理所生成的總結(jié)，輸出為該輪次的推理內(nèi)容和配套的簡要總結(jié)。

對于第一次推理，輸入不含總結(jié)信息，對于最后一次推理，模型無需輸出總結(jié)，而是生成最終最問題的結(jié)論。

實驗結(jié)果

研究團隊在多個基座模型上進行了InftyThink范式數(shù)據(jù)的微調(diào)訓練，并同時在多個標準推理評測基準上上進行了廣泛的實驗評估。

實驗結(jié)果表明，InftyThink范式相對傳統(tǒng)推理范式表現(xiàn)卓著：

1. 拓展了模型的推理深度，在不增加額外算力需求的前提下，顯著提高了模型性能，如Qwen2.5-Math-7B基座模型訓練后，相對傳統(tǒng)的推理范式在AIME24基準上的性能提升高達13%。
2. 通過多次迭代式的短推理，顯著降低了推理的計算復雜度，提高了模型生成的吞吐量，例如在Qwen2.5-Math-7B基座模型訓練后，相對傳統(tǒng)的推理范式，模型生成吞吐從2.36K Token/s提升到2.67K Token/s。
3. 在不同架構(gòu)和規(guī)模的基座模型上展現(xiàn)出一致穩(wěn)定的提升，研究團隊在Qwen2.5-Math-1.5B、Qwen2.5-Math-7B、Qwen2.5-14B、Qwen2.5-32B和Meta-Llama-3.1-8B上的實驗結(jié)果呈現(xiàn)了高度一致的性能提升表現(xiàn)，證明了所提出方法的廣泛適用性和魯棒性。

具體來看，InftyThink通過有效總結(jié)和短片段推理，實現(xiàn)了更靈活、更深度的推理能力，這在小規(guī)模模型上的表現(xiàn)尤其顯著，為未來小模型的高效能推理應用提供了全新的解決方案。

論文鏈接：https://arxiv.org/abs/2503.06692

項目鏈接：https://zju-real.github.io/

InftyThink代碼鏈接：https://github.com/ZJU-REAL/InftyThink