拒絕“熵崩塌”和“熵爆炸”！這項研究讓大模型學(xué)會“精確探索”，推理成績飆升
大語言模型在RLVR訓(xùn)練中面臨的“熵困境”，有解了！
2024年以來，以O(shè)penAI o1、DeepSeek-R1、Kimi K1、Qwen3等為代表的大模型，在數(shù)學(xué)、代碼和科學(xué)推理任務(wù)上取得了顯著突破。這些進展很大程度上得益于一種名為RLVR （基于可驗證獎勵的強化學(xué)習(xí)）的方法。
該方法通過數(shù)學(xué)驗證、單元測試等可自動判斷對錯的方式提供訓(xùn)練信號，替代了傳統(tǒng)依賴人類評判的流程，使模型能夠進行大規(guī)模、高效率的自我改進。
然而，RLVR在實踐中始終面臨“探索機制極易失衡”這一關(guān)鍵瓶頸——要么探索受限，陷入熵崩塌；要么探索失控，引發(fā)熵爆炸。
為突破這一瓶頸，來自上海人工智能實驗室和復(fù)旦大學(xué)等機構(gòu)的研究團隊提出選擇性熵正則化方法（SIREN），通過劃定探索范圍、聚焦關(guān)鍵決策、穩(wěn)定訓(xùn)練過程的三重機制，實現(xiàn)了對探索行為的精準(zhǔn)調(diào)控。
實驗證明，該方法不僅在多項數(shù)學(xué)推理基準(zhǔn)上取得了顯著性能提升，更重要的是，它讓模型的探索過程變得更加高效與可控。
下面詳細(xì)來看——
核心困境：探索的“兩難陷阱”
在RLVR訓(xùn)練中，研究人員期望模型能夠持續(xù)探索多樣化的解題路徑，以避免過早陷入局部最優(yōu)。
一個自然的想法是：引入熵正則化（entropy regularization）。
這是強化學(xué)習(xí)中鼓勵探索的經(jīng)典手段。其核心思想很簡單：在優(yōu)化目標(biāo)中加入一項，鼓勵模型在每一步生成時保持一定的“不確定性”，不要過早把概率全壓在少數(shù)幾個詞上。
具體來說，就是計算每一步輸出分布的熵（衡量“混亂程度”），再把整條推理軌跡的平均熵加到訓(xùn)練目標(biāo)里，用一個系數(shù)??控制探索強度。
以下公式分別為：熵的計算公式及熵正則的優(yōu)化目標(biāo)。
然而，這一策略在大型推理模型（LRM）的復(fù)雜場景下卻極易走向兩個極端：
- 探索受限（熵崩塌）
當(dāng)??太小，熵項幾乎不起作用，模型迅速退化為近似確定性策略。平均熵迅速收斂，即發(fā)生熵崩塌。幾輪訓(xùn)練后，所有回答都高度相似，陷入“舒適區(qū)”。這種熵崩塌現(xiàn)象不僅扼殺了模型的多樣性，也使其推理能力在訓(xùn)練早期就觸及天花板，無法充分釋放潛力。
- 探索失控（熵爆炸）
反之，當(dāng)??稍大，模型便極易在龐大的動作空間（數(shù)十萬個token）與超長的推理軌跡（上千步生成）中失控。根據(jù)熵的定義，當(dāng)概率分布越“平”，熵就越高。而在如此龐大的詞表中，哪怕只把一點點概率質(zhì)量從高義詞（如“因此”）挪到無意義詞（如“<”“#@$%”），也能帶來顯著的熵增。
更糟的是，在自回歸生成中，這種不確定性會沿著軌跡逐步累積——早期幾步的微小混亂，會迅速放大為整條推理鏈的失控。最終使得模型為了“拉高熵”，在每個位置、對每個token都分配一點概率，導(dǎo)致生成內(nèi)容充斥無意義符號，邏輯斷裂、語義崩壞——這就是典型的熵爆炸（entropy explosion）。
傳統(tǒng)方法會失效的根本原因在于：熵正則化的激勵是“無差別”的——它假設(shè)所有token、所有位置都同等值得探索。但LRM的生成過程具有鮮明的結(jié)構(gòu)性：
- 在每個生成步驟上，僅有概率排名靠前的少數(shù)token具備語義合理性，其余絕大多數(shù)token概率趨近于零且無實際意義；
- 在整個生成序列中，僅有少數(shù)承擔(dān)邏輯樞紐作用的關(guān)鍵詞（如邏輯連接詞、變量名、結(jié)論引導(dǎo)詞）真正影響推理走向，而大量用于句法填充的常規(guī)詞則應(yīng)保持高確定性，以維持推理連貫性。
正因忽略了這種“探索價值的非均勻分布”，傳統(tǒng)熵正則化不僅難以有效引導(dǎo)探索，反而容易引發(fā)訓(xùn)練不穩(wěn)定，甚至背離提升推理能力的初衷。
下圖表明，訓(xùn)練前模型的概率分布高度集中，且只有少量位置在邏輯上關(guān)鍵，值得探索；過度探索后概率被攤薄，生成內(nèi)容混亂。
破局之道：為探索裝上“精準(zhǔn)導(dǎo)航”
針對傳統(tǒng)方法的不足，研究人員提出選擇性熵正則化方法（SIREN），通過結(jié)構(gòu)化約束實現(xiàn)探索過程的精細(xì)調(diào)控。SIREN包含三個核心機制：
1、劃定探索范圍（Top-p掩碼, Top-P Mask）
在每個生成步驟中，將熵的計算范圍嚴(yán)格限定于概率最高的核心token集合，確保探索僅在語義合理的候選詞中進行，避免無效探索。
2、識別關(guān)鍵決策點（峰值熵掩碼，Peak-entropy Mask）
自動識別生成序列中熵值顯著高于平均水平的邏輯關(guān)鍵詞（如推理連接詞、假設(shè)引導(dǎo)詞等），并將探索激勵集中作用于這些關(guān)鍵位置。
3、穩(wěn)定訓(xùn)練過程（自錨定正則化, Self-anchored Regularization）
將熵值目標(biāo)從最大化調(diào)整為維持合理區(qū)間，通過動態(tài)錨定機制使探索強度始終處于可控范圍，避免訓(xùn)練失穩(wěn)。
這一方法首次在RLVR框架中實現(xiàn)了對探索范圍、位置和強度的三重精準(zhǔn)控制，為大規(guī)模推理模型的穩(wěn)定訓(xùn)練提供了可靠解決方案。
下圖為SIREN的方法流程：
實驗驗證：有效探索促進性能提升
實驗結(jié)果顯示，SIREN在不同模型和數(shù)據(jù)集上均取得顯著提升。
以下為SIREN在Qwen2.5-Math-7B上的實驗結(jié)果：
以及SIREN在其他基座模型上的實驗結(jié)果：
上述結(jié)果表明：
- 在Qwen2.5-Math-7B上，SIREN平均maj@k達54.6%，超越最強基線4.8%。
- 在最具挑戰(zhàn)的AIME24/25上，提升均達6.6%。
- 在1.5B到8B不同規(guī)模、不同基座的模型上均穩(wěn)定有效。
那么，這些性能提升從何而來？
分析表明，這正是有效探索帶來的根本性改變。與傳統(tǒng)的熵正則方法相比，SIREN展現(xiàn)出更合理有效的探索模式。
下圖中，SIREN展現(xiàn)出較高的pass@k，探索邊界顯著擴展：
還能避免困惑度坍縮，SIREN將答案多樣性保持良好：
下圖表明，先加大探索再緩慢收斂，訓(xùn)練過程平穩(wěn)可控：
小結(jié)
這項研究致力于解決大語言模型在RLVR訓(xùn)練中面臨的策略探索難題。
通過系統(tǒng)的實證分析，研究人員發(fā)現(xiàn)傳統(tǒng)的探索機制在大規(guī)模動作空間和長序列生成中極易失衡，導(dǎo)致模型陷入熵崩塌和熵爆炸的困境。
為突破這一瓶頸，團隊提出了選擇性熵正則化方法（SIREN），通過劃定探索范圍、聚焦關(guān)鍵決策、穩(wěn)定訓(xùn)練過程的三重機制，實現(xiàn)了對探索行為的精準(zhǔn)調(diào)控。實驗證明，該方法不僅在多項數(shù)學(xué)推理基準(zhǔn)上取得了顯著性能提升，更重要的是，它讓模型的探索過程變得更加高效與可控。
團隊表示，展望未來，隨著強化學(xué)習(xí)成為大模型后訓(xùn)練的主流方法，如何實現(xiàn)穩(wěn)定、可控、高效的探索，將成為釋放大模型潛力、突破性能瓶頸的核心議題。該研究提出的選擇性探索調(diào)控機制，為探索的精細(xì)化提供了一種可行的解決方案。
團隊期待這項工作能為下一代推理模型的訓(xùn)練范式提供啟發(fā)，推動大模型在數(shù)學(xué)、代碼、科學(xué)推理等復(fù)雜任務(wù)以及其他更廣闊的應(yīng)用領(lǐng)域走得更遠。
