只花120元，效果吊打70000元微調(diào)！

騰訊提出一種升級(jí)大模型智能體的新方法——無(wú)訓(xùn)練組相對(duì)策略優(yōu)化Training-Free GRPO。

無(wú)需調(diào)整任何參數(shù)，只要在提示詞中學(xué)習(xí)簡(jiǎn)短經(jīng)驗(yàn)，即可實(shí)現(xiàn)高性價(jià)比提升模型性能。

實(shí)驗(yàn)表明，在數(shù)學(xué)推理和網(wǎng)頁(yè)搜索任務(wù)上，利用無(wú)訓(xùn)練GRPO的DeepSeek-V3.1-Terminus模型展現(xiàn)出顯著的跨領(lǐng)域性能提升。

與微調(diào)32B模型相比，該方法在671B大型模型上所需訓(xùn)練數(shù)據(jù)更少、成本更低。

網(wǎng)友不禁表示：

也太劃算了吧！

下面具體來(lái)看。

將經(jīng)驗(yàn)知識(shí)作為token先驗(yàn)

如今，大語(yǔ)言模型正逐漸成為強(qiáng)大的通用智能體，在復(fù)雜問(wèn)題解決、網(wǎng)頁(yè)研究等通用任務(wù)中表現(xiàn)出色。

然而，在需外部工具（如計(jì)算器、API） 和特定提示策略的專業(yè)場(chǎng)景中，LLM往往會(huì)因?qū)︻I(lǐng)域需求和工具不熟悉，而導(dǎo)致性能欠佳。

為了彌補(bǔ)上述差距，基于GRPO的強(qiáng)化學(xué)習(xí)通過(guò)參數(shù)空間調(diào)整實(shí)現(xiàn)對(duì)模型行為的定向優(yōu)化。盡管這些方法能有效提升特定任務(wù)的能力，但其對(duì)LLM參數(shù)調(diào)優(yōu)的依賴仍存在多方面挑戰(zhàn)：

• 算力成本高；
• 跨領(lǐng)域泛化能力弱；
• 數(shù)據(jù)稀缺；
• 收益遞減。

參數(shù)調(diào)優(yōu)中的這些局限引發(fā)了一個(gè)根本性問(wèn)題：在參數(shù)空間中應(yīng)用強(qiáng)化學(xué)習(xí)是否是唯一可行的方法？能否以非參數(shù)化的方式提升LLM智能體的性能，同時(shí)降低數(shù)據(jù)和計(jì)算成本？

為此，騰訊優(yōu)圖團(tuán)隊(duì)提出了無(wú)訓(xùn)練組相對(duì)策略優(yōu)化，通過(guò)輕量級(jí)的token先驗(yàn)在上下文中學(xué)習(xí)經(jīng)驗(yàn)知識(shí)，無(wú)需修改模型參數(shù)即可提升LLM智能體性能。

Training-Free GRPO重新利用了傳統(tǒng)GRPO基于組間相對(duì)評(píng)估的核心邏輯，但將其轉(zhuǎn)化為非參數(shù)化的推理階段過(guò)程。

該方法保持參數(shù)θ永久凍結(jié)，轉(zhuǎn)而維護(hù)一個(gè)外部經(jīng)驗(yàn)知識(shí)庫(kù)（初始為空集），通過(guò)動(dòng)態(tài)更新知識(shí)庫(kù)而非模型參數(shù)來(lái)實(shí)現(xiàn)性能優(yōu)化。

隨后，Training-Free GRPO生成自然語(yǔ)言形式的組相對(duì)語(yǔ)義優(yōu)勢(shì)。

具體流程如下所示：

1、對(duì)于每個(gè)輸出，免訓(xùn)練GRPO首先讓同一個(gè)大語(yǔ)言模型M生成對(duì)應(yīng)分析摘要。

2、基于摘要集和當(dāng)前經(jīng)驗(yàn)，由M說(shuō)明每個(gè)輸出相對(duì)成功或失敗的原因，然后提取出簡(jiǎn)明的自然語(yǔ)言經(jīng)驗(yàn)。

之后，傳統(tǒng)GRPO會(huì)通過(guò)對(duì)單個(gè)批次中所有優(yōu)勢(shì)計(jì)算得到的目標(biāo)函數(shù)進(jìn)行梯度上升，從而更新模型參數(shù)θ。

而在Training-Free GRPO中，該方法通過(guò)使用當(dāng)前批次中的所有語(yǔ)義優(yōu)勢(shì)A_text來(lái)更新經(jīng)驗(yàn)庫(kù)，每條操作可能包括：

• Add（添加）：將A_text中描述的經(jīng)驗(yàn)直接追加到經(jīng)驗(yàn)庫(kù)中。
• Delete（刪除）：根據(jù)A_text，從經(jīng)驗(yàn)庫(kù)中移除低質(zhì)量經(jīng)驗(yàn)。
• Modify（修改）：根據(jù)A_text提供的見(jiàn)解，優(yōu)化或改進(jìn)經(jīng)驗(yàn)庫(kù)中已有的經(jīng)驗(yàn)。
• Keep（保留）：經(jīng)驗(yàn)庫(kù)保持不變。

在更新經(jīng)驗(yàn)庫(kù)后，條件策略會(huì)在隨后的批次或訓(xùn)練輪次中生成偏移后的輸出分布。

可以說(shuō)，Training-Free GRPO是通過(guò)改變上下文而非模型參數(shù)本身，將模型引向高獎(jiǎng)勵(lì)輸出。

其中，被凍結(jié)的基礎(chǔ)模型起到了強(qiáng)先驗(yàn)（strong prior）的作用，不僅保證輸出的連貫性，還提供了類似于GRPO中KL散度約束的內(nèi)在穩(wěn)定性，防止策略過(guò)度偏離參考模型。

實(shí)驗(yàn)結(jié)果

為評(píng)估免訓(xùn)練GRPO方法的性能，團(tuán)隊(duì)在數(shù)學(xué)推理和網(wǎng)絡(luò)搜索兩大基準(zhǔn)測(cè)試上開(kāi)展了多維度對(duì)比實(shí)驗(yàn)。

在實(shí)驗(yàn)中，研究主要關(guān)注的是現(xiàn)實(shí)應(yīng)用中難以微調(diào)且成本高昂的大型高性能LLM，例如DeepSeek-V3.1-Terminus。

實(shí)驗(yàn)結(jié)果顯示，Training-Free GRPO在數(shù)學(xué)推理任務(wù)中取得了顯著提升，無(wú)論是否使用工具，均表現(xiàn)出明顯優(yōu)勢(shì)。

基線模型DeepSeek-V3.1-Terminus+ReAct在AIME24和AIME25上的得分分別為80.0%和 67.9%，而應(yīng)用Training Free GRPO后，凍結(jié)模型的表現(xiàn)顯著提升至82.7%和73.3%，分別帶來(lái)2.7%和5.4%的絕對(duì)增益。

值得注意的是，這一提升僅使用了100個(gè)跨域訓(xùn)練樣本，并且無(wú)需任何梯度更新。相比之下，傳統(tǒng)強(qiáng)化學(xué)習(xí)方法如ReTool和AFM在32B LLM上通常需要數(shù)千個(gè)訓(xùn)練樣本，成本超過(guò)10000美元，而Training Free GRPO僅需約18美元。

在AIME24和AIME25實(shí)驗(yàn)中，隨著每一步學(xué)習(xí)，模型表現(xiàn)持續(xù)提升，這表明僅從100個(gè)問(wèn)題中學(xué)到的經(jīng)驗(yàn)?zāi)軌蛴行Х夯?，同時(shí)也凸顯了多步學(xué)習(xí)的必要性。

此外，在訓(xùn)練過(guò)程以及跨域評(píng)估中，模型的平均工具調(diào)用次數(shù)都有所下降。這表明Training-Free GRPO不僅促使模型做出正確的推理和決策，還能教會(huì)智能體更高效、更謹(jǐn)慎地使用工具。

學(xué)習(xí)到的經(jīng)驗(yàn)知識(shí)幫助智能體發(fā)現(xiàn)一些捷徑，避免錯(cuò)誤或冗余的工具調(diào)用，從而驗(yàn)證了基于語(yǔ)義優(yōu)勢(shì)優(yōu)化方法的有效性。

在網(wǎng)絡(luò)搜索任務(wù)中，團(tuán)隊(duì)選擇在WebWalkerQA基準(zhǔn)上評(píng)估免訓(xùn)練GRPO方法的有效性。

可以看出，該方法在使用DeepSeek-V3.1-Terminus模型時(shí)實(shí)現(xiàn)了67.8%的Pass@1得分，較基線63.2%有顯著提升。

此外，研究還對(duì)來(lái)自WebWalkerQA的51個(gè)實(shí)例進(jìn)行分層隨機(jī)抽樣，以開(kāi)展消融實(shí)驗(yàn)。

由上圖可知，直接使用生成的經(jīng)驗(yàn)會(huì)略微降低ReAct的性能（Pass@1 為64.7%，相比原來(lái)的66.7%），這說(shuō)明僅靠上下文示例而沒(méi)有經(jīng)過(guò)優(yōu)化，難以帶來(lái)性能提升。

不使用真實(shí)答案的Training-Free GRPO在Pass@1上與ReAct保持一致（66.7%），但在Pass@3上提升到78.4%，表明即使沒(méi)有真實(shí)答案，通過(guò)相對(duì)獎(jiǎng)勵(lì)評(píng)估也能提高輸出的一致性。

完整的Training-Free GRPO則取得了最佳表現(xiàn)（Pass@1為68.6%，Pass@3為78.4%），凸顯了結(jié)合真實(shí)答案指導(dǎo)、語(yǔ)義優(yōu)勢(shì)和經(jīng)驗(yàn)優(yōu)化的重要性。

此外，研究還驗(yàn)證了模型能力是基于經(jīng)驗(yàn)優(yōu)化能否有效的前提條件。

實(shí)驗(yàn)將Training-Free GRPO應(yīng)用于QwQ-32B時(shí)，Pass@1僅為25.5%，遠(yuǎn)低于DeepSeek-V3.1-Terminus的66.7%，甚至低于其自身的ReAct基線（27.5%）。這表明該方法的有效性依賴于基礎(chǔ)模型在復(fù)雜工具使用場(chǎng)景中的推理和工具使用能力。

論文鏈接：https://arxiv.org/abs/2510.08191

參考鏈接：https://x.com/rohanpaul_ai/status/1978048482003890625

Github鏈接：https://github.com/TencentCloudADP/youtu-agent/tree/training_free_GRPO