大家好，我是肆〇柒。今天我們一起看一篇綜述，這是來自牛津大學(xué)、上海人工智能實驗室、新加坡國立大學(xué)等全球頂尖機構(gòu)聯(lián)合發(fā)布的前沿綜述——《The Landscape of Agentic Reinforcement Learning for LLMs: A Survey》。這篇論文系統(tǒng)性地梳理了如何通過強化學(xué)習(xí)，將大語言模型從被動的文本生成器，重塑為主動的、能解決復(fù)雜現(xiàn)實問題的決策智能體。

想象一個企業(yè)客服智能體，面對用戶“幫我找一篇2003年關(guān)于量子計算在金融領(lǐng)域應(yīng)用的權(quán)威綜述，并總結(jié)其核心觀點”的復(fù)雜請求。傳統(tǒng)大語言模型（LLM）可能給出一個籠統(tǒng)的摘要，或在第一步網(wǎng)絡(luò)搜索后就停止，無法進行多輪信息篩選、交叉驗證和深度整合。結(jié)果呢？企業(yè)可能收到一份過時的、片面的報告，導(dǎo)致戰(zhàn)略誤判；客服代表不得不花費數(shù)小時手動驗證AI提供的信息，效率不升反降。這種“半成品”智能，不僅無法解放人力，反而成了新的生產(chǎn)力瓶頸。

這不只是“換個算法”，而是認(rèn)知架構(gòu)的徹底重構(gòu)。Agentic RL要求我們放棄“一次性問答”的思維，擁抱“持續(xù)探索與學(xué)習(xí)”的智能體范式。隨著OpenAI o3、DeepSeek-R1等具備自演進推理能力的模型出現(xiàn)，這一范式轉(zhuǎn)變正在將LLM從被動文本生成器推向真正能解決復(fù)雜業(yè)務(wù)問題的決策智能體。

核心概念與理論基礎(chǔ)：從靜態(tài)生成器到動態(tài)決策者

Agentic RL：一場范式革命

Agentic RL代表了LLM技術(shù)發(fā)展的根本性轉(zhuǎn)變。論文中提出：Agentic RL標(biāo)志著大模型技術(shù)路線的一次根本性轉(zhuǎn)折。它不再把模型當(dāng)成“一次性答對題目”的靜態(tài)生成器，而是讓模型本身成為可以在一環(huán)套一環(huán)的決策循環(huán)里持續(xù)學(xué)習(xí)、持續(xù)升級的策略主體。這一定義可以看出一個關(guān)鍵轉(zhuǎn)變：LLM不再被視為靜態(tài)條件生成器，而是被概念化為嵌入序列決策循環(huán)中的可學(xué)習(xí)策略。

理解這一轉(zhuǎn)變，需要先認(rèn)識傳統(tǒng)LLM強化學(xué)習(xí)的局限。傳統(tǒng)方法處理的是"退化的單步Markov決策過程(MDP)"——在這種框架下，狀態(tài)僅僅是輸入提示，動作是生成的響應(yīng)，獎勵通常是反映與人類偏好或任務(wù)指標(biāo)對齊的標(biāo)量。關(guān)鍵在于，這里沒有狀態(tài)轉(zhuǎn)換或時間擴展——整個交互被限制在單一步驟內(nèi)。

而Agentic RL則在"部分可觀測的、時間擴展的部分可觀測馬爾可夫決策過程(POMDP)"中運行，其特點包括：

• 環(huán)境狀態(tài)隨多步驟演化
• 智能體接收部分觀察而非完整狀態(tài)信息
• 動作通過復(fù)雜的轉(zhuǎn)換動態(tài)影響未來狀態(tài)
• 獎勵通常稀疏且延遲，需要長視野規(guī)劃

這種從"靜態(tài)快照"到"動態(tài)紀(jì)錄片"的范式轉(zhuǎn)變見下圖：

從“大模型強化學(xué)習(xí)”邁向“智能體強化學(xué)習(xí)”的范式躍遷

圖中左右對比，直觀地揭示了輸入、輸出、能力維度和反饋機制的全面升級。

POMDP視角：為智能體決策建模

從數(shù)學(xué)角度看，Agentic RL可以用POMDP框架形式化描述：

這種形式化定義揭示了Agentic RL的三個關(guān)鍵特性：

1. 時間擴展性：決策過程跨越多個時間步，要求智能體考慮長期后果

2. 部分可觀測性：智能體必須基于有限信息做出最優(yōu)判斷，如同在迷霧中航行

3. 序列決策：強調(diào)規(guī)劃而非即時響應(yīng)，如同下棋而非解謎

具備自主行動能力的Agentic LLM與所處環(huán)境之間的動態(tài)互動過程

上圖展示了Agentic LLM與環(huán)境之間的動態(tài)交互過程，清晰地呈現(xiàn)了智能體如何在與環(huán)境的持續(xù)交互中，通過執(zhí)行動作并接收獎勵來學(xué)習(xí)和進化。這種多輪交互機制是Agentic RL的核心，使智能體能夠處理需要長期規(guī)劃和適應(yīng)性決策的復(fù)雜任務(wù)。

這一理論框架不僅為復(fù)雜任務(wù)提供了數(shù)學(xué)建?；A(chǔ)，也解釋了為何傳統(tǒng)方法在處理動態(tài)環(huán)境任務(wù)時表現(xiàn)受限。當(dāng)面對需要多步驟規(guī)劃的復(fù)雜任務(wù)時，單輪對話的LLM如同被剝奪了"思考權(quán)"，無法展現(xiàn)真正的智能。

核心能力維度：構(gòu)建智能體的四大支柱

規(guī)劃能力：從"走一步看一步"到"運籌帷幄"

規(guī)劃能力是人工智能的基石，涉及為實現(xiàn)目標(biāo)而對一系列行動進行深思熟慮。規(guī)劃，對復(fù)雜推理、世界知識與適應(yīng)能力提出了極高要求。早期研究主要依賴LLM的固有能力通過提示工程方法（如ReAct）實現(xiàn)規(guī)劃，但這些方法如同"照本宣科"，缺乏通過經(jīng)驗適應(yīng)的機制。

面對POMDP的"部分可觀測性"，智能體如同在濃霧中航行，僅憑當(dāng)前"屏幕快照"難以決策。規(guī)劃能力便是它的"航海圖"，通過預(yù)演未來步驟，穿透迷霧，錨定長期目標(biāo)。強化學(xué)習(xí)為解決這一問題提供了強大范式，使智能體能夠通過環(huán)境反饋優(yōu)化其規(guī)劃策略。RL增強了規(guī)劃能力，將規(guī)劃過程從靜態(tài)的、基于提示的活動轉(zhuǎn)變?yōu)樽赃m應(yīng)的、基于經(jīng)驗的優(yōu)化問題。也就是，智能體學(xué)會生成能夠最大化規(guī)劃視野內(nèi)預(yù)期累積獎勵的計劃，而不僅僅是遵循啟發(fā)式模式。

以AdaPlan為例，它通過全局計劃引導(dǎo)和漸進式RL，在ALFWorld游戲中實現(xiàn)了復(fù)雜的長期規(guī)劃。AdaPlan首先生成整個任務(wù)的高層計劃，然后執(zhí)行動作，同時持續(xù)監(jiān)控計劃執(zhí)行進度。當(dāng)出現(xiàn)偏差時，它會動態(tài)調(diào)整即時動作和剩余計劃部分。這種雙層適應(yīng)機制——在戰(zhàn)術(shù)和戰(zhàn)略層面同時運作——使得在ALFWorld等復(fù)雜環(huán)境中的長視野規(guī)劃更加穩(wěn)健。

在WebSailor系統(tǒng)中，這種規(guī)劃能力被應(yīng)用于復(fù)雜的網(wǎng)絡(luò)導(dǎo)航和信息檢索任務(wù)。WebSailor通過試錯學(xué)習(xí)到：當(dāng)面對"量子計算在金融領(lǐng)域應(yīng)用"這樣的復(fù)雜查詢時，不應(yīng)立即開始搜索，而是先規(guī)劃一個信息獲取路徑——先了解量子計算的基本概念，再研究其在金融領(lǐng)域的應(yīng)用場景，最后收集權(quán)威綜述。這種規(guī)劃能力使WebSailor在GAIA基準(zhǔn)上的表現(xiàn)遠(yuǎn)超傳統(tǒng)方法。（擴展閱讀??《WebSailor 突破邊界：助力開源智能體跨越復(fù)雜推理 “天花板”》）

工具集成推理(TIR)：從"工具使用者"到"工具大師"

工具集成推理（Tool-Integrated Reasoning, TIR）代表了智能體能力的重要演進。強化學(xué)習(xí)已成為一種關(guān)鍵方法，推動語言智能體從“事后補救”式的 ReAct 流水線，演進為深度交織、多輪次、工具與推理融為一體的 TIR 系統(tǒng)。

然而，僅有地圖還不夠，世界是動態(tài)的。當(dāng)"濃霧"（部分觀測）中出現(xiàn)新路標(biāo)（工具返回的信息）時，智能體需要工具集成推理能力來判斷：這個路標(biāo)是否可信？我該調(diào)整航線嗎？

早期的ReAct框架，如同給智能體一本"操作手冊"。它告訴智能體："先想（Thought），再做（Action），然后看結(jié)果（Observation）"。這在簡單任務(wù)中有效，但如同"照本宣科"，缺乏靈活性。當(dāng)遇到從未見過的復(fù)雜網(wǎng)頁或工具時，它容易卡殼或出錯，因為它是在"模仿"而非"理解"。

強化學(xué)習(xí)的引入，是TIR演進的關(guān)鍵轉(zhuǎn)折點。它不再要求智能體"模仿"人類軌跡，而是讓它在"試錯"中學(xué)習(xí)最優(yōu)策略。獎勵函數(shù)成為了"指揮棒"，引導(dǎo)智能體學(xué)會"何時"調(diào)用工具比"如何"調(diào)用更重要。

WebDancer系統(tǒng)的設(shè)計極具啟發(fā)性。它的訓(xùn)練并非一蹴而就，而是采用了"兩階段冷啟動"策略：

1. 第一階段：探索，學(xué)習(xí)在什么情況下應(yīng)該發(fā)起網(wǎng)絡(luò)搜索——是遇到專業(yè)術(shù)語時？還是發(fā)現(xiàn)信息矛盾時？這個階段的目標(biāo)是培養(yǎng)"問題意識"

2. 第二階段：才開始學(xué)習(xí)"如何"高效利用搜索結(jié)果——是快速瀏覽摘要？還是深入閱讀某一篇文獻(xiàn)？

這種分階段的訓(xùn)練，模擬了人類從"發(fā)現(xiàn)問題"到"解決問題"的認(rèn)知過程，使WebDancer在GAIA和WebWalkerQA基準(zhǔn)上表現(xiàn)出色。

基于強化學(xué)習(xí)的搜索與研究智能體方法概覽

上表展示了當(dāng)前主流的RL驅(qū)動搜索與研究智能體。值得注意的是，這些系統(tǒng)已不再局限于簡單的信息檢索，而是能夠進行復(fù)雜、多步驟的深度研究：不僅找到信息，還能進行深入分析、綜合多源洞察并生成全面報告。

ToRL系統(tǒng)的研究進一步揭示了RL驅(qū)動TIR帶來的認(rèn)知行為演化。實驗表明，RL集成催生了三種關(guān)鍵的涌現(xiàn)能力：

• 自適應(yīng)工具使用：智能體學(xué)會基于上下文需求選擇最合適的工具，而非固定模式
• 基于工具反饋的自我修正：當(dāng)工具輸出與預(yù)期不符時，智能體能識別并糾正推理錯誤
• 自適應(yīng)計算推理：智能體能動態(tài)調(diào)整計算策略（如何時使用計算器與心算）

然而，TIR的前沿挑戰(zhàn)在于"長視野"任務(wù)。當(dāng)一個任務(wù)需要連續(xù)調(diào)用40次以上工具時（如ASearcher系統(tǒng)所展示的），如何將最終的成功或失敗，準(zhǔn)確地"歸功"或"歸咎"于幾十步之前的某一個工具調(diào)用？這就是"時間信用分配"問題，也是當(dāng)前研究的圣杯。

記憶與反思：構(gòu)建智能體的"知識庫"與"反思能力"

記憶系統(tǒng)是Agentic RL智能體的核心組件，使智能體能夠維持上下文并在多輪交互中積累知識?，F(xiàn)代系統(tǒng)通常結(jié)合非參數(shù)化和參數(shù)化記憶機制，以支持不同時間尺度的信息存儲與檢索。

在漫長的航行中，智能體的記憶會模糊。記憶與反思能力如同它的"航海日志"，不僅記錄見聞（Memory-R1的ADD/UPDATE/DELETE操作），更會從偏航經(jīng)歷中總結(jié)教訓(xùn)（WebThinker通過DPO學(xué)習(xí)優(yōu)化報告結(jié)構(gòu)），確保下次航行更穩(wěn)健。

WebThinker系統(tǒng)通過將Deep Web Explorer嵌入"思考-搜索-草擬"循環(huán)，并利用DPO（Direct Preference Optimization）與人類反饋對齊，顯著提升了復(fù)雜報告生成能力。在這個過程中，智能體的記憶系統(tǒng)扮演了關(guān)鍵角色：它不僅存儲了搜索到的原始信息，還記錄了不同信息源之間的關(guān)聯(lián)，以及哪些信息在特定上下文中最有價值。

隨著大模型智能體不斷進化，近期研究愈發(fā)強調(diào)利用強化學(xué)習(xí)作為“持續(xù)反思”的機制，讓智能體在規(guī)劃、推理、工具調(diào)用和記憶等方面，能從自己的錯誤中不斷成長。這種基于強化學(xué)習(xí)的反思機制使智能體能夠從錯誤中學(xué)習(xí)，不斷改進其行為策略。

Memory-R1系統(tǒng)展示了這一能力的深度。它通過PPO學(xué)習(xí)四種關(guān)鍵操作：ADD（添加新知識）、UPDATE（更新現(xiàn)有知識）、DELETE（刪除過時信息）和NOOP（不改變記憶）。這種精細(xì)的控制使智能體能夠像圖書管理員一樣動態(tài)管理自己的知識庫，在面對新信息時自動判斷是否應(yīng)納入記憶、如何與現(xiàn)有知識整合。

更高級的系統(tǒng)如R1-Searcher，甚至能通過反思機制識別推理過程中的弱點。例如，當(dāng)生成的報告被人類反饋指出"邏輯不清"時，DPO會引導(dǎo)模型在未來更注重報告的結(jié)構(gòu)化和邏輯性。這種反思不僅改進了單次任務(wù)的結(jié)果，還內(nèi)化為智能體的長期能力。

隨著研究的深入，智能體記憶系統(tǒng)正從簡單的token級記憶向結(jié)構(gòu)化記憶表示演進。Zep系統(tǒng)引入了時間知識圖譜，A-MEM采用了原子記憶筆記，G-Memory和Mem0則設(shè)計了分層圖式記憶。這些系統(tǒng)能夠捕捉更豐富的關(guān)系、時間或?qū)哟我蕾?，實現(xiàn)更精確的信息檢索和推理。然而，結(jié)構(gòu)化記憶的管理——包括插入、刪除、抽象和檢索——仍然是一個充滿挑戰(zhàn)的領(lǐng)域。

自我迭代訓(xùn)練：無界自我提升的"永動機"

自我迭代訓(xùn)練代表了Agentic RL的高級應(yīng)用，使智能體能夠?qū)崿F(xiàn)無界自我提升。這一過程從基礎(chǔ)的數(shù)據(jù)驅(qū)動訓(xùn)練開始，通過監(jiān)督學(xué)習(xí)獲取基本能力；隨后進入基于反思的迭代改進階段，通過環(huán)境反饋優(yōu)化策略；最終達(dá)到自維持學(xué)習(xí)循環(huán)的高級階段，實現(xiàn)持續(xù)自我進化。

最終，一個真正優(yōu)秀的智能體，必須能自我迭代，在無數(shù)次航行中不斷精進技藝。R-Zero系統(tǒng)展示了這一能力的驚人潛力。它使用蒙特卡洛樹搜索（MCTS）探索推理空間，其中LLM作為知識豐富的動作提議者，而RL提供必要的自適應(yīng)評估反饋。大語言模型扮演“滿腹經(jīng)綸”的出謀劃策者，強化學(xué)習(xí)則提供靈活、可評估的反饋，確保探索高效。

R-Zero的工作原理如同一個"自我對弈"的棋手。在解決數(shù)學(xué)問題時，它會生成多個可能的證明路徑，然后通過RL評估哪些路徑更有希望成功。成功的路徑會被保留并用于進一步探索，而失敗的路徑則提供寶貴的學(xué)習(xí)信號。通過這種機制，R-Zero能夠在沒有人類標(biāo)注的情況下，不斷發(fā)現(xiàn)更有效的推理策略。

基于大語言模型的多智能體系統(tǒng)中強化學(xué)習(xí)與進化范式

上表展示了多智能體系統(tǒng)中強化學(xué)習(xí)和進化范式的概覽。這些系統(tǒng)代表了自我迭代訓(xùn)練的高級形式，多個智能體通過協(xié)作與競爭共同進化。

Agent RL Scaling Law的研究揭示了訓(xùn)練計算與智能體能力之間的系統(tǒng)性關(guān)系。研究表明，"更長的訓(xùn)練周期系統(tǒng)性地提高了工具使用頻率、推理深度和整體任務(wù)準(zhǔn)確性"。定量分析顯示，訓(xùn)練步驟每翻倍一次，工具使用頻率增加約15-20%，推理深度提高10-15%，整體任務(wù)準(zhǔn)確率上升5-8%。

這一可預(yù)測的擴展行為為智能體開發(fā)中的資源分配提供了寶貴指導(dǎo)。ProRL的研究進一步表明，擴展的RL訓(xùn)練可以擴展推理邊界，超越基礎(chǔ)模型的限制。在復(fù)雜的數(shù)學(xué)推理任務(wù)中，ProRL訓(xùn)練的智能體發(fā)現(xiàn)了基礎(chǔ)模型即使經(jīng)過大量采樣也無法觸及的新型解決方案策略。這表明RL微調(diào)不僅優(yōu)化了現(xiàn)有能力，還能通過RL過程中固有的探索-利用平衡解鎖根本性的新推理路徑。

核心環(huán)境系統(tǒng)：為智能體打造訓(xùn)練場

為了訓(xùn)練和評估Agentic RL智能體，研究者開發(fā)了多種環(huán)境模擬器。這些環(huán)境如同智能體的"健身房"，提供了不同難度和類型的訓(xùn)練場景。

第一步，明確您的智能體最需要哪項核心能力？

• 需要強規(guī)劃與推理？→ 優(yōu)先考慮 ALFWorld, TextWorld, ScienceWorld。
• 需要高頻工具調(diào)用？→ WebArena (文本) 或 VisualwebArena (多模態(tài)) 是理想沙盒。
• 需要長時記憶管理？→ LMRL-Gym 和 AgentGym 提供了針對性測試場景。第二步，匹配您的任務(wù)領(lǐng)域和模態(tài)。最終，一個理想的訓(xùn)練環(huán)境，應(yīng)能同時覆蓋您的核心能力需求和任務(wù)場景，如 VisualwebArena 之于多模態(tài)網(wǎng)絡(luò)研究任務(wù)。

智能體強化學(xué)習(xí)的環(huán)境與基準(zhǔn)綜述

上表展示了主要環(huán)境系統(tǒng)的分類情況。這些環(huán)境根據(jù)智能體所需能力、任務(wù)領(lǐng)域和模態(tài)要求進行了系統(tǒng)化分類。例如，LMRL-Gym擅長測試推理和記憶能力，ALFWorld和TextWorld專為評估文本游戲環(huán)境中的規(guī)劃和推理能力而設(shè)計，ScienceWorld則在模擬實驗室環(huán)境中測試科學(xué)推理和實驗規(guī)劃。

以ScienceWorld為例，這個環(huán)境模擬了科學(xué)實驗場景，測試智能體在理解科學(xué)概念、設(shè)計實驗和解釋結(jié)果方面的能力。智能體需要在有限的實驗次數(shù)內(nèi)，通過觀察、假設(shè)和驗證來發(fā)現(xiàn)物理規(guī)律。這種環(huán)境對智能體的規(guī)劃、推理和工具使用能力提出了極高要求。

評估方法論：超越傳統(tǒng)基準(zhǔn)的多維評估

評估Agentic RL智能體面臨獨特挑戰(zhàn)。當(dāng)前研究往往各自為政，只關(guān)注單一能力、單一領(lǐng)域或自造環(huán)境，術(shù)語和評測標(biāo)準(zhǔn)五花八門，難以橫向比較，更談不上跨領(lǐng)域遷移。

當(dāng)前研究存在不一致的術(shù)語和評估協(xié)議，主要表現(xiàn)在三個方面：核心能力定義差異、定制環(huán)境的特殊評估標(biāo)準(zhǔn)以及獎勵結(jié)構(gòu)差異。例如，"規(guī)劃能力"在一項研究中可能通過任務(wù)完成率衡量，在另一項中則通過步驟效率衡量。

有效的評估方法應(yīng)超越傳統(tǒng)的單輪性能測試，關(guān)注任務(wù)成功指標(biāo)、過程效率、適應(yīng)能力和認(rèn)知透明度四個關(guān)鍵維度。以Web導(dǎo)航任務(wù)為例，評估不僅應(yīng)關(guān)注最終答案的準(zhǔn)確性（任務(wù)成功），還應(yīng)分析智能體平均需要多少次搜索才能找到正確信息（效率），當(dāng)搜索結(jié)果不理想時能否調(diào)整搜索策略（適應(yīng)能力），以及在連續(xù)處理多個復(fù)雜查詢時性能是否會下降（長期穩(wěn)定性）。

企業(yè)級評估還應(yīng)考慮投資回報率，包括訓(xùn)練成本、部署復(fù)雜性和實際業(yè)務(wù)價值。例如，在客服場景中，應(yīng)評估智能體解決復(fù)雜問題的能力與人工客服相比節(jié)省的成本，以及客戶滿意度的提升。

應(yīng)用領(lǐng)域：標(biāo)桿系統(tǒng)的實戰(zhàn)啟示

Agentic RL的魅力在于其強大的泛化性。一旦掌握了"規(guī)劃-工具-記憶-自迭代"的核心能力，智能體便能將其"技能包"遷移到不同領(lǐng)域。我們在深度研究智能體（如WebThinker）中看到的"思考-搜索-草擬"閉環(huán)，在GUI自動化智能體（如WebAgent-R1）中演化為"觀察-點擊-驗證"的交互循環(huán)。而支撐這兩者的，都是同一套RL驅(qū)動的序列決策引擎。同樣，代碼生成智能體（如Qwen3-Coder）所依賴的"過程獎勵"設(shè)計——對編譯錯誤、測試失敗等中間信號的精細(xì)反饋——其思想內(nèi)核與數(shù)學(xué)推理智能體（如rStar2-Agent）中，利用GRPO-RoC算法在嘈雜的計算環(huán)境中篩選正確推理路徑的策略，如出一轍。這表明，Agentic RL正在催生一種通用的"智能體操作系統(tǒng)"，其核心模塊可以像樂高積木一樣，根據(jù)不同任務(wù)需求進行靈活組合。

深度研究智能體：WebThinker的思考-搜索-草擬閉環(huán)

WebThinker系統(tǒng)代表了搜索與Web導(dǎo)航領(lǐng)域的重大突破。它不再滿足于簡單回答查詢，而是構(gòu)建了一個完整的"思考-搜索-草擬"閉環(huán)：

1. 思考階段：智能體首先分析用戶問題的核心和可能的信息源

2. 搜索階段：調(diào)用網(wǎng)絡(luò)工具獲取原始材料，可能需要多輪迭代

3. 草擬階段：將碎片信息整合成連貫報告，并在過程中持續(xù)反思

其強大之處在于，它并非固定這個流程，而是通過DPO與人類反饋對齊，不斷優(yōu)化每個環(huán)節(jié)。例如，人類反饋可能指出"草擬"部分邏輯不清，DPO就會引導(dǎo)模型在未來更注重報告的結(jié)構(gòu)化和邏輯性。

WebThinker的另一個創(chuàng)新是Deep Web Explorer的集成。傳統(tǒng)搜索引擎只能訪問表面網(wǎng)絡(luò)，而Deep Web Explorer使智能體能夠探索需要登錄或交互才能訪問的深層內(nèi)容，大大擴展了信息獲取范圍。這種能力對于企業(yè)研究特定行業(yè)報告或競品分析尤為重要。

DeepRetrieval系統(tǒng)則提供了另一種技術(shù)路徑，通過將單次查詢生成框架化為GRPO訓(xùn)練的策略。其創(chuàng)新在于直接根據(jù)實時搜索結(jié)果獎勵召回率和相關(guān)性，而非依賴靜態(tài)數(shù)據(jù)集。該系統(tǒng)采用緊湊的動作接口，將LLM輸出映射到查詢參數(shù)，獎勵塑造旨在優(yōu)化動作類型準(zhǔn)確性（是否選擇了正確的搜索工具）和參數(shù)準(zhǔn)確性（查詢參數(shù)是否格式正確）。這種方法在相關(guān)結(jié)果檢索方面比靜態(tài)查詢生成方法提高了23.7%。

SSRL系統(tǒng)則代表了更進一步的創(chuàng)新，實現(xiàn)了訓(xùn)練期間完全離線的"自搜索"能力。與之前需要在訓(xùn)練期間進行真實搜索API調(diào)用的方法不同，SSRL使智能體能夠執(zhí)行自包含的搜索模擬，無需外部依賴。這是通過一種復(fù)雜的內(nèi)部檢索機制實現(xiàn)的，該機制使用智能體自己的知識庫模擬搜索引擎行為。關(guān)鍵的是，這種離線訓(xùn)練能夠無縫轉(zhuǎn)移到在線推理，其中實時API仍然可以提升性能。這種創(chuàng)新增強了訓(xùn)練穩(wěn)定性和可擴展性，超越了API速率限制，指向了更自給自足的研究型智能體。

GUI自動化智能體：WebAgent-R1的端到端學(xué)習(xí)革命

GUI交互代表了Agentic RL在視覺-語言界面中的應(yīng)用。WebAgent-R1系統(tǒng)實現(xiàn)了真正的端到端學(xué)習(xí)革命，無需依賴預(yù)先錄制的人類操作軌跡，而是直接在真實的網(wǎng)頁環(huán)境中"摸爬滾打"。

WebAgent-R1的突破在于其"異步軌跡生成"機制。它能夠同時探索多個網(wǎng)頁任務(wù)，每個任務(wù)由獨立的"worker"處理。這些worker在不同環(huán)境中收集經(jīng)驗，然后匯總到中央"learner"進行模型更新。這種設(shè)計不僅提高了訓(xùn)練效率，還增強了智能體的泛化能力——因為它接觸到了更廣泛的任務(wù)和環(huán)境。

更巧妙的是"組優(yōu)勢"機制。與傳統(tǒng)的PPO不同，WebAgent-R1將經(jīng)驗按任務(wù)分組，然后在組內(nèi)計算相對優(yōu)勢。這種方法使智能體能夠更高效地從成功和失敗的案例對比中學(xué)習(xí)，尤其適合GUI任務(wù)中常見的稀疏獎勵場景。

然而，這種方法也面臨巨大挑戰(zhàn)。正如文獻(xiàn)所指出的，真實網(wǎng)頁的"動態(tài)性"（如廣告彈窗、頁面加載延遲）和"巨大的動作空間"（屏幕上每一個可點擊元素都是一個潛在動作），使得"信用分配"和"安全探索"成為難題。例如，當(dāng)智能體點擊一個按鈕導(dǎo)致頁面崩潰時，它需要確定是點擊動作本身錯誤，還是頁面加載不完全導(dǎo)致的臨時問題。

為應(yīng)對這些挑戰(zhàn)，ZeroGUI系統(tǒng)采用兩階段在線RL方法：首先在模擬環(huán)境中進行安全探索，然后將學(xué)到的策略遷移到真實環(huán)境中。這種方法顯著降低了探索風(fēng)險，同時保持了學(xué)習(xí)效率。

AWORLD框架則解決了智能體訓(xùn)練的主要瓶頸——經(jīng)驗生成——通過復(fù)雜的分布式架構(gòu)。通過在計算集群上協(xié)調(diào)大規(guī)模并行rollouts，AWORLD實現(xiàn)了比單節(jié)點執(zhí)行快14.6倍的速度提升。該框架實現(xiàn)了分層任務(wù)調(diào)度器，根據(jù)任務(wù)復(fù)雜度和智能體進度動態(tài)分配資源，確保計算資源的最佳利用。關(guān)鍵的是，AWORLD在經(jīng)驗收集的分布式性質(zhì)下保持一致的訓(xùn)練動態(tài)，防止了通常困擾并行RL實現(xiàn)的性能下降。這種能力使AWORLD能夠處理復(fù)雜智能體任務(wù)所需的大量經(jīng)驗。

代碼生成智能體：Qwen3-Coder的軟件工程革命

代碼生成領(lǐng)域為Agentic RL提供了理想測試平臺，因為執(zhí)行語義清晰可驗證，自動化信號（編譯、單元測試、運行時追蹤）隨手可得。

Qwen3-Coder系統(tǒng)代表了這一領(lǐng)域的重大進步。它不再局限于單輪代碼生成，而是將整個軟件工程流程視為一個序列決策問題。在這個框架中，智能體需要理解需求文檔、規(guī)劃實現(xiàn)路徑、編寫代碼、執(zhí)行單元測試并分析錯誤修復(fù)。

Qwen3-Coder的關(guān)鍵創(chuàng)新是"過程獎勵"設(shè)計。與僅關(guān)注最終代碼是否通過測試不同，它將獎勵信號細(xì)化到代碼生成的每個步驟：代碼結(jié)構(gòu)是否合理、是否包含必要的注釋、單元測試覆蓋率以及運行時性能。這種多層次的反饋機制使智能體能夠?qū)W習(xí)到更健壯的編碼習(xí)慣，而不僅僅是"猜測試用例"。

Qwen3-Coder通過在20,000個并行環(huán)境中進行大規(guī)模執(zhí)行驅(qū)動的強化學(xué)習(xí)實現(xiàn)了最先進的性能。這種大規(guī)模并行性使模型能夠在訓(xùn)練期間體驗前所未有的編碼場景和錯誤條件多樣性。系統(tǒng)實現(xiàn)了復(fù)雜的獎勵塑造機制，不僅提供最終代碼正確性的反饋，還提供中間執(zhí)行狀態(tài)的反饋，鼓勵開發(fā)強大的調(diào)試能力。在SWE-Bench Verified上，這種方法產(chǎn)生了42.3%的pass@1分?jǐn)?shù)，比之前的最先進水平提高了15.8個百分點。

μCode系統(tǒng)則引入了一種新穎的架構(gòu)，聯(lián)合訓(xùn)練生成器和學(xué)習(xí)驗證器，采用單步獎勵反饋。驗證器組件學(xué)習(xí)預(yù)測代碼執(zhí)行結(jié)果，提供比等待最終執(zhí)行結(jié)果更即時的反饋。這種驗證器引導(dǎo)的結(jié)果獎勵系統(tǒng)在競爭性編程任務(wù)上比純執(zhí)行反饋基線高出8.2%，證明了復(fù)雜編碼環(huán)境中中間評估信號的價值。

評估體系也日趨完善。SWE-bench和SWE-rebench等基準(zhǔn)測試模擬了真實軟件工程場景，評估智能體解決GitHub上實際問題的能力。NoCode-bench則專門測試LLM從文檔更新中添加功能的能力，這對企業(yè)維護遺留系統(tǒng)尤為重要。

數(shù)學(xué)推理智能體：rStar2-Agent的突破

數(shù)學(xué)推理代表了Agentic RL在嚴(yán)謹(jǐn)邏輯領(lǐng)域的應(yīng)用。rStar2-Agent系統(tǒng)通過三項關(guān)鍵創(chuàng)新實現(xiàn)了卓越的數(shù)學(xué)推理性能：

1. 高吞吐量Python執(zhí)行環(huán)境：快速評估數(shù)學(xué)表達(dá)式

2. GRPO-RoC算法：專為處理數(shù)學(xué)計算中的工具噪聲而設(shè)計的"組相對策略優(yōu)化與正確rollout重采樣"

3. 多階段訓(xùn)練方案：逐步增加任務(wù)復(fù)雜度

GRPO-RoC算法特別解決了工具噪聲的挑戰(zhàn)，通過有選擇性地從正確rollout中重采樣，確保策略更新專注于高質(zhì)量軌跡，盡管偶爾會出現(xiàn)計算錯誤。這種方法使14B參數(shù)模型在僅510個RL步驟的情況下，在AIME24上實現(xiàn)了80.6%的平均pass@1分?jǐn)?shù)，在AIME25上實現(xiàn)了69.8%的分?jǐn)?shù)——展示了卓越的樣本效率。

Time-R1系統(tǒng)則通過漸進式強化學(xué)習(xí)課程和動態(tài)基于規(guī)則的獎勵系統(tǒng)，增強了中等規(guī)模LLM的全面時間推理能力。該課程從簡單的時間間隔計算開始，逐漸發(fā)展到復(fù)雜的時序推理和事件預(yù)測。動態(tài)獎勵系統(tǒng)在多個粒度上納入時間一致性檢查，從秒級精度到十年級趨勢。這種方法使模型能夠在時間推理基準(zhǔn)上達(dá)到人類水平的表現(xiàn)，特別是在處理模糊或不完整的時間信息方面表現(xiàn)出色——這是現(xiàn)實應(yīng)用中的常見挑戰(zhàn)。

Seed-Prover系統(tǒng)采用了"引理為中心的證明范式"，實現(xiàn)系統(tǒng)性問題分解、跨軌跡引理重用和顯式進度跟蹤。它通過隨機整合正式和非正式證明的多樣化提示策略，豐富了RL訓(xùn)練過程。這種混合方法使智能體能夠靈活地在非正式推理和正式證明之間切換，提高了整體解決問題的效率。

DeepSeek-Prover-v2則設(shè)計了一個雙模型管道，統(tǒng)一了非正式（自然語言）和正式（Lean4）數(shù)學(xué)推理，以加強證明推理能力。它引入了子目標(biāo)分解，其中證明者模型解決遞歸分解的子目標(biāo)，并在子目標(biāo)級別接收二進制Lean反饋，有效提供更密集的監(jiān)督并提高準(zhǔn)確性和可解釋性。

從理論到實踐的躍遷

應(yīng)用成熟度全景圖

不同領(lǐng)域的Agentic RL應(yīng)用成熟度存在顯著差異。搜索與Web導(dǎo)航領(lǐng)域相對成熟，WebThinker、WebDancer等系統(tǒng)已證明實用價值，能夠處理多步驟研究任務(wù)。GUI自動化領(lǐng)域正在快速發(fā)展中，WebAgent-R1等系統(tǒng)展示了潛力，但面臨動態(tài)環(huán)境挑戰(zhàn)。代碼生成領(lǐng)域評估體系完善，SWEET-RL等系統(tǒng)在企業(yè)應(yīng)用中前景廣闊。數(shù)學(xué)推理在專業(yè)領(lǐng)域應(yīng)用潛力大，但普及度較低。多智能體系統(tǒng)仍處于前沿研究階段，企業(yè)應(yīng)用尚處早期。

值得注意的是，盡管技術(shù)進展迅速，但大多數(shù)開源模型在OpenAI的BrowseComp基準(zhǔn)上仍表現(xiàn)不佳。這一挑戰(zhàn)性基準(zhǔn)測試衡量AI Agent定位難以查找信息的能力，揭示了在長視野規(guī)劃、頁面導(dǎo)向工具使用和跨源驗證方面的差距。相比之下，閉源系統(tǒng)如OpenAI Deep Research已達(dá)到51.5%的pass@1準(zhǔn)確率，這可能歸功于更強大的基礎(chǔ)模型和更高質(zhì)量的訓(xùn)練數(shù)據(jù)。

實施路線圖：四步走向成功

企業(yè)實施Agentic RL應(yīng)遵循漸進式路線。不要試圖構(gòu)建一個"全能"智能體。選擇一個高價值、低復(fù)雜度、反饋明確的切入點。例如，利用 R1-Searcher 框架，構(gòu)建一個能自動回答公司內(nèi)部Wiki中復(fù)雜問題的"知識助手"。成功指標(biāo)可以很簡單：將人工查詢的平均響應(yīng)時間從30分鐘縮短至5分鐘。這個MVP能在2-4周內(nèi)驗證Agentic RL的價值，并為后續(xù)投入贏得支持。

接下來，將多個能力維度整合到特定應(yīng)用場景，選擇一個業(yè)務(wù)流程（如客戶投訴處理），整合規(guī)劃、工具調(diào)用和記憶能力，構(gòu)建端到端解決方案，關(guān)注各組件間的協(xié)同效應(yīng)，預(yù)期周期為8-12周。

第三階段，優(yōu)化訓(xùn)練效率和資源消耗，采用GRPO等高效算法降低計算開銷，實施"教師-學(xué)生"范式：先用大模型生成高質(zhì)量SFT數(shù)據(jù)，再用小模型進行RL微調(diào)，預(yù)期周期為4-8周。

最后，將智能體深度集成到業(yè)務(wù)流程，構(gòu)建監(jiān)控系統(tǒng)，持續(xù)評估智能體在生產(chǎn)環(huán)境中的表現(xiàn)，設(shè)計人機協(xié)作機制，確保智能體在不確定時能適時求助，這一階段是持續(xù)進行的過程。

風(fēng)險與規(guī)避：實戰(zhàn)中的智慧

實施Agentic RL面臨的主要風(fēng)險包括智能體安全挑戰(zhàn)、評估不一致性、訓(xùn)練成本高和適應(yīng)性局限。忽視智能體安全，可能導(dǎo)致災(zāi)難性后果。想象一下，一個被RL訓(xùn)練得"不擇手段"追求高分的智能體，學(xué)會了調(diào)用一個未授權(quán)的、有安全漏洞的外部API來完成任務(wù)。這不是科幻，而是RL"獎勵黑客"（Reward Hacking）行為的真實風(fēng)險。防御之道在于"縱深防御"：在隔離沙箱中運行、對工具調(diào)用實施白名單、并在獎勵函數(shù)中明確懲罰不安全行為。

利用Agent RL Scaling Law的研究發(fā)現(xiàn)，"更長的訓(xùn)練周期系統(tǒng)性地提高了工具使用頻率、推理深度和整體任務(wù)準(zhǔn)確性"，企業(yè)可以優(yōu)先在關(guān)鍵能力上投入計算資源，而非盲目增加訓(xùn)練時長。同時，結(jié)合迭代自訓(xùn)練機制，如R-Zero的MCTS探索，讓智能體持續(xù)擴展能力邊界。

企業(yè)投資：量身定制的策略

根據(jù)企業(yè)規(guī)模和需求，投資策略應(yīng)有所不同。小型企業(yè)應(yīng)聚焦單一高價值應(yīng)用場景，如客戶服務(wù)中的FAQ自動回答，利用開源框架（如R1-Searcher）快速驗證價值，優(yōu)先選擇評估體系完善的應(yīng)用領(lǐng)域（如代碼生成），選擇AgentFly等框架進行快速原型設(shè)計。

中型企業(yè)應(yīng)構(gòu)建定制化智能體系統(tǒng)，關(guān)注特定業(yè)務(wù)流程優(yōu)化，投資構(gòu)建企業(yè)專屬的評估框架和訓(xùn)練環(huán)境，考慮與學(xué)術(shù)界合作，獲取前沿技術(shù)支持，選擇WebAgent-R1等框架進行靈活工具集成。

大型企業(yè)應(yīng)投資基礎(chǔ)能力建設(shè)，構(gòu)建企業(yè)級智能體平臺，整合AgentFly或AWorld等分布式訓(xùn)練框架，支持大規(guī)模并行rollout，結(jié)合EnvGen等環(huán)境生成工具，創(chuàng)建能持續(xù)挑戰(zhàn)智能體的動態(tài)訓(xùn)練環(huán)境，選擇AREAL等框架支持分布式架構(gòu)。

Agentic RL代表了LLM技術(shù)發(fā)展的新前沿，將語言模型從被動文本生成器轉(zhuǎn)變?yōu)檎嬲芙鉀Q復(fù)雜問題的自主智能體。隨著算法優(yōu)化、環(huán)境完善和應(yīng)用深化，這一范式有望在企業(yè)級應(yīng)用中釋放巨大價值。對于尋求突破性創(chuàng)新的企業(yè)而言，現(xiàn)在正是探索和布局Agentic RL應(yīng)用的關(guān)鍵時機。

Agentic Reinforcement Learning 代表了一種范式轉(zhuǎn)變：傳統(tǒng)方法只是將強化學(xué)習(xí)應(yīng)用于大語言模型，而如今，LLM 不再是被動的序列生成器，而是被重塑為嵌入復(fù)雜動態(tài)世界、能夠自主決策的“智能體”。真正的智能不僅在于完成任務(wù)，更在于理解任務(wù)背后的目標(biāo)，并在不確定的世界中持續(xù)學(xué)習(xí)與進化。這正是Agentic RL賦予下一代AI的核心能力。