盡管 LLM 的能力與日俱增，但其在復(fù)雜任務(wù)上的表現(xiàn)仍受限于靜態(tài)的內(nèi)部知識。為從根本上解決這一限制，突破 AI 能力界限，業(yè)界研究者們提出了 Agentic Deep Research 系統(tǒng)，在該系統(tǒng)中基于 LLM 的 Agent 通過自主推理、調(diào)用搜索引擎和迭代地整合信息來給出全面、有深度且正確性有保障的解決方案。

OpenAI 和 Google 的研究者們總結(jié)了 Agentic Deep Researcher 的幾大優(yōu)勢：（1）深入的問題理解能力（Comprehensive Understanding）：能夠處理復(fù)雜、多跳的用戶提問；（2）強大的信息整合能力（Enhanced Synthesis）：能夠?qū)V泛甚至沖突的信息源整合為合理的輸出；（3）減輕用戶的認知負擔(dān)（Reduced User Effort）：整個 research 過程完全自主，不需要用戶的過多干預(yù)。

現(xiàn)存最先進的 Agentic Deep Research 系統(tǒng)往往基于由可驗證結(jié)果獎勵指導(dǎo)的強化學(xué)習(xí)訓(xùn)練，盡管該訓(xùn)練范式帶來了顯著的性能收益，但仍存在以下核心問題：

• 梯度沖突（Gradients Conflicts）：在基于可驗證結(jié)果獎勵的強化學(xué)習(xí)范式中，即使中間的推理過程或研究策略是有效的，只要最終答案錯誤，整個推理軌跡都會受到懲罰。這種粗粒度的獎勵設(shè)計在中間推理步驟與最終答案之間引入了潛在的梯度沖突，阻礙了模型發(fā)現(xiàn)更優(yōu)的推理能力和研究策略，從而限制了其泛化能力
• 獎勵稀疏（Reward sparsity）：基于結(jié)果的強化學(xué)習(xí)僅依賴最終答案生成獎勵，導(dǎo)致每個訓(xùn)練樣本只能提供稀疏的反饋信號。這嚴重限制了策略優(yōu)化的效率，因為它增加了對更大規(guī)模訓(xùn)練數(shù)據(jù)和更長訓(xùn)練周期的依賴。

以上兩個限制限制了 Agentic Deep Research 系統(tǒng)的性能上線，為決解這兩大限制，來自螞蟻安全與智能實驗室團隊提出了 Atom-Searcher，進一步推動了 Agentic Deep Research 系統(tǒng)的性能邊界。

• 論文標(biāo)題：Atom-Searcher: Enhancing Agentic Deep Research via Fine-Grained Atomic Thought Reward
• 論文：https://arxiv.org/abs/2508.12800
• Github: https://github.com/antgroup/Research-Venus
• Huggingface: https://huggingface.co/dikw/Atom-Searcher

方法介紹

本研究提出了一種創(chuàng)新性的 Agentic Deep Research 系統(tǒng)訓(xùn)練框架 Atom-Searcher，結(jié)合監(jiān)督微調(diào)（SFT）與基于細粒度獎勵的強化學(xué)習(xí)構(gòu)建強大的 Agentic Deep Research 系統(tǒng)。

與現(xiàn)存 Agentic Deep Research 訓(xùn)練框架相比，Atom-Searcher 創(chuàng)新地提出了 Atomic Thought 推理范式，引導(dǎo) LLM 進行更加深入、可信和可解釋的推理；然后引入 Reasoning Reward Model（RRM）對 Atomic Thought 式的推理過程進行監(jiān)督，構(gòu)建細粒度的 Atomic Thought Reward（ATR）；進而提出一種課程學(xué)習(xí)啟發(fā)的獎勵融合策略將 ATR 與可驗證結(jié)果獎勵進行聚合；最后基于聚合獎勵進行強化學(xué)習(xí)訓(xùn)練。

Atomic Thought 推理范式

針對 Agentic Deep Research 系統(tǒng)中 LLM 生成的推理軌跡（<think>）包含過多冗余 tokens 且推理深度欠缺的問題，Atomic Thought 范式將 <think> 分解為更加細粒度的 “功能單元”，如 <Verification>、<hypothesis > 等，該范式有助于引導(dǎo) LLM 的推理過程更加符合人的認知行為，且高度模塊化的方式能大大減少無意義 tokens。更進一步，為激發(fā) LLM 自主將 < think > 分解為 Atomic Thoughts（<Verification>、<hypothesis > 等）的能力，作者們精心構(gòu)建了 1000k 高質(zhì)量 Atomic Thought 指令微調(diào)數(shù)據(jù)，對 LLM 進行 SFT。

細粒度 Atomic Thought Reward 構(gòu)建

在 Agentic Deep Research 系統(tǒng)中，直接使用 Reasoning Reward Model（RRM）對推理過程進行監(jiān)督，往往因為 < think > 中的低信噪比（過多冗余 tokens）而效果不佳。而 Atomic Thought 的提出，很好地解決了該問題，除了減少了 < think > 中的冗余 tokens，Atomic Thoughts（<Verification>、<hypothesis > 等）還為 RRM 提供了監(jiān)督錨點，清晰的模塊化結(jié)構(gòu)使得 RRM 能夠準(zhǔn)確地評估每個功能單元的質(zhì)量。因此，作者們引入 RRM 對 Atom-Thoughts 進行監(jiān)督，從而得到細粒度的 Atomic Thought Reward，用于緩解強化學(xué)習(xí)訓(xùn)練中的梯度沖突和獎勵稀疏問題。

課程學(xué)習(xí)啟發(fā)的獎勵聚合策略

基于可驗證結(jié)果的獎勵的 Agentic Deep Research 系統(tǒng)之所以存在梯度沖突問題，是由于基于結(jié)果的獎勵在 token 級別的獎勵分配上過于粗糙。具體來說，它將中間推理步驟的正確性完全歸因于最終答案，常常在不考慮各步驟實際貢獻的情況下對其進行獎勵或懲罰。這種錯位在優(yōu)化過程中會引發(fā)梯度沖突。為解決這一問題，我們將 ATR 與結(jié)果獎勵相結(jié)合，利用 ATR 作為輔助信號來校準(zhǔn)結(jié)果獎勵，從而緩解梯度沖突。

然而，使用靜態(tài)的獎勵加權(quán)系數(shù)無法與訓(xùn)練動態(tài)保持一致。具體而言，在訓(xùn)練初期，模型能力尚有限，難以生成完全正確的答案，但更有可能探索出對最終正確解有貢獻的有用 “原子思維”。如果此階段僅依賴基于結(jié)果的獎勵，這些有益的原子思維可能因最終答案錯誤而遭到不公正的懲罰；相反，一些有害的原子思維也可能被錯誤地強化，導(dǎo)致嚴重的梯度沖突，因而需要 ATR 進行較強的校準(zhǔn)。隨著訓(xùn)練的推進，模型能力逐步提升，其推理軌跡與正確答案的對齊程度也日益提高。因此，梯度沖突逐漸減弱，而來自 ATR 的過度校準(zhǔn)可能會引入不必要的噪聲，反而損害最終的準(zhǔn)確性。

強化學(xué)習(xí)訓(xùn)練

基于混合獎勵，本文采用了 GRPO 算法進行強化學(xué)習(xí)訓(xùn)練。并使用了 Loss Masking 策略保證訓(xùn)練的穩(wěn)定性。具體而言，在原始的 GRPO 框架中，損失函數(shù)會計算整個推理路徑中所有 token 的梯度。但在 Atom-Searcher 中，模型的輸出路徑包含由外部環(huán)境檢索得到的內(nèi)容（如搜索結(jié)果），這些內(nèi)容不是模型生成的，也不可訓(xùn)練。為了避免模型在訓(xùn)練時被這些靜態(tài)、不可控的內(nèi)容誤導(dǎo)，本文采用了 Loss Masking 機制，將檢索結(jié)果部分的 token 排除在損失計算之外。

實驗效果

主實驗

Atom-Searcher 在 In-Domain 和 Out-of-Domain 上的性能表現(xiàn)均十分亮眼。在 In-Domain Benchmarks （NQ、 TQ、HotpotQA、2Wiki）上 Atom-Searcher 相較于最優(yōu) baseline——DeepResearcher 取得了 8.5% 的平均性能提升，在 Out-of-Domain Benchmarks（Musique、 Bamboogle、 PopQA）上 Atom-Searcher 相較于最優(yōu) baseline——DeepResearcher 取得了 2.5% 的性能提升。

消融實驗

作者們證明了 Atom-Searcher 中 Atomic Thought 范式和 ATR 的貢獻，并證明了相較于傳統(tǒng)的 < think > 推理范式 Atomic Thought 范式為 RRM 提供了有效的監(jiān)督錨點，從而帶來了性能提升

案例分析

作者們通過案例分析對比了 Atom-Searcher 與最優(yōu) baseline——DeepResearcher 的推理過程。展示了 Atom-Searcher 的優(yōu)勢：（1）Atom-Searcher 在其推理過程中自主生成了 Atomic Thoughts，展現(xiàn)出更接近人類的認知行為，例如問題分析、提出解決方案假設(shè)、預(yù)測錯誤以及規(guī)劃下一步操作，使其推理過程更加深入且清晰；（2）Atom-Searcher 會觸發(fā)更多的搜索調(diào)用，從而獲取更豐富的外部信息，以確保答案的正確性。這些優(yōu)勢表明，Atom-Searcher 在更復(fù)雜的 Deep Research 任務(wù)中具有巨大潛力。