在 AI 領(lǐng)域，大模型智能體的發(fā)展日新月異。我們今天要介紹的這篇 ACL 2025 論文——《Agentic Knowledgeable Self-awareness》，聚焦于如何提升智能體的「知識邊界感知」能力，使其在復(fù)雜任務(wù)規(guī)劃中更加得心應(yīng)手，為智能體的可靠應(yīng)用提供了新思路。

• 論文標(biāo)題：Agentic Knowledgeable Self-awareness
• 論文鏈接：https://arxiv.org/abs/2504.03553
• 代碼鏈接：https://github.com/zjunlp/KnowSelf

30 秒速讀版本

KnowSelf 聚焦于大模型智能體在決策過程中所面臨的「知識邊界感知」問題。受人類決策機(jī)制啟發(fā)，本文指出智能體應(yīng)具備三類行為模式的自主決策能力：快速反應(yīng)（快思考）、深度推理（慢思考），以及主動調(diào)用外部工具（本文以外部知識增強為例）。

KnowSelf 通過學(xué)習(xí)自身的知識邊界，使智能體能在不同情境下自主判斷是否具備足夠知識進(jìn)行生成和推理，以減少無效試錯與知識濫用。實驗表明，KnowSelf 可提升智能體的知識調(diào)用準(zhǔn)確率、任務(wù)規(guī)劃效率和跨任務(wù)泛化能力。

研究背景：智能體規(guī)劃的困境

大模型智能體在諸多領(lǐng)域展現(xiàn)出巨大潛力，但現(xiàn)有智能體規(guī)劃方法存在弊端。傳統(tǒng)方法多采用「盲目灌輸」模式，將標(biāo)準(zhǔn)軌跡、外部反饋和領(lǐng)域知識無差別地注入智能體模型，完全忽視了人類決策過程中至關(guān)重要的「自我認(rèn)知」原則。

這種「無腦式」灌輸導(dǎo)致智能體在面對意外信號時極易崩潰，陷入模式崩塌困境，且過度試錯與盲目知識融合在實際場景中往往不可行，還會大幅推高模型推理成本。

人類在決策時，會根據(jù)面臨的情境動態(tài)評估自身狀態(tài)，靈活調(diào)整策略。比如，當(dāng)我們遇到簡單問題時，能迅速做出判斷并行動；遇到棘手問題，會放慢思考節(jié)奏，深入分析；而面對超出自身能力范圍的問題，會主動尋求外部知識或幫助。

然而，當(dāng)前大模型智能體普遍缺乏這種「知識邊界感知」能力，導(dǎo)致規(guī)劃行為低效且脆弱。

核心方法：KnowSelf 框架

為破解這一難題，論文提出了智能體「知識邊界感知」的思路，并基于此設(shè)計了數(shù)據(jù)驅(qū)動 KnowSelf 方法，讓大模型智能體能夠自主調(diào)節(jié)知識的運用。

• 知識系統(tǒng)構(gòu)建
  

對于外部工具（知識），并采用了一種簡單高效知識收集方法，以極低成本完成知識庫的離線構(gòu)建。該知識系統(tǒng)由知識庫和知識選擇模塊組成，其中知識庫包含一系列知識條目，知識選擇模塊能依據(jù)智能體歷史軌跡從知識庫中精準(zhǔn)挑選所需知識。這種設(shè)計兼顧了知識系統(tǒng)的實用性和高效性。

• 情境判斷標(biāo)準(zhǔn)
  

論文基于智能體的能力，將情境劃分為三類：快速思考（Fast Thinking）、慢速思考（Slow Thinking）和知識型思考（Knowledgeable Thinking）。并提出了啟發(fā)式情境判斷標(biāo)準(zhǔn)，用于標(biāo)記智能體自我探索軌跡中的特殊標(biāo)記，從而針對智能體的能力構(gòu)建出訓(xùn)練數(shù)據(jù)，為后續(xù)訓(xùn)練奠定基礎(chǔ)。

a.快思考：智能體無需多慮，能直接給出正確行動

b.慢思考：智能體雖能給出正確行動，但需經(jīng)過多步思考與反思

c.知識型思考：智能體自身無法提供正確行動，必須借助外部知識輔助思考

• 自我認(rèn)知訓(xùn)練
  

KnowSelf 采用雙階段訓(xùn)練過程，先通過監(jiān)督式微調(diào)（SFT），讓智能體模型初步掌握自我認(rèn)知規(guī)劃模式；再引入 RPO 損失函數(shù)，進(jìn)一步強化自我認(rèn)知能力。在這一體系下，智能體會生成特定特殊標(biāo)記，表明其對情境的判斷，在推理過程中實現(xiàn)知識查詢與反思的精準(zhǔn)調(diào)控。

實驗成果

本文在兩個模擬大模型智能體規(guī)劃數(shù)據(jù)集 ALFWorld 和 WebShop 上，對 KnowSelf 進(jìn)行了全面評估，涵蓋 Llama-8B 和 Gemma-2B 兩個不同規(guī)模的模型。實驗結(jié)果顯示，KnowSelf 憑借極少的反思和知識使用，性能優(yōu)于多種基線方法。

與無知識基線方法對比，KnowSelf 在 Llama-8B 和 Gemma-2B 模型上均展現(xiàn)出卓越性能。與知識增強型基線方法相比，KnowSelf 僅用少量知識，就超越了所有的 100% 知識增強基線方法，充分證明了并非知識越多越好，精準(zhǔn)的知識引入機(jī)制才是關(guān)鍵。

進(jìn)一步分析：深入探索智能體自我認(rèn)知

• 智能體規(guī)劃模式過擬合
  

本文通過消融實驗，發(fā)現(xiàn)僅在標(biāo)準(zhǔn)軌跡上訓(xùn)練的模型更易陷入模式擬合，而引入反思和知識邊界感知后，智能體規(guī)劃能力提升。這表明，在許多情況下，智能體并非不能做出正確決策，而是受限于規(guī)劃模式。此外，過度引入知識可能會對性能產(chǎn)生負(fù)面影響，因此凸顯了精準(zhǔn)知識引入機(jī)制的重要性。

• 智能體規(guī)劃泛化能力
  

在泛化能力測試中，KnowSelf 在 ALFWorld 的三項挑戰(zhàn)性任務(wù)上表現(xiàn)優(yōu)異，優(yōu)于基于提示的基線方法 Reflexion。這表明 KnowSelf 能有效打破傳統(tǒng)規(guī)劃軌跡訓(xùn)練的局限，使模型具備跨任務(wù)情境感知能力，在未見過的任務(wù)上能靈活運用反思和知識引入策略。

• 模型與數(shù)據(jù)規(guī)模影響
  

隨著模型規(guī)模擴(kuò)大和自我認(rèn)知訓(xùn)練數(shù)據(jù)量增加，KnowSelf 性能穩(wěn)步提升。當(dāng)自我認(rèn)知訓(xùn)練數(shù)據(jù)相對比例低于 40% 時，模型性能可能出現(xiàn)波動甚至下降，推測模型需達(dá)到一定自我認(rèn)知水平才能穩(wěn)定發(fā)揮效能。

• 智能體自我認(rèn)知機(jī)制機(jī)理
  

本文在 Transformer 模型的各層計算不同情境標(biāo)記的平均概率，發(fā)現(xiàn) Reflection 標(biāo)記概率始終為零，Knowledge 標(biāo)記和 Action 標(biāo)記在模型最后幾層才出現(xiàn)。這表明智能體在內(nèi)部決策時，僅在最后幾層隱藏層才決定是否調(diào)用外部知識，且調(diào)用知識的決策可能更晚出現(xiàn)，暗示智能體在 Token 空間內(nèi)通過隱式獎勵引導(dǎo)進(jìn)行探索，最終做出決策。

結(jié)論與展望

本文提出的 KnowSelf 方法為智能體規(guī)劃提供了新思路，初步探索了智能體知識邊界感知這一問題。在后 R1 時代，隨著 Search-R1、ReSearch、Deep Researcher 等工作的出現(xiàn)，基于 RL 的智能體自主知識獲取工作展現(xiàn)了巨大的前景，KnowSelf 還只是在這個時代之前的初步產(chǎn)物，相信隨著技術(shù)的發(fā)展，基于 RL 的智能體自我認(rèn)知能迸發(fā)更大的活力。