是什么，讓一位 AI 自動化架構(gòu)師發(fā)出了「微調(diào)已死」的感慨？

一篇來自斯坦福大學(xué)、SambaNova、UC 伯克利的論文近日引發(fā)了廣泛討論。他們提出了一種名為 Agentic Context Engineering（智能體 / 主動式上下文工程）的技術(shù)，讓語言模型無需微調(diào)也能實現(xiàn)自我提升！

• 論文標(biāo)題：Agentic Context Engineering: Evolving Contexts for Self-Improving Language Models
• 論文地址：https://www.arxiv.org/abs/2510.04618

一切要從上下文適應(yīng)說起

當(dāng)代基于大型語言模型（LLM）的 AI 系統(tǒng)（如 LLM 智能體與復(fù)合式 AI 系統(tǒng)）越來越依賴于上下文自適應(yīng)（context adaptation）。

具體來說，上下文自適應(yīng)是在模型訓(xùn)練完成后，通過在輸入中引入更明確的指令、結(jié)構(gòu)化的推理步驟或領(lǐng)域特定的輸入格式，從而提升模型性能。很顯然，這與直接修改模型參數(shù)的微調(diào)方法大不相同。

我們知道，上下文構(gòu)成了眾多 AI 系統(tǒng)組件的基礎(chǔ)，包括：引導(dǎo)下游任務(wù)的系統(tǒng)提示詞、承載既往事實與經(jīng)驗的記憶機(jī)制以及用于減少幻覺、補(bǔ)充知識的事實證據(jù)。

而與參數(shù)更新相比，通過上下文進(jìn)行適應(yīng)具有若干核心優(yōu)勢：上下文對于用戶與開發(fā)者而言更具可解釋性；能夠在運行時快速整合新知識；并且可以在復(fù)合系統(tǒng)的多個模型或模塊之間共享。與此同時，長上下文語言模型的進(jìn)展以及高效推理機(jī)制（如 KV 緩存復(fù)用）也使基于上下文的方法愈發(fā)具有現(xiàn)實可行性。因此，上下文自適應(yīng)正逐漸成為構(gòu)建高性能、可擴(kuò)展且具備自我改進(jìn)能力的 AI 系統(tǒng)的核心范式。

然而，現(xiàn)有上下文自適應(yīng)方法仍存在兩大局限。

其一是「簡約偏置」（brevity bias）：許多提示詞優(yōu)化器傾向于追求簡潔、普適的指令，而忽略了知識的充分積累。例如，GEPA 將簡短視為優(yōu)點，但這種抽象化可能遺漏實踐中至關(guān)重要的領(lǐng)域啟發(fā)式規(guī)則、工具使用指南或常見錯誤模式。此類優(yōu)化目標(biāo)雖能在部分指標(biāo)上奏效，卻常無法捕捉智能體或知識密集型應(yīng)用所需的細(xì)節(jié)策略。

其二是「上下文塌縮」（context collapse）：依賴 LLM 對整體提示進(jìn)行重寫的方式，往往會隨著時間推移退化為更短、更模糊的摘要，從而造成性能驟降（見圖 2）。在諸如交互式智能體、領(lǐng)域特定編程、以及金融或法律分析等任務(wù)中，系統(tǒng)性能依賴于保留細(xì)致的、任務(wù)相關(guān)的知識，而非將其壓縮掉。

隨著智能體與知識密集型推理對可靠性的要求不斷提高，近期研究逐漸轉(zhuǎn)向構(gòu)建「信息飽和」的上下文，也就是借助長上下文 LLM 的進(jìn)展來容納更多潛在有用信息。

但這個斯坦福大學(xué)、SambaNova、UC 伯克利聯(lián)合團(tuán)隊認(rèn)為：上下文不應(yīng)是簡短的摘要，而應(yīng)成為全面、動態(tài)演化的「作戰(zhàn)手冊（playbooks）」—— 內(nèi)容詳實、包容、富含領(lǐng)域洞見。與人類不同，LLM 在提供長而細(xì)致的上下文時表現(xiàn)更好，并能自主提煉關(guān)鍵信息。因此，與其壓縮領(lǐng)域啟發(fā)與策略，不如將其保留，讓模型在推理時自行決定哪些信息最為重要。

在這一見解的基礎(chǔ)上，主動式上下文工程（ACE）應(yīng)運而生。

主動式上下文工程（ACE）

該團(tuán)隊提出的 ACE（Agentic Context Engineering） 框架能夠?qū)崿F(xiàn)可擴(kuò)展且高效的上下文自適應(yīng)，并且離線（如系統(tǒng)提示優(yōu)化）與在線（如測試時記憶自適應(yīng)）場景都適用。

與以往將知識蒸餾為簡短摘要或靜態(tài)指令的方法不同，ACE 是將上下文視為不斷演化的作戰(zhàn)手冊，能夠持續(xù)積累、蒸餾與組織策略。

基于 Dynamic Cheatsheet（參閱  arXiv:2504.07952）的 agentic 架構(gòu)，ACE 引入三種協(xié)作角色：

• 生成器（Generator）：生成推理軌跡；
• 反思器（Reflector）：從成功與錯誤中蒸餾具體洞見；
• 整編器（Curator）：將這些洞見整合進(jìn)結(jié)構(gòu)化的上下文更新。

這一設(shè)計模仿了人類的學(xué)習(xí)方式，即「實驗–反思–整合」，同時可避免讓單一模型承擔(dān)所有職能所導(dǎo)致的瓶頸。

為應(yīng)對前文提到的簡約偏置與上下文塌縮問題，ACE 引入了三項關(guān)鍵創(chuàng)新：

• 專職反思者模塊：將評估與洞見提取與整編（curation）過程解耦，提高上下文質(zhì)量與下游性能；
• 增量式 Delta 更新機(jī)制：以局部編輯替代整體重寫，顯著降低延遲與計算開銷；
• grow-and-refine 機(jī)制：在持續(xù)擴(kuò)充的同時抑制冗余，實現(xiàn)上下文的穩(wěn)態(tài)演化。

在工作流程上，生成器首先會針對新任務(wù)生成推理軌跡，揭示出有效策略與常見陷阱；反思器對這些軌跡進(jìn)行評析，提煉經(jīng)驗并可多輪迭代優(yōu)化；整編器再將這些經(jīng)驗整合為緊湊的增量條目（delta entries），并通過輕量的、非 LLM 的邏輯機(jī)制合并至現(xiàn)有上下文中。

由于更新項是局部化的，多個增量可并行合并，從而實現(xiàn)批量適應(yīng)與擴(kuò)展。ACE 還支持多輪（multi-epoch）自適應(yīng)，使相同任務(wù)可被多次重訪以持續(xù)強(qiáng)化上下文。

增量式 Delta 更新

ACE 的核心設(shè)計理念是：將上下文表示為結(jié)構(gòu)化的條目集合（bullets），而非單一的整體提示詞。

每個條目包含兩部分：

• 元數(shù)據(jù)（metadata）：唯一標(biāo)識符，以及「有用 / 有害」計數(shù)器；
• 內(nèi)容（content）：比如可復(fù)用策略、領(lǐng)域概念或常見錯誤模式。

在解決新問題時，生成器會標(biāo)記哪些條目起到了幫助或誤導(dǎo)作用，從而為反思器提供改進(jìn)依據(jù)。

這種條目化設(shè)計帶來了三大特性：

• 局部化（localization）：只更新相關(guān)條目；
• 細(xì)粒度檢索：生成器可聚焦于最相關(guān)的知識；
• 增量式適應(yīng)：推理時可高效進(jìn)行合并、剪枝與去重。

ACE 不會重寫整個上下文，而是生成緊湊的增量上下文（delta contexts）：由反思器提煉、整編器整合的一小組候選條目。

這種方式既避免了整體重寫的高計算成本與延遲，又能保持舊知識并持續(xù)吸收新見解。隨著上下文的增長，該機(jī)制為長周期或高知識密度的任務(wù)提供了必要的可擴(kuò)展性。

Grow-and-Refine

在持續(xù)增長的基礎(chǔ)上，ACE 通過定期或延遲蒸餾來確保上下文保持緊湊與相關(guān)性。

在 Grow-and-Refine 過程中，新條目會被追加到上下文中，而已有條目則通過元數(shù)據(jù)更新（如計數(shù)器遞增）進(jìn)行原地修訂。

去重步驟則通過語義嵌入比較條目相似度來消除冗余。

該過程可在每次增量更新后主動執(zhí)行，也可在上下文窗口超限時被動觸發(fā)，具體取決于延遲與精度要求。

增量更新與 Grow-and-Refine 機(jī)制共同維持了上下文的動態(tài)可擴(kuò)展性與高相關(guān)性。

ACE 的效果如何？

該團(tuán)隊進(jìn)行了實驗，對新提出的方法進(jìn)行了驗證。

具體來說，他們在兩類任務(wù)上進(jìn)行了實驗：智能體類任務(wù)與領(lǐng)域特定任務(wù)。

• 智能體任務(wù)采用 AppWorld 基準(zhǔn)，該基準(zhǔn)涵蓋多輪推理、工具調(diào)用與環(huán)境交互等復(fù)雜行為，包含不同難度的場景（普通與挑戰(zhàn)模式），并設(shè)有公開排行榜以評估智能體的真實表現(xiàn)。
• 領(lǐng)域特定任務(wù)則聚焦于金融分析，使用 FiNER 與 Formula 兩個數(shù)據(jù)集：前者要求識別 XBRL 財報文檔中的細(xì)粒度實體類型，后者則考察模型在結(jié)構(gòu)化財報中的數(shù)值推理與計算能力。

而作為對比的基線方法則包括以下幾種：

• ICL（In-Context Learning）：通過在輸入中提供示例演示實現(xiàn)少樣本學(xué)習(xí)；
• MIPROv2 與 GEPA：兩種主流提示優(yōu)化算法，分別基于貝葉斯優(yōu)化與反思進(jìn)化策略；
• Dynamic Cheatsheet（DC）：一種測試時自適應(yīng)記憶機(jī)制，可積累可復(fù)用的策略與知識。

相比之下，ACE 在相同基模型與運行條件下，通過其「生成–反思–整合」的主動上下文工程框架，實現(xiàn)了更高的準(zhǔn)確度、更快的適應(yīng)速度以及更低的計算成本。

實驗下來，ACE 表現(xiàn)優(yōu)異，下圖給出了其整體表現(xiàn) —— 毫無疑問地優(yōu)勢明顯。

首先，ACE 確實能實現(xiàn)高性能、自我改進(jìn)的智能體。

通過動態(tài)優(yōu)化輸入上下文，ACE 實現(xiàn)了智能體的自我改進(jìn)。在 AppWorld 基準(zhǔn)上，ACE 在無需標(biāo)注數(shù)據(jù)的情況下，僅憑執(zhí)行反饋就能提升性能高達(dá) 17.1%，使開源小模型的表現(xiàn)接近最強(qiáng)商用系統(tǒng)。

下圖展示了在 AppWorld 基準(zhǔn)上，ACE 生成的上下文示例（部分）。可以看到，ACE 生成的上下文包含了詳細(xì)的、領(lǐng)域特定的洞見，以及可直接使用的工具與代碼，構(gòu)成了一個面向大型語言模型應(yīng)用的完整「作戰(zhàn)手冊」。

同時，ACE 也能大幅提升在領(lǐng)域特定任務(wù)上的表現(xiàn)：在復(fù)雜的金融推理任務(wù)中，ACE 通過構(gòu)建含豐富領(lǐng)域知識的「作戰(zhàn)手冊」，平均性能提升 8.6%。

該團(tuán)隊也通過消融實驗驗證了其新設(shè)計的有效性，結(jié)果表明：反思器與多輪蒸餾等組件對性能提升至關(guān)重要。

最后，該團(tuán)隊也分析了 ACE 的成本與延遲，發(fā)現(xiàn)這兩個指標(biāo)都有顯著下降：ACE 通過增量更新與輕量化合并機(jī)制，使適應(yīng)延遲平均降低 86.9%，并減少了生成消耗。

至于 ACE 究竟能否做到讓「微調(diào)已死」，還需要讀者您自己判斷，畢竟該研究也在網(wǎng)上遭到了一些批評。

結(jié)語

該團(tuán)隊總結(jié)道：「長上下文 ≠ 更高 Serving 成本?！贡M管 ACE 生成的上下文比 GEPA 等方法更長，但并不會導(dǎo)致推理成本或顯存使用線性增加。

現(xiàn)代 serving 基礎(chǔ)設(shè)施已通過 KV 緩存復(fù)用、壓縮與卸載等機(jī)制，對長上下文負(fù)載進(jìn)行了優(yōu)化，使得常用的上下文片段可被緩存，避免重復(fù)計算。隨著系統(tǒng)層優(yōu)化的持續(xù)進(jìn)步，長上下文方法（如 ACE）的實際部署成本將進(jìn)一步下降。

同時，該團(tuán)隊還分析了這項研究對在線與持續(xù)學(xué)習(xí)帶來的啟示。

在線學(xué)習(xí)與持續(xù)學(xué)習(xí)是應(yīng)對分布漂移（distribution shifts）與訓(xùn)練數(shù)據(jù)有限性的重要方向。ACE 為傳統(tǒng)模型微調(diào)提供了一種靈活且高效的替代方案：更新上下文通常比更新模型參數(shù)更低成本，同時具備可解釋性，還可能實現(xiàn)選擇性遺忘（selective unlearning）—— 這可用于隱私保護(hù)、合規(guī)以及剔除錯誤或過時信息。

該團(tuán)隊認(rèn)為，ACE 未來有望成為推動持續(xù)學(xué)習(xí)與負(fù)責(zé)任學(xué)習(xí)的核心機(jī)制之一。

你覺得這項技術(shù)的潛力如何？