「以史為鑒，可以知興替?！?人類的進步史，可以看作是一個不斷吸取過去經(jīng)驗、不斷推進能力邊界的自我演化過程。在這個過程中，我們吸取過去失敗的教訓(xùn)以糾正錯誤，借鑒成功的經(jīng)驗以提升效率和效果。這種自我進化的過程在我們的生活中無所不在：從如何總結(jié)經(jīng)驗以更好地解決工作中的問題，到如何利用規(guī)律更精確地預(yù)測天氣，我們都在不斷地從過去的經(jīng)驗中學(xué)習(xí)和進化。

成功從過去的經(jīng)驗中提取知識并將其應(yīng)用于未來的挑戰(zhàn)，這是人類進化之路上重要的里程碑。那么在人工智能時代，AI 智能體是否也可以做到同樣的事情呢？

近年來，GPT 和 LLaMA 等語言模型展示了他們在解決復(fù)雜任務(wù)時的驚人能力。然而，他們盡管可以利用工具解決具體任務(wù)，但在本質(zhì)上缺乏對過去成功和失敗經(jīng)歷的洞見與汲取。這就像一個只會完成特定任務(wù)的機器人，雖然在完成當(dāng)下任務(wù)上表現(xiàn)出色，但面對新的挑戰(zhàn)時，卻無法調(diào)用過去的經(jīng)驗來提供幫助。

針對這一難題，近期來自清華大學(xué)、香港大學(xué)、人民大學(xué)以及面壁智能的聯(lián)合團隊提出了一種全新的智能體自我演化策略：探索 - 固化 - 利用（Investigate-Consolidate-Exploit，ICE）。它旨在通過跨任務(wù)的自我進化來提升 AI 智能體的適應(yīng)性和靈活性。其不僅能提升智能體處理新任務(wù)時的效率和效果，還能顯著降低對智能體基座模型能力的需求。

這個策略的出現(xiàn)，無疑為智能體的自我進化開啟了全新的篇章，也意味著我們離實現(xiàn)智能體的完全自主性又邁進了一步。

• 論文標(biāo)題：Investigate-Consolidate-Exploit: A General Strategy for Inter-Task Agent Self-Evolution
• 論文鏈接：https://arxiv.org/abs/2401.13996

智能體任務(wù)間經(jīng)驗遷移以實現(xiàn)自我進化概覽圖

智能體自我進化的兩個方面：規(guī)劃與執(zhí)行

當(dāng)下大部分復(fù)雜智能體都可以分成任務(wù)規(guī)劃（Planning）與任務(wù)執(zhí)行（Execution）兩大方面。在任務(wù)規(guī)劃上，智能體通過推理將用戶需求細(xì)化并制定完成目標(biāo)的詳細(xì)策略；而在任務(wù)執(zhí)行上，智能體通過工具調(diào)用實現(xiàn)與環(huán)境的交互，從而完成相應(yīng)子目標(biāo)。

為了更好地促進以往經(jīng)驗的重復(fù)利用，作者首先將這兩方面的進化策略解耦。他們以 XAgent 智能體架構(gòu)中的樹狀任務(wù)規(guī)劃結(jié)構(gòu)以及 ReACT 鏈?zhǔn)焦ぞ邎?zhí)行為例，分別介紹了 ICE 策略的具體實現(xiàn)。

智能體任務(wù)規(guī)劃的 ICE 自我演化策略

對于任務(wù)規(guī)劃，自我進化依照 ICE 被分為以下三個階段：

• 在探索階段，智能體記錄下整個樹狀任務(wù)規(guī)劃結(jié)構(gòu)，并同時動態(tài)檢測各個子目標(biāo)的執(zhí)行狀態(tài)；
• 在固化階段，智能體首先剔除所有失敗的目標(biāo)結(jié)點，之后對于每個成功完成的目標(biāo)，智能體將以該目標(biāo)為子樹的所有葉子結(jié)點依次排開形成一條規(guī)劃鏈（Workflow）；
• 在利用階段，這些規(guī)劃鏈將被作為新任務(wù)目標(biāo)分解細(xì)化的參考依據(jù)，以利用過往的這些成功經(jīng)驗。

智能體任務(wù)執(zhí)行的 ICE 自我演化策略

任務(wù)執(zhí)行的自我演化策略依然分為 ICE 三個階段，其中：

• 在探索階段，智能體動態(tài)記錄每個目標(biāo)執(zhí)行的工具調(diào)用鏈，并對工具調(diào)用中出現(xiàn)的可能問題進行簡單的檢測歸類；
• 在固化階段，工具調(diào)用鏈將被轉(zhuǎn)化為類似自動機的流水線（Pipeline）結(jié)構(gòu)，工具調(diào)用順序與調(diào)用之間的轉(zhuǎn)移關(guān)系將被固定，同時還會去掉重復(fù)調(diào)用，增加分支邏輯等等讓自動機自動化執(zhí)行流程更加魯棒；
• 在利用階段，對于相似的目標(biāo)，智能體將直接自動化執(zhí)行流水線，從而提升任務(wù)完成效率。

XAgent 框架下的自我進化實驗

作者在 XAgent 框架中對提出的 ICE 自我演化策略進行了測試，并總結(jié)了以下四點發(fā)現(xiàn)：

• ICE 策略能夠顯著降低模型的調(diào)用次數(shù)，從而提升效率，減少開銷。
• 存儲的經(jīng)驗在 ICE 策略下有著較高的復(fù)用率，這證明了 ICE 的有效性。
• ICE 策略能夠提升子任務(wù)完成率同時減少規(guī)劃返修的次數(shù)。
• 通過以往經(jīng)驗的加持，任務(wù)執(zhí)行對模型能力的要求顯著下降。具體來看，使用 GPT-3.5 搭配上之前的任務(wù)規(guī)劃與執(zhí)行經(jīng)驗，效果可以直接媲美 GPT-4。

在探索 - 固化進行經(jīng)驗存儲后，測試集任務(wù)在不同智能體 ICE 策略下的表現(xiàn)

同時，作者還進行了額外的消融實驗：在存儲經(jīng)驗逐漸增加的情況下，智能體的表現(xiàn)是否越來越好？答案是肯定的。從零經(jīng)驗，半經(jīng)驗，到滿經(jīng)驗，基座模型的調(diào)用次數(shù)逐漸減少，而子任務(wù)完成度逐漸提升，同時復(fù)用率也有升高。這表明更多的過往經(jīng)驗?zāi)軌蚋玫卮龠M智能體執(zhí)行，實現(xiàn)規(guī)模效應(yīng)。

在不同經(jīng)驗存儲量下，測試集任務(wù)表現(xiàn)的消融實驗結(jié)果統(tǒng)計

結(jié)語

暢想一下，在人人都能夠部署智能體的世界中，成功經(jīng)驗的數(shù)量會隨著智能體個體任務(wù)執(zhí)行不斷累積，而用戶也可以將這些經(jīng)驗在云端中、社區(qū)里進行分享。這些經(jīng)驗將促使智能體不斷汲取能力，自我進化，逐漸達(dá)到完全自主。我們向這樣的時代又邁進了一步。