當(dāng)前大多數(shù)智能體框架沿襲自頂向下（Top-Down）的設(shè)計(jì)思路——人類(lèi)事先定義目標(biāo)、拆解任務(wù)，并構(gòu)建工作流供智能體執(zhí)行。這種方法在封閉環(huán)境中表現(xiàn)卓越，但當(dāng)智能體需要在開(kāi)放、非結(jié)構(gòu)化環(huán)境中自主適應(yīng)和學(xué)習(xí)時(shí)，它們往往力不從心。

問(wèn)題的癥結(jié)在于傳統(tǒng)的智能體設(shè)計(jì)過(guò)于依賴(lài)人工干預(yù)，無(wú)法自主進(jìn)化。在自頂向下工作流中，智能體的能力主要依賴(lài)預(yù)定義的API、任務(wù)提示和專(zhuān)家設(shè)計(jì)的執(zhí)行路徑。但現(xiàn)實(shí)世界并非一個(gè)由任務(wù)明確、結(jié)構(gòu)清晰的操作手冊(cè)所支撐的環(huán)境——相反，它充滿(mǎn)了不確定性、動(dòng)態(tài)變化和復(fù)雜的交互模式。于是，一種新的范式逐漸被提出：自底向上（Bottom-Up）智能體設(shè)計(jì)，它模仿人類(lèi)學(xué)習(xí)過(guò)程，讓智能體通過(guò)探索、推理和經(jīng)驗(yàn)積累逐步成長(zhǎng)，而不再僅僅依賴(lài)人工設(shè)定的工作流。

圖1：代理設(shè)計(jì)的兩種范式。大多數(shù)現(xiàn)有的代理框架可以歸類(lèi)為自上而下的代理，它們依賴(lài)于預(yù)先設(shè)計(jì)的架構(gòu)：它們從高級(jí)目標(biāo)開(kāi)始，將其分解為子任務(wù)，并使用特定于任務(wù)的API和工具執(zhí)行工作流。相比之下，我們建議自下而上的智能體充當(dāng)探索者：從零先驗(yàn)知識(shí)開(kāi)始，它們通過(guò)試驗(yàn)和推理逐漸獲得技能，通過(guò)環(huán)境變化推斷出的隱性獎(jiǎng)勵(lì)自主進(jìn)化。

回溯人工智能的發(fā)展，我們不難發(fā)現(xiàn)自頂向下設(shè)計(jì)范式的合理性。早期的智能體系統(tǒng)，如ReAct、Plan-and-Solve、AutoGPT等，都遵循類(lèi)似的模式：給定一個(gè)復(fù)雜任務(wù)，人類(lèi)會(huì)將其分解為可執(zhí)行的子任務(wù)，并設(shè)計(jì)對(duì)應(yīng)的工作流。智能體的任務(wù)是遵循這些流程，高效執(zhí)行，并在必要時(shí)進(jìn)行調(diào)整。這一框架有三個(gè)核心問(wèn)題：

1.靜態(tài)性：智能體的改進(jìn)完全依賴(lài)于人類(lèi)的更新，而不是基于自身經(jīng)驗(yàn)進(jìn)行演化。

2.先驗(yàn)依賴(lài)：必須依靠預(yù)定義的任務(wù)提示、API才能執(zhí)行任務(wù)，而在開(kāi)放環(huán)境中，這些先驗(yàn)知識(shí)可能不存在或難以獲取。

3.令牌消耗：智能體的大部分計(jì)算資源被用于遵循預(yù)設(shè)流程，而非基于環(huán)境變化進(jìn)行推理和調(diào)整。

對(duì)于標(biāo)準(zhǔn)化任務(wù)，如數(shù)據(jù)處理、自動(dòng)化腳本執(zhí)行，這種模式仍然十分有效。但在開(kāi)放世界任務(wù)中，如游戲、自動(dòng)駕駛、智能機(jī)器人等，這些智能體無(wú)法自主學(xué)習(xí)或適應(yīng)新環(huán)境，必須依賴(lài)人工調(diào)整或重新設(shè)計(jì)工作流。

面對(duì)自頂向下方法的局限性，研究人員開(kāi)始思考——能否讓智能體像人類(lèi)一樣，從環(huán)境中自主學(xué)習(xí)技能，而非依賴(lài)預(yù)設(shè)流程？ 這一設(shè)想與Silver和Sutton提出的“經(jīng)驗(yàn)時(shí)代（Era of Experience）”理念相契合。人類(lèi)的技能并非通過(guò)固定的任務(wù)執(zhí)行得來(lái)，而是經(jīng)歷試錯(cuò)、推理和技能歸納的過(guò)程。相比傳統(tǒng)的方法，自底向上智能體設(shè)計(jì)更強(qiáng)調(diào)探索、技能進(jìn)化和適應(yīng)能力。

圖2：左：自底向上代理僅對(duì)原始視覺(jué)輸入進(jìn)行操作，并模擬低級(jí)鼠標(biāo)和鍵盤(pán)操作。在沒(méi)有明確獎(jiǎng)勵(lì)的情況下，它會(huì)根據(jù)視覺(jué)變化或游戲進(jìn)度等隱含信號(hào)學(xué)習(xí)和改進(jìn)技能。右圖：游戲進(jìn)度由《文明V》的技術(shù)樹(shù)和視覺(jué)變化來(lái)衡量。我們的自底向上代理（藍(lán)色）的表現(xiàn)優(yōu)于所有基線(xiàn)，包括那些具有任務(wù)相關(guān)先驗(yàn)的基線(xiàn)。

該研究提出了一種新的智能體范式：

• 智能體從零開(kāi)始，無(wú)需先驗(yàn)知識(shí)。
• 通過(guò)環(huán)境交互，智能體自主學(xué)習(xí)新技能。
• 技能可共享與優(yōu)化，使智能體群體得以持續(xù)演化。

這一方法的核心優(yōu)勢(shì)在于，它避免了人為設(shè)定任務(wù)的局限性，讓智能體能夠在完全未知的環(huán)境中自主學(xué)習(xí)、進(jìn)化，并適應(yīng)挑戰(zhàn)。

本研究由來(lái)自多個(gè)知名機(jī)構(gòu)的研究人員共同完成，他們?cè)谌斯ぶ悄堋⒅悄荏w學(xué)習(xí)、強(qiáng)化學(xué)習(xí)與高性能計(jì)算等領(lǐng)域具有豐富經(jīng)驗(yàn)，他們是來(lái)自新加坡科技研究局（A*STAR）前沿人工智能研究中心（CFAR）、高性能計(jì)算研究所（IHPC）、新加坡國(guó)立大學(xué)（NUS）、清華大學(xué)、電子科技大學(xué)（UESTC）的Jiawei Du, Jinlong Wu, Yuzheng Chen, Yucheng Hu, Bing Li, Joey Tianyi Zhou。

這些研究人員的合作涉及智能體技能學(xué)習(xí)、強(qiáng)化學(xué)習(xí)優(yōu)化、大型語(yǔ)言模型推理、計(jì)算機(jī)視覺(jué)等領(lǐng)域，他們共同推進(jìn)了自底向上智能體設(shè)計(jì)的落地與驗(yàn)證。

此外，他們已開(kāi)源該研究的代碼，可在 GitHub 訪(fǎng)問(wèn)。

論文鏈接：??https://arxiv.org/abs/2505.17673??

項(xiàng)目地址：??https://github.com/AngusDujw/Bottom-Up-Agent??

1.方法論（Meth?odology）

我們一直在思考如何讓智能體變得更智能、更自主、更適應(yīng)復(fù)雜環(huán)境，自頂向下的設(shè)計(jì)方式強(qiáng)調(diào)任務(wù)規(guī)劃和結(jié)構(gòu)化執(zhí)行，但它的局限性在于，智能體只能?chē)?yán)格按照預(yù)設(shè)的路徑工作，缺乏靈活性。而自底向上的方法則不同，它讓智能體從環(huán)境中學(xué)習(xí)，在試錯(cuò)中進(jìn)化，在經(jīng)驗(yàn)積累中找到高效的行動(dòng)策略。這種范式的背后，是嚴(yán)謹(jǐn)?shù)臄?shù)學(xué)建模和理論支持。

圖3：自下而上技能演變概述。代理從沒(méi)有預(yù)定義技能開(kāi)始，通過(guò)交互逐漸構(gòu)建其庫(kù)S。左：新技能是通過(guò)用原子動(dòng)作擴(kuò)展現(xiàn)有例程而逐步組成的。中間：通過(guò)視覺(jué)語(yǔ)言模型（VLM）比較執(zhí)行前和執(zhí)行后的狀態(tài)來(lái)評(píng)估技能；無(wú)效的通過(guò)LLM推理進(jìn)行改進(jìn)或丟棄。右：在每個(gè)時(shí)間步，根據(jù)當(dāng)前狀態(tài)xt選擇候選集St，并通過(guò)蒙特卡洛樹(shù)搜索（MCTS）進(jìn)行評(píng)估[40]，以選擇最有前途的技能。所有組件都在統(tǒng)一的推理框架下運(yùn)行，沒(méi)有特權(quán)API，允許代理純粹從經(jīng)驗(yàn)中獲得能力。

為了讓智能體能夠真正從經(jīng)驗(yàn)中成長(zhǎng)，研究團(tuán)隊(duì)采用了部分可觀(guān)察馬爾可夫決策過(guò)程（POMDP）作為理論基礎(chǔ)。這一方法的核心思想是，智能體無(wú)法直接看到整個(gè)環(huán)境的狀態(tài)，而只能基于有限的觀(guān)測(cè)信息來(lái)做決策。環(huán)境由四個(gè)關(guān)鍵元素構(gòu)成：觀(guān)察空間 X（智能體的視覺(jué)輸入）、動(dòng)作空間 A（智能體可執(zhí)行的原子操作，如鼠標(biāo)點(diǎn)擊或鍵盤(pán)輸入）、未知的狀態(tài)轉(zhuǎn)換函數(shù) T以及隱含獎(jiǎng)勵(lì) R。智能體的目標(biāo)是通過(guò)不斷交互，從這些有限的信息中推測(cè)出最優(yōu)的決策方式。

其中，智能體的技能被定義為一組可組合的原子動(dòng)作，例如：

技能庫(kù) S 記錄智能體已掌握的所有技能，并隨著時(shí)間逐步擴(kuò)展。每個(gè)技能還具備一個(gè)語(yǔ)義描述dσ，它由LLM生成，幫助智能體理解技能的意圖并進(jìn)行優(yōu)化：

為了讓智能體自主形成技能并優(yōu)化它們，研究團(tuán)隊(duì)設(shè)計(jì)了技能演化機(jī)制。首先是技能增強(qiáng)（Augmentation），智能體從單步動(dòng)作開(kāi)始，嘗試不同的行為組合，并觀(guān)察哪些操作能帶來(lái)環(huán)境變化。智能體不會(huì)盲目探索，而是采用增量式構(gòu)建：

也就是說(shuō)，智能體會(huì)在一個(gè)已有的技能序列基礎(chǔ)上，嘗試添加一個(gè)新動(dòng)作，并觀(guān)察它是否能帶來(lái)顯著環(huán)境變化。如果無(wú)法產(chǎn)生可見(jiàn)影響，該序列將被丟棄，確保智能體只學(xué)習(xí)有意義的行為。

在技能調(diào)用（Invocation）階段，智能體需要判斷當(dāng)前環(huán)境適用哪些已有技能。它不會(huì)簡(jiǎn)單地隨機(jī)選擇，而是采用蒙特卡洛樹(shù)搜索（MCTS）來(lái)評(píng)估候選技能集：

蒙特卡洛樹(shù)搜索通過(guò)模擬不同技能的執(zhí)行結(jié)果，選擇最可能帶來(lái)長(zhǎng)期收益的技能，確保智能體的行為更加高效。

技能庫(kù)不會(huì)一成不變，智能體需要不斷優(yōu)化已學(xué)技能。在技能評(píng)估與優(yōu)化（Refinement）過(guò)程中，研究團(tuán)隊(duì)設(shè)計(jì)了一種隱式獎(jiǎng)勵(lì)機(jī)制：

這個(gè)公式的三個(gè)部分分別對(duì)應(yīng)：

• 行為多樣性，確保智能體的技能庫(kù)不被過(guò)度重復(fù)的技能填滿(mǎn)；
• 執(zhí)行效率，避免智能體采用冗長(zhǎng)的無(wú)效動(dòng)作；
• 語(yǔ)義對(duì)齊，確保技能的意圖和實(shí)際執(zhí)行效果一致。

智能體通過(guò)不斷調(diào)整技能庫(kù)，丟棄低效技能，并利用LLM生成優(yōu)化后的語(yǔ)義描述，使技能庫(kù)不斷精煉。

研究團(tuán)隊(duì)在A(yíng)lgorithm 1中詳細(xì)列出了技能學(xué)習(xí)與優(yōu)化的完整步驟，并在圖3中展示了技能庫(kù)隨時(shí)間增長(zhǎng)的過(guò)程。這一框架不僅賦予智能體自主學(xué)習(xí)能力，還確保它們能在復(fù)雜環(huán)境中快速適應(yīng)，最終變得越來(lái)越智能。

2.實(shí)例化自底向上智能體

在人工智能不斷向更具適應(yīng)性和自主性的方向演化時(shí)，如何證明一個(gè)智能體真正能夠在沒(méi)有明確指引的情況下學(xué)習(xí)、適應(yīng)并進(jìn)化？研究團(tuán)隊(duì)選擇了兩個(gè)極具挑戰(zhàn)性的游戲環(huán)境——《殺戮尖塔》和《文明5》，作為自底向上智能體的測(cè)試場(chǎng)所。這兩款游戲的共同特點(diǎn)是，它們沒(méi)有固定的任務(wù)結(jié)構(gòu)、沒(méi)有預(yù)設(shè)的獎(jiǎng)勵(lì)機(jī)制，也不提供任務(wù)子目標(biāo)或?qū)Ｓ?nbsp;API。

這意味著，智能體無(wú)法依賴(lài)傳統(tǒng)的任務(wù)規(guī)劃或預(yù)定義執(zhí)行路徑，而必須完全基于環(huán)境反饋來(lái)調(diào)整行為。更重要的是，這兩款游戲都模擬了人類(lèi)的操作方式：智能體只能通過(guò)像素級(jí)視覺(jué)輸入感知環(huán)境，并使用鼠標(biāo)點(diǎn)擊和拖動(dòng)執(zhí)行動(dòng)作，與人類(lèi)玩家的交互方式完全一致。

在這樣的環(huán)境中，視覺(jué)感知成為智能體理解世界的唯一方式。這也是為什么研究團(tuán)隊(duì)采用Segment Anything Model（SAM）作為視覺(jué)解析工具，使智能體能夠自動(dòng)識(shí)別界面中的關(guān)鍵元素，如按鈕、菜單、資源信息等。SAM 賦予智能體一種類(lèi)似人類(lèi)的視覺(jué)處理能力，使它能夠區(qū)分不同的 UI 組件，并在交互過(guò)程中自主推理哪些元素可能是可點(diǎn)擊目標(biāo)。

智能體不會(huì)事先知道游戲規(guī)則，而是必須通過(guò)視覺(jué)信息和試錯(cuò)來(lái)建立自己的操作邏輯。例如，在《文明5》中，智能體需要理解如何移動(dòng)單位、如何選擇科技發(fā)展，而在《殺戮尖塔》中，它必須學(xué)會(huì)如何拖拽卡牌攻擊敵人。沒(méi)有預(yù)設(shè)的 API，智能體只能通過(guò)觀(guān)察界面變化，推測(cè)自己的行為是否有效，這種方式極大地接近人類(lèi)玩家的真實(shí)體驗(yàn)。

一個(gè)關(guān)鍵問(wèn)題是，如何保證同一架構(gòu)能夠在不同環(huán)境中都正常工作？研究團(tuán)隊(duì)刻意設(shè)計(jì)了一種環(huán)境無(wú)關(guān)的推理機(jī)制，使得智能體在《殺戮尖塔》和《文明5》中使用完全相同的架構(gòu)，而不需要針對(duì)每個(gè)游戲進(jìn)行特殊優(yōu)化。這意味著，無(wú)論智能體處于何種游戲環(huán)境，它都會(huì)遵循同樣的技能發(fā)現(xiàn)、調(diào)用和優(yōu)化邏輯，并在不同環(huán)境下不斷成長(zhǎng)。

然而，當(dāng)前技能庫(kù)仍然具有一定的環(huán)境特定性：在《文明5》中學(xué)會(huì)的單位移動(dòng)策略，并不能直接遷移到《殺戮尖塔》卡牌拖拽任務(wù)中。未來(lái)，如何實(shí)現(xiàn)技能的泛化，使得智能體能夠在不同任務(wù)場(chǎng)景下復(fù)用已有技能，是進(jìn)一步優(yōu)化的關(guān)鍵。

這項(xiàng)實(shí)驗(yàn)不僅展示了智能體如何在完全開(kāi)放的環(huán)境中自主獲取技能，也為未來(lái)人工智能的發(fā)展提供了重要啟示。隨著技術(shù)進(jìn)步，我們或許會(huì)看到智能體不僅能在不同游戲間學(xué)習(xí)，還能跨越虛擬世界與現(xiàn)實(shí)世界，在更復(fù)雜的環(huán)境中不斷進(jìn)化。

3.實(shí)驗(yàn)設(shè)計(jì)與評(píng)估分析

如果讓智能體完全從零開(kāi)始學(xué)習(xí)技能，它們是否真的能夠像人類(lèi)一樣，在經(jīng)驗(yàn)中成長(zhǎng)，并不斷優(yōu)化自己的行動(dòng)策略？這是研究團(tuán)隊(duì)通過(guò)實(shí)驗(yàn)所要回答的核心問(wèn)題。為了測(cè)試自底向上智能體的表現(xiàn)，他們選擇了兩個(gè)開(kāi)放式游戲環(huán)境：《殺戮尖塔》和《文明5》。這兩款游戲的獨(dú)特之處在于，它們沒(méi)有預(yù)定義任務(wù)、沒(méi)有明確的獎(jiǎng)勵(lì)機(jī)制，也沒(méi)有專(zhuān)門(mén)的API，智能體必須完全依靠環(huán)境交互來(lái)學(xué)習(xí)如何執(zhí)行任務(wù)。

圖4：技能演變和重用分析。（a）隨著時(shí)間的推移，技能庫(kù)的大小會(huì)通過(guò)增加（+）和修剪（-）而增加。（b）《砍倒尖塔》中十大最常被調(diào)用的技能。（c）跨環(huán)境的組合技能繼承示例，展示了如何從原子動(dòng)作構(gòu)建更高級(jí)的例程。

在實(shí)驗(yàn)設(shè)計(jì)上，研究團(tuán)隊(duì)確保所有智能體在相同難度級(jí)別和回合制模式下運(yùn)行，避免任何先驗(yàn)知識(shí)的影響。為了觀(guān)察智能體的成長(zhǎng)過(guò)程，每個(gè)智能體都被限制在1000步的最大交互次數(shù)，通常需要約 6.5 小時(shí)來(lái)完成一輪實(shí)驗(yàn)。在這樣的限制下，智能體必須學(xué)會(huì)高效利用時(shí)間和交互數(shù)據(jù)，以便在有限的資源內(nèi)最大化自己的進(jìn)度和技能獲取。實(shí)驗(yàn)中的主要評(píng)估指標(biāo)包括：

游戲進(jìn)度：在《殺戮尖塔》中衡量通過(guò)的層數(shù)，在《文明5》中計(jì)算完成的回合數(shù)

策略發(fā)展：累計(jì)游戲分?jǐn)?shù)和已解鎖的科技數(shù)量

技能執(zhí)行響應(yīng)率：智能體執(zhí)行動(dòng)作后導(dǎo)致環(huán)境變化的成功率

令牌成本：計(jì)算 LLM 在整個(gè)實(shí)驗(yàn)中的推理資源消耗，并轉(zhuǎn)換為美元成本

在兩款游戲中，自底向上智能體的表現(xiàn)遠(yuǎn)遠(yuǎn)優(yōu)于所有基線(xiàn)智能體。尤其是在《殺戮尖塔》中，所有傳統(tǒng)方法在沒(méi)有任務(wù)先驗(yàn)的情況下無(wú)法取得任何進(jìn)展，而自底向上的智能體成功突破 13 層，游戲分?jǐn)?shù)達(dá)到 81，并且執(zhí)行響應(yīng)率高達(dá) 98.56%。在《文明5》中，自底向上智能體完成 50 個(gè)回合，解鎖 8 項(xiàng)科技，展示了較強(qiáng)的探索和適應(yīng)能力。相比之下，即便基線(xiàn)方法在有任務(wù)先驗(yàn)的情況下稍微提升了性能，它們?nèi)匀粺o(wú)法像自底向上智能體那樣自主優(yōu)化策略，在開(kāi)放環(huán)境下持續(xù)學(xué)習(xí)。

進(jìn)一步的分析表明，智能體的技能庫(kù)隨著時(shí)間增長(zhǎng)，不僅新增了有用技能，同時(shí)也剪除了低效技能。在實(shí)驗(yàn)的幾個(gè)輪次中，智能體的技能庫(kù)規(guī)模不斷擴(kuò)大，新技能增強(qiáng)，同時(shí)無(wú)用的技能被剔除，使整體效率逐步提高。從技能調(diào)用頻率來(lái)看，最常使用的技能逐漸從基本交互（點(diǎn)擊、拖拽）演化為更復(fù)雜的策略性技能，這種技能繼承和優(yōu)化過(guò)程與人類(lèi)的學(xué)習(xí)模式非常相似。

圖5：自下而上代理的提示和執(zhí)行可視化。（a）用于技能增強(qiáng)和調(diào)用的與環(huán)境無(wú)關(guān)的提示，使推理無(wú)需訪(fǎng)問(wèn)游戲特定的API。（b）我們?cè)O(shè)計(jì)了一個(gè)GUI，在游戲過(guò)程中可視化代理的執(zhí)行狀態(tài)，顯示候選動(dòng)作、選定目標(biāo)、推理元數(shù)據(jù)和相應(yīng)的技能計(jì)劃樹(shù)。

消融實(shí)驗(yàn)揭示了智能體學(xué)習(xí)機(jī)制中的幾個(gè)關(guān)鍵組件對(duì)整體性能的影響。其中，視覺(jué)變化過(guò)濾確保智能體不會(huì)學(xué)習(xí)無(wú)效技能，缺失這一組件會(huì)導(dǎo)致大量無(wú)用操作被保留，從而浪費(fèi)計(jì)算資源。蒙特卡洛樹(shù)搜索（MCTS）是長(zhǎng)時(shí)序決策中的關(guān)鍵機(jī)制，如果移除它，智能體幾乎無(wú)法取得任何進(jìn)展，導(dǎo)致任務(wù)失敗率大幅上升。而LLM 生成的技能描述則幫助智能體整理和優(yōu)化其行為，使技能庫(kù)更加系統(tǒng)化。任何一個(gè)組件的消除都會(huì)嚴(yán)重削弱智能體的學(xué)習(xí)能力，影響游戲進(jìn)度、分?jǐn)?shù)和執(zhí)行效率。

實(shí)驗(yàn)結(jié)果不僅展示了自底向上智能體的學(xué)習(xí)潛力，還提供了未來(lái)優(yōu)化方向的思考。如何讓智能體在不同環(huán)境間遷移技能？是否可以進(jìn)一步減少探索開(kāi)銷(xiāo)，讓智能體更快地找到有效策略？這些問(wèn)題在研究的下一階段將成為關(guān)注重點(diǎn)。

4.討論與廣泛影響

自底向上智能體設(shè)計(jì)的提出，標(biāo)志著人工智能領(lǐng)域的一個(gè)重要突破。它的最大優(yōu)點(diǎn)在于自主學(xué)習(xí)能力的提升，讓智能體可以不依賴(lài)人工定義的任務(wù)，而是通過(guò)探索環(huán)境來(lái)積累經(jīng)驗(yàn)。它不僅解決了傳統(tǒng)自頂向下方法的靜態(tài)性問(wèn)題，還使得智能體能夠隨著環(huán)境變化不斷優(yōu)化自身的決策邏輯。

通過(guò)試錯(cuò)和推理，智能體可以逐步形成完整的技能庫(kù)，并在多智能體協(xié)作中實(shí)現(xiàn)知識(shí)共享。這種進(jìn)化方式使得智能體更具適應(yīng)性，能夠在開(kāi)放世界任務(wù)中有效發(fā)揮作用，尤其適用于自動(dòng)駕駛、智能機(jī)器人以及復(fù)雜策略模擬等領(lǐng)域。

自底向上方法仍然面臨一些技術(shù)挑戰(zhàn)，其中最主要的問(wèn)題是探索開(kāi)銷(xiāo)過(guò)高。由于智能體必須依賴(lài)試錯(cuò)來(lái)發(fā)現(xiàn)有效技能，它需要進(jìn)行大量無(wú)效交互才能找到最優(yōu)策略。這不僅導(dǎo)致計(jì)算資源的消耗增加，也限制了智能體的實(shí)際部署效率。此外，技能泛化困難也是一個(gè)值得關(guān)注的問(wèn)題。當(dāng)前的技能庫(kù)往往受到環(huán)境限制，智能體在某個(gè)游戲或任務(wù)中學(xué)習(xí)到的技能并不能直接遷移到另一個(gè)任務(wù)環(huán)境。例如，在《殺戮尖塔》中掌握的卡牌拖拽技能，無(wú)法直接用于《文明5》的單位調(diào)度任務(wù)。

如何實(shí)現(xiàn)技能的通用化，使得智能體能夠在不同任務(wù)環(huán)境間復(fù)用已有技能，是未來(lái)研究的關(guān)鍵方向。除此之外，長(zhǎng)時(shí)序策略不足也是一個(gè)問(wèn)題。盡管智能體能夠?qū)W習(xí)短期技能并優(yōu)化自身行動(dòng)，它在長(zhǎng)期戰(zhàn)略規(guī)劃上的能力仍然有限。現(xiàn)有的隱式獎(jiǎng)勵(lì)機(jī)制更多依賴(lài)視覺(jué)變化作為反饋，但對(duì)于那些需要長(zhǎng)期積累才能產(chǎn)生效果的決策，例如文明發(fā)展、資源管理等，智能體仍然難以準(zhǔn)確識(shí)別并執(zhí)行最優(yōu)策略。

未來(lái)研究可以從多個(gè)方面展開(kāi)，優(yōu)化技能發(fā)現(xiàn)機(jī)制可以減少探索開(kāi)銷(xiāo)，讓智能體在更短的時(shí)間內(nèi)找到高效技能。這可能涉及強(qiáng)化學(xué)習(xí)技術(shù)的結(jié)合，使智能體能夠更快地識(shí)別哪些行為值得嘗試，而不是完全依賴(lài)試錯(cuò)。探索跨環(huán)境遷移的方法，可以讓智能體在不同任務(wù)場(chǎng)景下共享技能。這可能涉及視覺(jué)語(yǔ)言模型（VLM）與知識(shí)圖譜的結(jié)合，使技能能夠以更高層次的抽象方式存儲(chǔ)和調(diào)用。此外，融合記憶機(jī)制也是一個(gè)可能的方向。當(dāng)前智能體在每個(gè)任務(wù)環(huán)境中都是從零開(kāi)始學(xué)習(xí)，如果能夠引入長(zhǎng)期記憶，使得它可以依賴(lài)過(guò)去的經(jīng)驗(yàn)來(lái)調(diào)整當(dāng)前行動(dòng)，可能會(huì)極大提升學(xué)習(xí)效率。

在多智能體協(xié)同方面，異步探索可能會(huì)導(dǎo)致技能庫(kù)的不一致問(wèn)題。多個(gè)智能體在不同環(huán)境下發(fā)現(xiàn)并優(yōu)化技能，但這些技能如何協(xié)調(diào)更新，避免沖突或冗余？未來(lái)可以考慮去中心化協(xié)調(diào)策略，例如基于信任機(jī)制的技能共享模型，或者采用版本控制技術(shù)，使得智能體可以根據(jù)任務(wù)需求選擇最適合的技能版本。

此外在大規(guī)模智能體部署時(shí)，如何保證智能體在不同任務(wù)環(huán)境中自主優(yōu)化，并保持共享技能庫(kù)的合理性？這可能涉及動(dòng)態(tài)權(quán)重分配，讓智能體能夠優(yōu)先學(xué)習(xí)那些被其他智能體驗(yàn)證過(guò)有效的技能，而不是盲目嘗試新技能。

自底向上智能體設(shè)計(jì)雖然仍處于早期階段，但它展示了智能體從執(zhí)行者向探索者轉(zhuǎn)變的可能性。這不僅推動(dòng)了人工智能的發(fā)展，也讓我們開(kāi)始重新思考智能體如何真正具備學(xué)習(xí)和進(jìn)化能力。隨著計(jì)算資源的優(yōu)化、新技術(shù)的融合以及跨環(huán)境遷移的突破，我們可能會(huì)看到越來(lái)越多的智能體具備真正的適應(yīng)性，從游戲世界走向現(xiàn)實(shí)世界，最終成為自主智能系統(tǒng)的一部分。（END）

參考資料：???https://arxiv.org/pdf/2505.17673??

本文轉(zhuǎn)載自??獨(dú)角噬元獸??，作者：FlerkenS