當(dāng)世界模型高度進化后，里面的「人」都在做些什么？

有人會進行街頭演說，吸引到了不少聽眾，小孩會和機器狗玩：

有人會當(dāng)街作案，警察前去抓捕，又有人會在大庭廣眾之下求婚：

本周五，來自馬薩諸塞大學(xué)阿默斯特分校（UMass Amherst）、約翰霍普金斯大學(xué)、卡耐基梅隆大學(xué)的研究者們提出了一個神奇的研究：虛擬社區(qū)（Virtual Community）。

虛擬社區(qū)將真實世界的地理空間數(shù)據(jù)與生成模型相結(jié)合，為多種不同類型的智能體創(chuàng)建了一個具有社會根基的交互式、可擴展開放世界場景。

• 論文：Virtual Community: An Open World for Humans, Robots, and Society 
• 論文鏈接：https://virtual-community-ai.github.io/paper.pdf
• 項目鏈接：https://virtual-community-ai.github.io/

該工作昨晚提交，立即吸引了一些 AI 圈大佬的關(guān)注，紐約大學(xué)助理教授謝賽寧表示，這對于智能體研究來說意義重大。

虛擬社區(qū)提供了一個統(tǒng)一的框架，用于模擬社區(qū)中人類和機器人豐富的社交和物理互動。它建立在通用物理引擎之上，并以現(xiàn)實世界的 3D 場景作為基礎(chǔ)。作者為人類智能體實現(xiàn)了一個虛擬角色模擬框架，而其中的機器人模擬則主要繼承自 Genesis。

虛擬社區(qū)通過在環(huán)境中填充配置機器人、人類角色配置文件和社會關(guān)系網(wǎng)絡(luò)的智能體（由 LLM 提供支持）來支持基于 3D 場景的智能體社區(qū)生成。

這一個個人物，都是有詳細背景資料和活動時間表的，他們也會按照這些設(shè)定行事。他們的社會關(guān)系以群組的形式構(gòu)建，每個群組包含一組智能體、文本描述和指定的群組活動場所，所以這些人物會被連接成一個有凝聚力的社群。

虛擬社區(qū)會基于真實世界地理空間數(shù)據(jù)生成場景及相應(yīng)的智能體。如下圖所示：場景生成組件（A）使用生成模型來增強紋理，并精煉粗糙的 3D 數(shù)據(jù)，同時精煉地理空間數(shù)據(jù)以簡化幾何結(jié)構(gòu)。它還利用生成方法創(chuàng)建交互式對象和精細的室內(nèi)場景。智能體生成組件（B）利用 LLM 基于場景描述生成智能體角色和社交關(guān)系網(wǎng)絡(luò)。（C）再基于 Genesis 引擎模擬開放世界場景中的虛擬角色社區(qū)和機器人。

令人感興趣的是，它可以模擬世界任何地方的 3D 場景，為智能體構(gòu)建出一個大規(guī)模社區(qū) —— 從紐約到倫敦、阿姆斯特丹、丹佛等等。

現(xiàn)有的 3D 地理空間數(shù)據(jù) API 在數(shù)量和多樣性方面提供了豐富的數(shù)據(jù)，但它們通常包含大量噪聲，并缺乏紋理和幾何形狀細節(jié)。為了彌補這一差距，作者提出了一種在線流程，對幾何和紋理進行全面的清理和增強。該流程包含四個步驟：網(wǎng)格簡化、紋理細化、對象放置和自動注釋。

作者使用此流程生成了 35 個全球不同城市的帶注釋場景：

虛擬社區(qū)其中還具有正常運行的交通系統(tǒng)，包括行人移動、車輛流動和公共交通運營。作者開發(fā)了基于 OSM 數(shù)據(jù)的自動化動態(tài)交通生成機制，能夠快速重建城市道路網(wǎng)絡(luò)并在全球范圍內(nèi)實現(xiàn)自主交通模擬。

作為一個幫助未來人與機器協(xié)作進行訓(xùn)練的平臺，機器人將成為虛擬社區(qū)不可或缺的一部分，它們無處不在并會其中的「人類」進行無縫互動。目前看到已經(jīng)導(dǎo)入的機器人就有宇樹的人形機器人、波士頓動力的機器狗，還有四軸無人機、谷歌機器人等。

利用虛擬社區(qū)所釋放的新功能，作者引入了兩項新的具身化多智能體任務(wù)：一項涉及多名人類智能體的競選任務(wù)，以及一項同時涉及機器人和人類智能體的社區(qū)助理任務(wù)。為了成功完成這些任務(wù)，智能體需要具備在社區(qū)環(huán)境中進行規(guī)劃的能力，以及與其他智能體互動的社交智能。

作為這兩項任務(wù)的基礎(chǔ)，如果沒有分配到特定任務(wù)，社區(qū)中的智能體會遵循默認(rèn)的日常計劃和慣例。在每輪游戲中，都會選擇多個智能體并為其分配一項任務(wù)。當(dāng)智能體被賦予任務(wù)時，它會暫停日常計劃，專注于完成社區(qū)中分配的社交任務(wù)。

在「競選」任務(wù)中，候選人智能體必須高效地規(guī)劃與社區(qū)內(nèi)的選民智能體建立聯(lián)系并進行說服。由于選民的性格和社會關(guān)系各不相同，一些選民最初可能傾向于某些候選人，這就要求每位候選人制定適應(yīng)性策略，以在整個選舉過程中影響和改變選民的意見。

結(jié)果如下圖所示，采用 GPT-4o 主干的候選人比采用 GPT-3.5-turbo 主干的候選人擁有更高的平均得票率和轉(zhuǎn)化率，這意味著它更有能力在大多數(shù)場景下改變選民的觀點。

社區(qū)助手任務(wù)的場景則是兩個異構(gòu)機器人在開放世界環(huán)境中合作協(xié)助人類。這些任務(wù)要求智能體進行合作規(guī)劃，以協(xié)助人類化身進行日?；顒?—— 搬運，即智能體陪同人們外出并幫助搬運物品；以及遞送，即智能體將物品從源位置（室內(nèi)或室外）運送到目的地。

實驗結(jié)果顯示，兩種基線方法在交付方面的表現(xiàn)均優(yōu)于攜帶，這反映了在動態(tài)開放世界中同時操控物體和跟隨人類的極高難度。

作者希望虛擬社區(qū)工作能夠幫助人們大規(guī)模進行未來的社會智能研究，包括：1）機器人如何智能地合作或競爭；2）人類如何發(fā)展社會關(guān)系和建立社區(qū)；3）智能機器人和人類如何在開放世界中共存。

以下為該研究的團隊成員：

更詳細的內(nèi)容，可參閱論文原文。