現(xiàn)實版「黑客帝國」來了！

剛剛，一個融合未來人機共生藍圖的虛擬平臺悄然上線，它或?qū)氐赘淖兾覀兝斫馊祟惡臀磥鞟I、機器人共生的方式！

這個平臺名為虛擬社區(qū)（Virtual Community），由通用物理引擎Genesis驅(qū)動，基于真實三維世界構(gòu)建，是一個開放給人類、機器人與整個社會的沉浸式實驗場。

背后的目標(biāo)，直指一個關(guān)鍵命題：在未來的真實世界中，人類和AI如何共存？

這個世界模擬器將顛覆你的想象——人類、機器人及其鮮活的社會形態(tài)，正在全球三維真實地理空間場景中，栩栩展開！

在這里，人類角色與機器人智能體可以在從倫敦到紐約、乃至更廣闊的開放世界里互動、成長、共同演進！

不久的將來，人類與機器人將共存于世。

「虛擬社區(qū)」項目亮點令人振奮，這是未來的一次提前預(yù)演——

1. 它是一個開源的多智能體物理模擬器，不僅能真實模擬人與機器人之間的互動，還覆蓋了室外城市街區(qū)、室內(nèi)復(fù)雜空間、甚至完整社區(qū)結(jié)構(gòu)。

2. 平臺中智能體角色豐富，外觀各異，為研究帶來極大多樣性。

3. 首次引入兩個前沿任務(wù)：

• 多智能體活動任務(wù)：衡量如何建立聯(lián)系、影響他人；
• 多智能體社區(qū)助手任務(wù)：測試機器人在協(xié)作推理與規(guī)劃中的實際能力。

來自馬薩諸塞大學(xué)阿默斯特分校、約翰霍普金斯大學(xué)和卡內(nèi)基梅隆大學(xué)的研究者共同探討了未來世界中，人、機器人以及整體社會是如何協(xié)作共生的。

論文地址：https://virtual-community-ai.github.io/paper.pdf

開源地址：https://github.com/UMass-Embodied-AGI/Virtual-Community

項目主頁：https://virtual-community-ai.github.io/

下面這張圖，揭開了「虛擬社區(qū)」背后真正的秘密武器——它的生成流程框架。

這個框架不僅重構(gòu)了現(xiàn)實世界的數(shù)字映射，更將AI與地理信息系統(tǒng)、生成模型和大語言模型（LLMs）無縫融合，打造出一個前所未有的社會智能實驗場。

該框架核心模塊有三個：

1. 場景生成組件：從真實地理信息數(shù)據(jù)出發(fā)，通過生成模型在線增強紋理、簡化幾何結(jié)構(gòu)，讓粗糙的3D數(shù)據(jù)煥然一新。更妙的是，它還能創(chuàng)造出交互式對象和高度還原的室內(nèi)細節(jié)。

2. 智能體生成組件：基于LLM，從場景描述中自動構(gòu)建出豐富的角色設(shè)定及其社會關(guān)系網(wǎng)絡(luò)，每一個智能體都不是「孤島」，而是社區(qū)關(guān)系鏈的一環(huán)。

3. Genesis引擎模擬：最終，這些生成的場景和角色被統(tǒng)一接入Genesis引擎，在開放世界中實現(xiàn)真實社區(qū)和機器人互動模擬。

一句話：這不是簡單的虛擬建模，而是一個由AI賦能、可不斷自我演化的「數(shù)字社會孵化器」。

未來的人機共居社會，或許就從這里悄然長出第一片綠芽。

Virtual Community虛擬社區(qū)

虛擬社區(qū)將地理空間數(shù)據(jù)與生成模型相結(jié)合，以創(chuàng)建具有社交基礎(chǔ)的智能體社區(qū)的交互式、可擴展的開放世界場景。

可擴展的仿真就緒場景

盡管現(xiàn)有3D地理空間數(shù)據(jù)API數(shù)量眾多、類型豐富，卻因噪聲太多、街道視覺質(zhì)量不足而難以直接用于具身AI模擬。

原因在于：原始數(shù)據(jù)中混雜著行人、車輛等臨時物體，還有不真實的地形起伏；而且這些場景大多由航拍圖像重建而成，缺乏從地面視角所需的紋理與幾何細節(jié)。

為解決這些痛點，研究團隊提出了一條全新的在線流水線，專為具身AI模擬打造。

該流程包括四大步驟——網(wǎng)格簡化、紋理優(yōu)化、對象放置與自動標(biāo)注，旨在徹底清理并增強原始數(shù)據(jù)，使其既真實又適配AI交互。

目前，團隊已通過這一流水線構(gòu)建了涵蓋全球多個城市的35個帶標(biāo)注高質(zhì)量場景。

這一次，真實世界的復(fù)雜性與AI模擬的嚴謹性，終于找到了理想的連接方式。

一個完全自動化的在線流程，利用真實世界地理空間數(shù)據(jù)和生成模型創(chuàng)建3D場景。

基于真實世界的地理空間場景，地理空間數(shù)據(jù)確保了戶外3D場景的多樣性和規(guī)模。

· 實現(xiàn)自動語義標(biāo)注，場景中自動標(biāo)注的位置和物體。

· 交互式室內(nèi)場景與物體根據(jù)位置標(biāo)注創(chuàng)建的室內(nèi)場景和物體。

智能體社區(qū)

研究團隊成功借助大語言模型，實現(xiàn)了基于場景的智能體角色與社交網(wǎng)絡(luò)自動生成系統(tǒng)。

只需輸入場景信息與角色外觀細節(jié)，LLM就能生成包含姓名、年齡、職業(yè)、個性與愛好的完整角色檔案，并自動構(gòu)建他們之間的社交群組。

每個群組都對應(yīng)特定活動場所，模擬真實社區(qū)互動，打造出一個有機社交生態(tài)。

更厲害的是，為確保生成角色的準確性，系統(tǒng)還引入了「關(guān)聯(lián)驗證器」機制，一旦發(fā)現(xiàn)地點引用有誤，LLM會根據(jù)反饋自動修復(fù)！

角色視覺形象也同樣不含糊：通過整合Mixamo的20款通用皮膚與AvatarSDK的高保真現(xiàn)實建模，系統(tǒng)已支持跨五大領(lǐng)域的62位名人形象生成，連真人照片都能轉(zhuǎn)為虛擬角色！

· 利用基礎(chǔ)模型和真實世界標(biāo)注生成社區(qū)，使用Genesis物理引擎進行模擬

· 智能體社區(qū)生成，由LLM驅(qū)動的個性化社交檔案

· 自動駕駛交通系統(tǒng)，行人流量、車流、公共交通系統(tǒng)

人機交互，虛擬社區(qū)依托Genesis實現(xiàn)了物理上逼真的機器人交互，還能實現(xiàn)機器人模擬與可視化接觸。

豐富的機器人智能體

除真實的仿真場景和智能體以外，還有豐富的機器人智能體。

· Bitcraze Crazyflie 2

· UniTree H1

· UniTree Go2

· Husky Robot

· Boston Dynamics Spot

· Google Robot

社交與物理交互

在這個數(shù)字世界，人與人、人與機器、機器與機器的社交同樣遵循真實物理世界規(guī)律。

有時，你會看到三三兩兩的人站在在街頭聊天。

或者，一起在廣場上跳舞。

人們可以在街上「遛」機器狗。

甚至還可以和機器人做互動。

場景化智能體社區(qū)模擬器支持輸入經(jīng)緯度創(chuàng)建對應(yīng)的多樣化世界，包括大規(guī)模3D環(huán)境和基于場景的智能體社區(qū)，比如：

· 佛羅倫薩

· 馬德里

· 丹佛

· 倫敦

·  紐約

·  阿姆斯特丹

基于真實世界的地理空間場景

以下空間場景完全基于真實世界構(gòu)建。

作者介紹

Virtual Community是首個基于真實三維世界構(gòu)建的開放給人類、機器人與整個社會的沉浸式實驗場。 

由UMass研究者基于通用物理引擎Genesis重磅打造，重新定義具身智能社會化研究。

作者希望虛擬社區(qū)能推動具身AI研究朝著具備處理現(xiàn)實世界復(fù)雜性并與人類社區(qū)共存的具身通用智能發(fā)展。

虛擬社區(qū)中提出的開放世界模擬框架為研究具身智能體的社會智能開辟了多個有意義但具有挑戰(zhàn)性的研究方向。

Qinhong Zhou（周沁泓）

周沁泓是麻省大學(xué)阿默斯特分校（UMass Amherst）的博士生，師從淦創(chuàng)教授。

他的研究方向是AI智能體與人類及其他智能體之間的對齊、合作與決策能力。研究領(lǐng)域涵蓋具身AI模擬、多智能體/模型協(xié)作、LLM對齊和知識蒸餾等。

目標(biāo)是使人工智能系統(tǒng)能夠在物理世界中與人類價值觀保持一致，促進人機之間以及各人工智能智能體之間的更有效協(xié)作。

Hongxin Zhang (張洪鑫)

張洪鑫是麻省大學(xué)阿默斯特分校計算機科學(xué)專業(yè)的二年級博士生，師從淦創(chuàng)教授。

目前正在從事AI方面的研究，嘗試通過構(gòu)建與人類相似的智能系統(tǒng)來加深對人本身的理解。

研究興趣在于具身智能，尤其是如何利用基礎(chǔ)模型構(gòu)建更優(yōu)秀的智能體，以增強它們的推理與規(guī)劃能力、社交互動能力，并使其更接近人類。

Chuang Gan（淦創(chuàng)）

淦創(chuàng)現(xiàn)任教于麻省大學(xué)阿默斯特分校，同時擔(dān)任MIT-IBM沃森人工智能實驗室的研究經(jīng)理。

此前，他曾在麻省理工學(xué)院從事博士后研究，合作導(dǎo)師為Antonio Torralba教授、Daniela Rus教授及Josh Tenenbaum教授。

他博士畢業(yè)于清華大學(xué)，師從姚期智院士，并榮獲博士畢業(yè)生最高榮譽。

他的研究方向為計算機視覺、人工智能、認知科學(xué)與機器人學(xué)的交叉領(lǐng)域，最終目標(biāo)是構(gòu)建能夠在物理世界中感知、推理與行動的類人自主智能體。

他的研究成果曾獲微軟學(xué)者獎，百度學(xué)者獎。