剛剛，AI顛覆物理模擬：一句話精準仿真，學術圈半壁江山聯(lián)手耗時24個月研究成果
AI視頻生成這就過時了嗎？
剛剛，最先進的生成式物理引擎Genesis發(fā)布，一句話就可以生成完整精確的模擬物理世界。
一滴水滴落到一個啤酒瓶上，然后沿著瓶子表面慢慢滑落。
圖片
生成結果可不僅是一個視頻，其中還包含物體運動的各種參數(shù)。
圖片
接下來可以分為三個視角，同時追蹤模擬水滴的運動……
圖片
對于人物動作，也可以遵循提示詞精確模擬。
一個手里拿著棍子的微型悟空在桌子表面沖刺3秒鐘，然后跳到空中，并在著陸時向下擺動右臂。
攝像機從他的面部特寫開始，然后穩(wěn)步跟隨角色，同時逐漸縮小。
圖片
當猴子跳到空中時，在跳躍的最高點，動作會暫停幾秒鐘……攝像機圍繞角色旋轉 360 度，然后緩慢上升，然后動作繼續(xù)。
圖片
這是一項涉及20多個組織，為期24個月的大規(guī)模合作研究：
學術界，有清華、北大、港大、CMU、馬里蘭、哥倫比亞、斯坦福、MIT……說是學術圈半壁江山都參與了也不為過。
產(chǎn)業(yè)界，也有英偉達、太極圖形，以及MIT-IBM Watson AI Lab這樣的聯(lián)合實驗室助陣。
圖片
OpenAI在2月初次演示Sora時，曾稱它是“世界的模擬器”。
相比之下，Genesis不僅物理模擬更精確，還同時有更多能力：
- 它是一個從頭開始重建的通用物理引擎，能夠模擬各種材料和物理現(xiàn)象。
- 它是一個輕量級、超快速、Python化和用戶友好的機器人仿真平臺。
- 它是一個強大而快速的照片級寫實渲染系統(tǒng)。
- 它是一個生成式數(shù)據(jù)引擎，可將用戶提示的自然語言描述轉換為各種數(shù)據(jù)模式。
一句話總結：Genesis是一個全面的物理模擬平臺，專為通用機器人、具身AI和物理AI應用而設計。
共同一作、CMU博士生周銜詳細介紹了Genesis的各種能力，迅速引起業(yè)界轟動。
圖片
其中大家格外關注的一點是生成速度。
它提供的模擬速度比現(xiàn)實世界快約430000倍，并且只需26秒即可在單個RTX4090上訓練能轉移到真實機器人的運動策略。
圖片
據(jù)周銜介紹，Genesis的物理引擎用純Python代碼開發(fā)，同時比現(xiàn)有的GPU加速堆棧（如英偉達Isaac Gym和開源的MJX）快10-80倍。
同時，速度的提高不會影響仿真精度。
圖片
目前，團隊正在開源底層物理引擎和模擬平臺，對生成式框架的訪問將在不久的將來逐步推出。
不得不說，從一句話生成視頻到一句話生成物理世界，2024年的進展實在是太快了。
生成4D物理世界
Genesis由從頭開始的通用物理引擎提供支持，將各種物理求解器及其耦合集成到統(tǒng)一的框架中。該核心物理引擎通過上層運行的生成Agent框架進一步增強，旨在為機器人及其他領域?qū)崿F(xiàn)完全自動化的數(shù)據(jù)生成，包括以下模態(tài)：
- 物理準確且空間一致的視頻
- 攝像機運動和參數(shù)
- 人類和動物角色的動作
- 機器人操作和運動策略，可部署到現(xiàn)實世界
- 完全交互式 3D 場景
- 開放世界鉸接式物體生成
- 語音音頻、面部動作和表情
角色運動
關于角色運動，除了開頭展示的猴子，作者還一口氣放出了三個不同風格角色的運動場景。
一位日本武士正在表演拳擊。
一名羅馬士兵像僵尸一樣向前走。
一名中國風的戰(zhàn)士表演江南Style舞蹈。
圖片
機器人策略
除了角色的運動，Genesis還可以自主提出機器人任務、設計環(huán)境、編寫獎勵函數(shù)，并最終自動生成機器人策略。
移動式franka機械臂將地板上的所有物品都扔進籃子里。
圖片
同時支持Sim2Real，把在模擬環(huán)境訓練好的策略轉移到真實硬件機器人中。
一個宇樹H1-2人形機器人向前走。
圖片
四足機器狗雙重后空翻
圖片
很可惜還有一個人形機器人單腳跳躍只有模擬演示，因為團隊的機器人壞掉了……
宇樹H1人形機器人執(zhí)行單腳跳躍。
圖片
另外除了機器人，無人機編隊也可以模擬，并呈現(xiàn)出正確的數(shù)量關系。
由24（4x6）架無人機組成的機隊一起從地面起飛并一起進行翻轉。
圖片
3D & 全互動場景生成
一個帶有客廳（包括用餐空間）、洗手間、書房和臥室的家居室內(nèi)場景。
互動實體俄羅斯方塊游戲。
圖片
開放世界鉸接式物體
生成開放世界鉸接式物體的mesh資產(chǎn)，質(zhì)量超越了人工注釋，更多詳細信息將隨之后的論文一起公開。
圖片
軟體機器人
不只是各種剛性物體，Genesis針對軟性的機器人也能夠?qū)崿F(xiàn)逼真的模擬。
蠕蟲。
圖片
柔軟的抓手操縱盒子并拿起筆帽。
圖片
面部動畫和語音
Genesis還能夠處理面部動作和表情的生成：
圖片
同時還能向其中添加語音，并在面部表情不斷變化的同時，保持口型與說話內(nèi)容的匹配：
文本“Genesis是一個為通用機器人/嵌入式人工智能/物理人工智能應用而設計的物理平臺。”對應的面部運動和語音，表情從中性過渡到憤怒，再到開心。
剛剛，AI顛覆物理模擬：一句話精準仿真，學術圈半壁江山聯(lián)手耗時24個月研究成果
觀看更多轉載,剛剛，AI顛覆物理模擬：一句話精準仿真，學術圈半壁江山聯(lián)手耗時24個月研究成果量子位已關注分享點贊在看已同步到看一看寫下你的評論 視頻詳情
代碼已開源，pip install
目前Genesis代碼已開源，可以直接pip install genesis-world安裝。
開源代碼發(fā)布僅幾個小時，也迅速在GitHub上攬獲1.6k star。
圖片
當前版本具體特性如下
- 可在不同的系統(tǒng)（Linux、MacOS、Windows）和不同的計算后端（CPU、Nvidia GPU、AMD GPU、Apple Metal）上原生運行。
- 統(tǒng)一的仿真框架中集成了各種物理求解器：剛體、MPM、SPH、FEM、PBD、穩(wěn)定流體。
- 支持剛性和鉸接體、各種類型的液體、氣體現(xiàn)象、可變形對象、薄殼對象和顆粒材料的仿真（和耦合）
- 支持多種機器人：機械臂、腿式機器人、無人機、軟體機器人等，并廣泛支持加載不同的文件類型：MJCF （.xml）、URDF、.obj、.glb、.ply、.stl 等
- 支持基于原生光線追蹤的渲染
- Genesis旨在與可微仿真完全兼容。目前，MPM求解器和Tool求解器是可微的，并且很快將添加其他求解器的可微性（從剛體仿真開始）
- Genesis包含一個基于物理且可微分的觸覺傳感器仿真模塊，將很快集成到公開版本中（預計在 0.2.0 版本）
另外GitHub項目頁面介紹，Genesis的目標是構建一個完全透明、用戶友好的生態(tài)系統(tǒng)，來自機器人和計算機圖形學的貢獻者可以聚集在一起，共同創(chuàng)建一個高效、逼真（物理和視覺）的虛擬世界，用于機器人研究及其他領域。
此外，Genesis相關論文已進入提交階段，將于稍后公開。
目前更多細節(jié)可參考官方文檔。
GitHub：https://github.com/Genesis-Embodied-AI/Genesis
項目主頁：https://genesis-embodied-ai.github.io
