大規(guī)模數(shù)據(jù)集和標準化評估基準顯著促進了自然語言處理和計算機視覺領(lǐng)域的發(fā)展。然而，機器人領(lǐng)域在如何構(gòu)建大規(guī)模數(shù)據(jù)集并建立可靠的評估體系方面仍面臨巨大挑戰(zhàn)。

一方面，采集真實世界的機器人數(shù)據(jù)需要消耗大量資源（如時間、硬件成本），且效率低下；另一方面，在現(xiàn)實場景中測試機器人性能面臨復(fù)雜的環(huán)境配置，難以控制變量并標準化。

雖然合成數(shù)據(jù)和仿真模擬被視為潛在解決方案，但目前仍存在數(shù)據(jù)質(zhì)量不足、多樣性有限，缺乏統(tǒng)一的評估標準等問題。

目前，機器人仿真領(lǐng)域還處于相對碎片化的狀態(tài) —— 不同的仿真器標準不一、接口割裂，極大限制了研究集成與社區(qū)協(xié)作的效率。

為了應(yīng)對這些挑戰(zhàn)，一個致力于跨越隔閡、統(tǒng)一標準的全新平臺應(yīng)運而生。來自 UC 伯克利、北京大學(xué)等機構(gòu)的研究人員打造了 RoboVerse，一個統(tǒng)一的平臺、數(shù)據(jù)集與評測體系，專為可擴展、可泛化的機器人學(xué)習(xí)而生。

• 論文標題：RoboVerse: Towards a Unified Platform, Dataset and Benchmark for Scalable and Generalizable Robot Learning
• 論文主頁：https://roboverseorg.github.io/
• Github 鏈接: https://github.com/RoboVerseOrg/RoboVerse

團隊作者有我們熟悉的機器人和強化學(xué)習(xí)領(lǐng)域大牛、UC 伯克利教授 Pieter Abbeel，以及同樣來自 UC 伯克利的計算機視覺與機器人領(lǐng)域泰斗 Jitendra Malik 教授。

這項研究在 X 上引起了廣泛討論：「機器人需要 MMLU 基準時刻，打造真實高質(zhì)量的機器人仿真極端困難，RoboVerse 令人激動地提供了統(tǒng)一的仿真平臺，數(shù)據(jù)集和測試基準！」

「RoboVerse 解決了機器人仿真領(lǐng)域長期存在的分散化，發(fā)展緩慢的問題，使得構(gòu)建，測試，scale up 都變得更容易！」

RoboVerse 介紹

核心亮點一：MetaSim —— 讓仿真不再 “各說各話”

RoboVerse 團隊設(shè)計了 MetaSim：一個通用的配置系統(tǒng) (configuration system) 與標準接口 (standard interface)，能夠無縫對接目前主流的機器人仿真器。

這意味著，同一段代碼，可以在多個仿真平臺上運行！無論你用的是 MuJoCo、IsaacLab、Genesis 還是其他平臺，都可以在 MetaSim 的框架下順暢集成。整個社區(qū)的努力，從此可以更好地整合到統(tǒng)一的框架。

核心亮點二：統(tǒng)一的大規(guī)模數(shù)據(jù)集與標準評測體系

RoboVerse 還構(gòu)建了一個前所未有的大規(guī)模合成數(shù)據(jù)集，涵蓋多種任務(wù)類型，兼具數(shù)據(jù)質(zhì)量和多樣性，是目前最具代表性的大規(guī)模仿真數(shù)據(jù)集之一。

同時，平臺也提出了適用于模仿學(xué)習(xí)與強化學(xué)習(xí)的標準化評測體系，實現(xiàn)跨平臺、跨基準的可比性 —— 讓算法的性能得到更完整的展現(xiàn)。

核心亮點三：混合仿真 —— 真正 “強強聯(lián)合”，實現(xiàn)更高保真度

得益于統(tǒng)一的接口，RoboVerse 還解鎖了一個 “超能力”：混合仿真（Hybrid Simulation）。

基于 RoboVerse, 你可以用 MuJoCo 提供精準的物理引擎，同時搭配 Isaac Lab 實現(xiàn)高質(zhì)量的圖像渲染 —— 實現(xiàn)物理與視覺的強強組合。它不僅讓仿真看起來更像現(xiàn)實世界，更極大提升了真實環(huán)境中的遷移效果，讓機器人從仿真走進現(xiàn)實。

遙操作 (Teleoperation) 也不再復(fù)雜：RoboVerse 支持多種遙操作方式，并實現(xiàn)了高度的可拓展性與易用性。團隊專門開發(fā)了一款移動端 App，借助手機內(nèi)置傳感器，讓用戶可以直接通過手機進行機器人遠程控制，操作自然流暢、毫無障礙。

此外，RoboVerse 還支持多種其他遙操作設(shè)備，包括 Mocap 動作捕捉系統(tǒng)、VR 頭顯、鍵盤、手柄等，最大程度上兼顧了不同用戶的控制習(xí)慣與實驗需求。

Real2Sim 工具鏈：RoboVerse 支持從現(xiàn)實世界單目視頻中重建可用于仿真的 3D 資產(chǎn)，基于 3DGS（3D Gaussian Splatting）等先進技術(shù)，打通從現(xiàn)實到仿真的通道，大大降低了仿真環(huán)境構(gòu)建的門檻。

AI 自動生成任務(wù)（AI-Generate Tasks）：借助 MetaSim 的統(tǒng)一任務(wù)配置能力，RoboVerse 還探索了利用大語言模型（LLM）進行任務(wù)創(chuàng)作。它能夠自動組合數(shù)據(jù)集中的資產(chǎn)并生成全新任務(wù)，展現(xiàn)出 LLM 在機器人任務(wù)生成上的巨大潛力。

原生支持 GPU 并行訓(xùn)練：RoboVerse 對任務(wù)和基準系統(tǒng)進行了深度優(yōu)化，讓過去難以并行擴展的仿真任務(wù)，可以輕松遷移到 GPU 上進行大規(guī)模并行強化學(xué)習(xí)訓(xùn)練，大大提高了研究效率與實驗規(guī)模。

RoboVerse 平臺和數(shù)據(jù)集在模型訓(xùn)練上展現(xiàn)了強大的能力。使用 RoboVerse 提供的大規(guī)模高質(zhì)量數(shù)據(jù)集，訓(xùn)練 Vision-Language-Action (VLA) Model 可以無需真機樣本直接泛化到未見過的真機場景:

RoboVerse 跨模擬器的能力進一步支持了 Sim2Sim2Real 的 humanoid 部署。在 RoboVerse 平臺上訓(xùn)練的機器人，可以實現(xiàn)無縫仿真切換，支持訓(xùn)練，驗證，部署全流程。

注：以上部分視頻，GIF有倍速

在 AI 與機器人技術(shù)飛速發(fā)展的今天，RoboVerse 的出現(xiàn)，無疑為機器人社區(qū)帶來了更好的資源整合機會和更大的協(xié)同發(fā)展?jié)摿?。無論你是研究者、開發(fā)者，還是對機器人充滿好奇的探索者，都值得關(guān)注這個正在快速成型的 “機器人宇宙”！