英偉達讓機器人「做夢學習」，靠夢境實現(xiàn)真·從0泛化
「仿生人會夢見電子羊嗎？」這是科幻界一個聞名遐邇的問題。
現(xiàn)在英偉達給出答案：Yes！而且還可以從中學習新技能。
如下面各種絲滑操作，都沒有真實世界數(shù)據(jù)作為訓(xùn)練支撐。
僅憑文本指令，機器人就完成相應(yīng)任務(wù)。
這是NVIDIA GEAR Lab最新推出的DreamGen項目。
它所說的“夢境中學習”，是巧妙利用AI視頻世界模型生成神經(jīng)軌跡，僅需少量現(xiàn)實視頻，就能讓機器人學會執(zhí)行22種新任務(wù)。
在真實機器人測試上，復(fù)雜任務(wù)的成功率更是從21%顯著提升至45.5%，并首次實現(xiàn)真正意義上的從0開始的泛化。
英偉達掌門人老黃最近也在Computex 2025演講上將其作為GR00T-Dreams的一部分對外正式進行宣布。
接下來就DreamGen構(gòu)造我們一一拆解。
在夢境中學習
傳統(tǒng)機器人雖已展現(xiàn)出執(zhí)行復(fù)雜現(xiàn)實任務(wù)的巨大潛力，但嚴重依賴人工收集的大規(guī)模遙操作數(shù)據(jù)，成本高且耗時長。
純粹的計算機仿真合成數(shù)據(jù)，也由于模擬環(huán)境與真實物理世界差距大，機器人所學會的技能難以直接應(yīng)用到現(xiàn)實。
于是研究團隊提出要不試試讓機器人在夢境中學習？
這個想法也并非空穴來風，早在2016年MIT的一項研究就證實，嬰兒大腦會通過睡眠期間的神經(jīng)活動進行自發(fā)學習。
由此誕生的DreamGen，核心思想就是利用成熟的視頻世界模型 （如Sora、Veo），對現(xiàn)實視頻進行虛擬合成，創(chuàng)建大規(guī)模逼真訓(xùn)練數(shù)據(jù)。
新范式主要遵循四步走流程：
1、微調(diào)模型
通過目標機器人的遠程操作軌跡，捕捉其運動學與動力學特征，微調(diào)視頻世界模型。
2、虛擬數(shù)據(jù)生成
給定初始幀與語言指令后，生成描述預(yù)期行為的海量機器人視頻序列，既包含微調(diào)后的已知行為，也包括未知場景中的新行為。
當然在這一步也要過濾掉那些不聽從指令的噩夢。
3、虛擬動作提取
利用潛在動作模型或逆動力學模型 （IDM）解析偽動作序列，形成神經(jīng)軌跡。
4、策略訓(xùn)練
使用生成的視頻-動作序列對（即神經(jīng)軌跡）訓(xùn)練下游視覺運動策略。
通過DreamGen，團隊實現(xiàn)僅憑單個環(huán)境中的單一拾取任務(wù)的遙操作數(shù)據(jù)，就能在10個新環(huán)境中生成22個新動作的“夢境”或神經(jīng)軌跡，例如傾倒、錘擊、折疊、熨燙衣物、舀取M&M‘s豆等，并訓(xùn)練機器人“零鏡頭”下執(zhí)行這些任務(wù)。
此外它還可以增強不同機器人系統(tǒng)（如Franka與SO-100）以及不同策略架構(gòu)（如Diffusion Policy、GR00T N1）在接觸密集型任務(wù)中的表現(xiàn)，真正實現(xiàn)了從0到1的零樣本行為泛化和零樣本環(huán)境泛化。
實驗結(jié)果表明，利用單一動作數(shù)據(jù)學習新動作的成功率從11.2%升至43.2%，在單環(huán)境訓(xùn)練下，全新環(huán)境中的成功率也從0%達到了28.5% （傳統(tǒng)方法幾乎無法完成）。
以RoboCasa為基準的仿真驗證中，神經(jīng)軌跡規(guī)模達到人類演示數(shù)據(jù)的333倍，策略性能隨軌跡數(shù)量呈對數(shù)線性提升。
在Fourier GR1、Franka Emika和SO-100機器人等真實平臺上復(fù)雜任務(wù)的成功率也提升顯著，均證實了DreamGen的有效性。
另外團隊還開發(fā)了首個機器人視頻生成評估基準DreamGen Bench，通過指令遵循度（IF）和物理合理性（PA）兩項指標，評估模型生成數(shù)據(jù)的質(zhì)量。
英偉達的GR00T-Dreams藍圖
英偉達的野心還遠不止于此，DreamGen作為英偉達進軍物理AI的宏偉藍圖的一部分，將協(xié)助新工具GR00T-Dreams從單個圖像中生成大量合成運動數(shù)據(jù)，并通過壓縮動作令牌加速機器人行為學習。
這意味著GR00T-Dreams將會讓GR00T N1.5開發(fā)從3個月銳減至36小時，作為英偉達開放、通用、完全可定制的類人推理和技能基礎(chǔ)模型的首次更新，GR00T N1.5將部署在Jetson Thor上，預(yù)計于今年底推出。
老黃談到這一發(fā)展時表示：
從機器人的人工智能大腦，到用于實踐的模擬世界，再到用于訓(xùn)練基礎(chǔ)模型的人工智能超級計算機，NVIDIA為機器人技術(shù)發(fā)展的每個階段提供了基礎(chǔ)模塊。
也許正如網(wǎng)友所說，英偉達一直走在造夢的路上：
