一覺醒來，宇樹帶著最新開源模型來了！

這次開源的是一個世界模型-動作架構，名叫UnifoLM-WMA-0。它的核心之處在于擁有一個世界模型能夠理解機器人和環(huán)境相互作用時的物理規(guī)律。

咱先瞧瞧真機部署后的表現(xiàn)。

玩堆積木，穩(wěn)穩(wěn)當當。重點是，右上角小窗口呈現(xiàn)出世界模型對后續(xù)動作視頻的預測，能發(fā)現(xiàn)和實際操作情形十分吻合。

兩只機械臂搭檔干活也可以：

像收納文具這類稍精細的活兒，都能輕松拿捏：

將相機放入包裝盒，世界模型的預測同樣和實際操作幾乎無差：

官方稱，UnifoLM-WMA-0屬于UnifoLM（Unitree機器人統(tǒng)一大模型）系列成果，是團隊專為通用機器人學習量身打造的，能適配多種機器人本體。

目前UnifoLM-WMA-0訓練代碼、推理代碼、模型Checkpoints通通開源，GitHub迅速攬獲100+Star。

網(wǎng)友看后紛紛點贊。

如何訓練的？

官方介紹了模型的訓練策略，具體流程和設計思路可以拆解成這幾步來看。

首先，團隊先拿Open-X數(shù)據(jù)集對視頻生成模型做了針對性微調，核心目的就是讓模型原本的生成能力適配機器人的實際作業(yè)場景。

至于微調后模型在測試集上的實際生成效果，是這樣嬸兒的：

團隊進一步提出了基于世界模型打造的策略架構，即UnifoLM-WMA-0。

這個架構里的世界模型不是單一模式運行，而是支持兩種核心功能模式。

一種是決策模式，簡單說就是能提前預測機器人和環(huán)境進行物理交互時的關鍵信息，輔助策略更精準地生成下一步動作。

另一種是仿真模式，主要是根據(jù)機器人已經(jīng)做出的動作，生成高度還原真實場景的環(huán)境反饋，相當于給機器人模擬出一個逼真的交互環(huán)境。

針對這兩種模式，團隊在下游任務數(shù)據(jù)集上分別做了后訓練優(yōu)化。

以下是完整的系統(tǒng)架構及工作流程：

團隊用了宇樹科技公開的五個開源數(shù)據(jù)集，最終完成了全流程訓練。

從測試結果來看，這個模型要是當作仿真引擎來用，效果突出。

只要給它“當前場景的圖像”，再加上一定數(shù)量的“機器人未來要做的動作指令”，它就能實現(xiàn)可控的交互生成，生成的內容能精準匹配預期。

生成結果和原視頻的對比情況，大家可以通過下面的圖直觀感受：

面對長程任務的持續(xù)交互生成也能應對，生成結果和原視頻的對比如下：

GitHub：https://github.com/unitreerobotics/unifolm-world-model-action/tree/main

項目主頁：https://unigen-x.github.io/unifolm-world-model-action.github.io/