OpenAI大模型加持的機(jī)器人Figure 01，昨天火爆了全網(wǎng)。

而今天，真正「開源版」的擎天柱/Figure 01誕生了，而且背后團(tuán)隊(duì)還將成本打了下來(lái)。

成本只要3605.59美元！

它擁有一雙靈巧手，就比如泡茶，先是擰開瓶蓋，再拿茶鑷將茶葉挑進(jìn)杯中，并放回原位。

快看，它能一手拿著剪刀，一手拿著便利簽紙，執(zhí)行人類剪紙這一動(dòng)作。（不過(guò)剪斷的這個(gè)過(guò)程好難）

它還可以將膠帶紙，放到收納的紙盒中，一手拿膠帶擺放，一手將盒子推近。

而且不管這個(gè)物體是什么，它都能照樣完成。

與前段時(shí)間爆火的炒蝦機(jī)器人不同的是，「靈巧手」并非通過(guò)遠(yuǎn)程操控完成任務(wù)。

是因?yàn)椋瑧{借一副特制的手套，它可以通過(guò)各種傳感器捕捉到手部精確的運(yùn)動(dòng)數(shù)據(jù)。

這正是由Chen Wang、李飛飛和Karen Liu等人提出的「便攜式手部動(dòng)作捕捉系統(tǒng)」——DexCap。

論文地址：https://arxiv.org/abs/2403.07788

DexCap是一套基于SLAM、電磁場(chǎng)，以及對(duì)環(huán)境的3D觀察，便能實(shí)時(shí)追蹤手腕和手指運(yùn)動(dòng)的系統(tǒng)。

與傳統(tǒng)基于視覺動(dòng)捕技術(shù)不同，它不會(huì)因?yàn)橐暰€遮擋，而無(wú)法收集數(shù)據(jù)。

與此同時(shí)，他們還設(shè)計(jì)了全新的模仿算法DEXIL，才用了逆運(yùn)動(dòng)學(xué)和基于點(diǎn)云的模仿學(xué)習(xí)。

當(dāng)手部動(dòng)作數(shù)據(jù)收集完成，DexCap就會(huì)利用背包中的迷你PC，通過(guò)RGB-D相機(jī)重建3D場(chǎng)景。

然后將運(yùn)動(dòng)數(shù)據(jù)與之對(duì)齊，這樣，就可以得到非常精確的手部動(dòng)作模型，可用于進(jìn)一步的機(jī)器人訓(xùn)練。

值得一提的是，在對(duì)具體6項(xiàng)操作任務(wù)評(píng)估中，DexCap展現(xiàn)出卓越的完成能力。

而且，它還可以從野外動(dòng)捕數(shù)據(jù)中有效學(xué)習(xí)，為未來(lái)靈巧操作的數(shù)據(jù)收集方法提供了方法。

Jim Fan認(rèn)為DexCap是「低配版的Optimus」，關(guān)鍵只要3600美元，一般人也能買得起。

另外，他還特意強(qiáng)調(diào)，數(shù)據(jù)收集和機(jī)器人的執(zhí)行是分離的。

還有網(wǎng)友稱，「DexCap絕對(duì)震撼，我們正在進(jìn)入個(gè)人機(jī)器人與個(gè)人AI的下一階段」。

全新手部動(dòng)捕系統(tǒng)DexCap，不怕遮擋

DexCap系統(tǒng)核心設(shè)計(jì)，就在于前向后向設(shè)備的組合。

具體來(lái)說(shuō)，正面設(shè)計(jì)的胸部相機(jī)架上，配備了一個(gè)RGB-D激光雷達(dá)攝像頭和三個(gè)SLAM追蹤攝像頭。

背面的背包中，有一個(gè)迷你PC，以及電源為系統(tǒng)供電。大約可進(jìn)行40分鐘的數(shù)據(jù)收集。

此外，還需要一個(gè)動(dòng)捕手套，以便進(jìn)行手部動(dòng)作的捕捉。

追蹤攝像頭最初放置在胸前機(jī)架上，進(jìn)行校準(zhǔn)。

然后在具體數(shù)據(jù)收集過(guò)程中，將攝像頭從校準(zhǔn)架上取下，安裝到特制的手部支架上。

這樣，系統(tǒng)就可以持續(xù)追蹤手部的位置。

可以看到，網(wǎng)球被放進(jìn)框里，再倒出來(lái)，整個(gè)動(dòng)作都清晰可見。

機(jī)器人更多的訓(xùn)練數(shù)據(jù)，這不就來(lái)了么。

數(shù)據(jù)可視化：點(diǎn)云觀測(cè)中的3D手部運(yùn)捕數(shù)據(jù)

再來(lái)看數(shù)據(jù)采集吞吐量，DexCap可以實(shí)現(xiàn)與人類自然運(yùn)動(dòng)同水平的效果，而且是遠(yuǎn)程操作的3倍。

再看如下用固定的手勢(shì)握住杯子手柄的動(dòng)作。

VR頭顯使用了基于視覺的手部追蹤方法，卻因嚴(yán)重遮擋而無(wú)法準(zhǔn)確追蹤手部動(dòng)作。

顯然，DexCap無(wú)障礙收集了手與物體交互的數(shù)據(jù)。

從人類行為模仿學(xué)習(xí)

研究人員的目標(biāo)是利用DC記錄的人手動(dòng)作捕捉數(shù)據(jù)，來(lái)訓(xùn)練靈巧機(jī)器人策略，這個(gè)過(guò)程中會(huì)面臨3個(gè)問(wèn)題：

（1）如何將人手的運(yùn)動(dòng)重新定位到機(jī)器人手？

（2）什么算法可以學(xué)習(xí)靈巧的策略，而且要適應(yīng)雙手動(dòng)作的高維空間？

（3）研究直接從人類動(dòng)捕數(shù)據(jù)中學(xué)習(xí)的失敗案例以及潛在的解決方案。

為了應(yīng)對(duì)這些挑戰(zhàn)，研究人員引入了DexIL，一個(gè)使用人手動(dòng)作捕捉數(shù)據(jù)訓(xùn)練靈巧機(jī)器人的三步框架。

第一步，將DEXCAP數(shù)據(jù)重新定位到機(jī)器人實(shí)施例的動(dòng)作和觀察空間。

第二步，使用重新定位的數(shù)據(jù)訓(xùn)練基于點(diǎn)云的擴(kuò)散策略。

最后一步，可以采用人機(jī)交互來(lái)進(jìn)行校正，旨在解決策略執(zhí)行期間出現(xiàn)的意外行為。

動(dòng)作重定向：

LEAP手比人手大了約50%，這種尺寸差異使得很難將手指運(yùn)動(dòng)直接轉(zhuǎn)移到機(jī)器人硬件上。

為了解決這個(gè)問(wèn)題，研究人員使用指尖逆向運(yùn)動(dòng)學(xué)（IK）來(lái)計(jì)算16維關(guān)節(jié)位置，并使用動(dòng)捕手套跟蹤人體手指的運(yùn)動(dòng)，手套根據(jù)電磁場(chǎng)（EMF）測(cè)量手指相對(duì)于手掌的3D位置。

視覺差距：

觀察和狀態(tài)表示選擇對(duì)于訓(xùn)練機(jī)器人策略至關(guān)重要。為了進(jìn)一步彌合人手和機(jī)器人手之間的視覺差距，研究人員使用正向運(yùn)動(dòng)學(xué)生成機(jī)器人手的點(diǎn)云網(wǎng)格，并將其添加到點(diǎn)云觀察中。

使用相機(jī)參數(shù)將DCdata中LiDAR相機(jī)捕獲的RGB-D圖像轉(zhuǎn)換為點(diǎn)云。這種額外的轉(zhuǎn)換提供了兩個(gè)顯著的好處。

首先，由于DEXCAP允許人體軀干在數(shù)據(jù)采集過(guò)程中自然移動(dòng)，因此直接使用RGB-D輸入需要考慮移動(dòng)的相機(jī)幀。

而通過(guò)將點(diǎn)云觀測(cè)轉(zhuǎn)換為一致的世界坐標(biāo)系，可以隔離并消除軀干運(yùn)動(dòng)，從而實(shí)現(xiàn)穩(wěn)定的機(jī)器人觀察。

其次，點(diǎn)云提供了與機(jī)器人操作空間對(duì)齊的靈活性。由于在野外捕獲的一些運(yùn)動(dòng)可能超出了機(jī)器人的運(yùn)動(dòng)范圍，所以需要調(diào)整點(diǎn)云觀測(cè)和運(yùn)動(dòng)軌跡的位置來(lái)確保操作范圍的可行性。

觀察重定向：

為了簡(jiǎn)化在人和機(jī)器人之間切換相機(jī)系統(tǒng)的過(guò)程，相機(jī)機(jī)架的背面集成了一個(gè)快速釋放帶扣，可以在不到20秒的時(shí)間內(nèi)快速更換相機(jī)。

通過(guò)這種方式，保證機(jī)器人可以使用人類收集數(shù)據(jù)時(shí)的同一臺(tái)相機(jī)。

通過(guò)上述設(shè)計(jì)，DexIL可以直接從DCdata學(xué)習(xí)復(fù)雜的靈巧操作技能（比如拾取、放置、雙手協(xié)調(diào)等），而無(wú)需機(jī)器人數(shù)據(jù)。

30分鐘人類數(shù)據(jù)，機(jī)器人「學(xué)廢了」

根據(jù)上面的分析，首先通過(guò)RGB-D觀測(cè)構(gòu)建3D點(diǎn)云，并轉(zhuǎn)換到機(jī)器人的操作空間，將DexCap數(shù)據(jù)重定位到機(jī)器人實(shí)例中。

同時(shí)，手部動(dòng)作捕捉數(shù)據(jù)也要重定位到帶有指尖IK的機(jī)械臂。

基于這些數(shù)據(jù)，學(xué)習(xí)擴(kuò)散策略，將點(diǎn)云作為輸入，并輸出一系列未來(lái)目標(biāo)位置作為機(jī)器人動(dòng)作。

上圖展示了DC以3D形式捕捉詳細(xì)手部運(yùn)動(dòng)的能力，將人類動(dòng)作與所有視圖中的對(duì)象點(diǎn)云對(duì)齊。

黃色列表示重定位后的機(jī)器人手部動(dòng)作，我們可以看到它們與藍(lán)色列在同一3D空間中精確對(duì)齊。

上圖中，將DC與最先進(jìn)的基于視覺的手部姿態(tài)估計(jì)方法HaMeR進(jìn)行了比較，從相似的角度觀察它們的性能。

HaMeR在嚴(yán)重遮擋的情況下表現(xiàn)不佳，要么無(wú)法檢測(cè)到手，要么無(wú)法準(zhǔn)確估計(jì)指尖位置。相比之下，DC在這些條件下表現(xiàn)出良好的魯棒性。

結(jié)果演示：

下圖的撿球任務(wù)，只使用30分鐘的人類動(dòng)作捕捉數(shù)據(jù)來(lái)學(xué)習(xí)策略，無(wú)需任何遠(yuǎn)程操作。

雙手操作任務(wù)：

先收集雙手的人體動(dòng)捕數(shù)據(jù)，然后進(jìn)行完全自主的策略部署。

用DexCap進(jìn)行RLHF

DexCap系統(tǒng)在執(zhí)行任務(wù)時(shí)提供了兩種便捷的人在回路糾正，讓用戶能夠根據(jù)需要靈活調(diào)整機(jī)器人的動(dòng)作：

1. 殘差糾正模式：

系統(tǒng)會(huì)實(shí)時(shí)捕捉用戶手腕的微小位移變化，并將這些變化作為額外的動(dòng)作指令加入到機(jī)器人的動(dòng)作中，從而實(shí)現(xiàn)精細(xì)控制。這種模式可以實(shí)現(xiàn)最小的運(yùn)動(dòng)，但需要用戶進(jìn)行更精確地控制。

2. 遙控操作模式：

通過(guò)逆向運(yùn)動(dòng)學(xué)算法，用戶的手部動(dòng)作會(huì)被轉(zhuǎn)化為機(jī)器人末端執(zhí)行器的相應(yīng)動(dòng)作，適用于需要全面控制機(jī)器人的場(chǎng)景，但相對(duì)而言需要用戶付出更多的努力。用戶可以通過(guò)簡(jiǎn)單地踩下腳踏板來(lái)在這兩種模式之間自由切換。

最后，這些糾正動(dòng)作會(huì)被記錄并保存在一個(gè)新的數(shù)據(jù)集中，并與原始訓(xùn)練數(shù)據(jù)一起進(jìn)行均勻采樣，從而更好地調(diào)整機(jī)器人的行為策略。

微調(diào)后：泡茶

通過(guò)分析1小時(shí)人類動(dòng)捕數(shù)據(jù)并進(jìn)行30次人在回路糾正后學(xué)到的策略：

微調(diào)后：使用剪刀

通過(guò)分析1小時(shí)人類動(dòng)捕數(shù)據(jù)并進(jìn)行30次人在回路糾正后學(xué)到的策略：

硬件教程

地址：https://docs.google.com/document/d/1ANxSA_PctkqFf3xqAkyktgBgDWEbrFK7b1OnJe54ltw/edit#heading=h.t3oe3oo3ujny

CAD 模型清單 打印項(xiàng)目包括：

- 中心相機(jī)架和連接板

- 兩個(gè)手套相機(jī)支架（分別為左手和右手設(shè)計(jì)的鏡像版本）

- 兩個(gè)T265相機(jī)的后裝板（同樣需要左右鏡像）

相關(guān)的STL文件如下：

地址：https://drive.google.com/drive/folders/1pfUISMJTJU68g6HkjKkiJAOBtRBKKByx?usp=sharing

為了確保打印出的零件能夠順暢運(yùn)作，建議將滑槽部分的打印角度保持在與Z軸的傾斜角度在45度以內(nèi)。

作者介紹

Chen Wang

論文一作Chen Wang是斯坦福大學(xué)CS的一名博士生，導(dǎo)師是李飛飛教授和C. Karen Liu。

在加入斯坦福大學(xué)之前，他曾在Machine Vision and Intelligence Group工作，導(dǎo)師是Cewu Lu教授。