僅在 7500 條軌跡數(shù)據(jù)上進行訓(xùn)練，能夠在 38 個任務(wù)中展示 12 種多樣的操作技能，不僅限于拾取 / 推動，還包括關(guān)節(jié)對象操縱和物體重新定位，并能將這些技能推廣應(yīng)用于數(shù)百個不同的未知情境（未知物體、未知任務(wù)，甚至完全未知的廚房環(huán)境），這樣的機器人夠不夠酷？

幾十年來，創(chuàng)造一個能夠在不同環(huán)境中操縱任意物體的機器人一直是一個遙不可及的目標(biāo)。一部分原因是，缺乏多樣化的機器人數(shù)據(jù)集，無法訓(xùn)練這樣的智能體，同時也缺乏能夠生成此類數(shù)據(jù)集的通用智能體。

為了突破這一困境，來自 CMU、Meta AI 的作者歷時兩年開發(fā)了一個通用的 RoboAgent。他們將重點放在開發(fā)一種高效的范例上，能夠在實際數(shù)據(jù)有限的情況下訓(xùn)練一個能夠獲得多種技能的通用智能體，并將這些技能推廣應(yīng)用于多樣的未知情境。

RoboAgent 由以下模塊化構(gòu)成 ：

• RoboPen - 一個采用通用硬件構(gòu)建的分布式機器人基礎(chǔ)設(shè)施，能夠長期不間斷運行；
• RoboHive - 一個統(tǒng)一的框架，用于在模擬和真實世界操作中進行機器人學(xué)習(xí)；
• RoboSet - 一個高質(zhì)量的數(shù)據(jù)集，代表了各種場景中使用日常物品的多種技能；
• MT-ACT - 一種高效的語言條件多任務(wù)離線模仿學(xué)習(xí)框架，通過在現(xiàn)有機器人經(jīng)驗的基礎(chǔ)上創(chuàng)建多樣的語義增強集合，從而擴大了離線數(shù)據(jù)集，并采用了一種新穎的策略架構(gòu)和高效的動作表示方法，在有限的數(shù)據(jù)預(yù)算下恢復(fù)出性能良好的策略。

RoboSet：多技能、多任務(wù)、多模態(tài)數(shù)據(jù)集

構(gòu)建一個能夠在許多不同情境下推廣的機器人智能體，首先需要一個具有廣泛覆蓋范圍的數(shù)據(jù)集。鑒于擴大規(guī)模的努力通常會有所幫助（例如，RT-1 展示了約 130,000 條機器人軌跡的結(jié)果），因此需要在數(shù)據(jù)集有限的情況下理解學(xué)習(xí)系統(tǒng)的效率和泛化原則，低數(shù)據(jù)情境往往會導(dǎo)致過擬合。因此，作者的主要目標(biāo)是開發(fā)一種強大的范例，可以在低數(shù)據(jù)情境下學(xué)習(xí)可推廣的通用策略，同時避免過擬合問題。

機器人學(xué)習(xí)中的技能與數(shù)據(jù)全景。

用于訓(xùn)練 RoboAgent 的數(shù)據(jù)集 RoboSet（MT-ACT）僅包括 7,500 條軌跡（比 RT-1 的數(shù)據(jù)少 18 倍）。該數(shù)據(jù)集提前收集并保持凍結(jié)狀態(tài)。該數(shù)據(jù)集由在多個任務(wù)和場景中使用商品機器人硬件（Franka-Emika 機器人配備 Robotiq 夾具）進行人類遙操作收集的高質(zhì)量軌跡組成。RoboSet（MT-ACT）在幾個不同的情境下稀疏地涵蓋了 12 種獨特技能。數(shù)據(jù)通過將日常廚房活動（如泡茶、烘焙）分為不同的子任務(wù)來收集，每個子任務(wù)代表一個獨特的技能。數(shù)據(jù)集包括常見的拾取 - 放置技能，還包括接觸豐富的技能，如擦拭、蓋蓋子，以及涉及關(guān)節(jié)物體的技能。

MT-ACT：多任務(wù)動作分塊 Transformer

RoboAgent 基于兩個關(guān)鍵洞察在低數(shù)據(jù)情境下學(xué)習(xí)通用策略。它利用基礎(chǔ)模型的世界先驗知識以避免模式崩潰，并采用了一種新穎的高效策略表示，能夠攝取高度多模態(tài)的數(shù)據(jù)。

1、語義增強：RoboAgent 通過對 RoboSet（MT-ACT）進行語義增強，將來自現(xiàn)有基礎(chǔ)模型的世界先驗知識注入其中。由此產(chǎn)生的數(shù)據(jù)集將機器人的經(jīng)驗與世界先驗知識相結(jié)合，而無需額外的人力 / 機器人成本。使用 SAM 對目標(biāo)物體進行分割，并在形狀、顏色、紋理變化方面對其進行語義增強。

2、高效策略表示：由此產(chǎn)生的數(shù)據(jù)集是嚴(yán)重多模態(tài)的，包含豐富多樣的技能、任務(wù)和情景。將動作分塊方法適應(yīng)于多任務(wù)設(shè)置，開發(fā)了 MT-ACT 一種新穎的高效策略表示，能夠在低數(shù)據(jù)量情境中攝取高度多模態(tài)的數(shù)據(jù)集，同時避免過擬合問題。

實驗結(jié)果

RoboAgent 比現(xiàn)有方法更具樣本效率

下圖比較了作者提出的 MT-ACT 策略表示與幾種模仿學(xué)習(xí)架構(gòu)。作者僅使用了包括物體姿態(tài)變化和部分光照變化的環(huán)境變化。與之前的研究相似，作者將此歸于 L1 泛化。從 RoboAgent 的結(jié)果，可以清楚地看到，使用動作分塊來建模子軌跡明顯優(yōu)于所有基準(zhǔn)方法，從而更證明了作者提出的策略表示在樣本效率學(xué)習(xí)方面的有效性。

RoboAgent 在多個泛化層面上表現(xiàn)出色

上圖展示了作者在不同泛化層次上測試方法的結(jié)果。并且可視化了泛化級別，L1 表示物體姿態(tài)變化，L2 表示多樣的桌面背景和干擾因素，L3 表示新穎的技能 - 物體組合。接下來，作者展示了每種方法在這些泛化層次上的表現(xiàn)。在嚴(yán)格的評估研究中，MT-ACT 比其他方法中表現(xiàn)顯著優(yōu)異，特別是在更困難的泛化層次（L3）上。

RoboAgent 具有高度的可擴展性

作者評估了在不斷增加的語義增強級別下 RoboAgent 的表現(xiàn)。并且在一個活動（5 項技能）上進行了評估。下圖顯示，隨著數(shù)據(jù)的增加（即每幀更多的增強），在所有泛化級別上性能顯著提升。重要的是，對于更難的任務(wù)（L3 泛化）來說，性能提升要大得多。

RoboAgent 能夠在多樣的活動中展示其技能