隨著 GPT-4 等大型語言模型與機器人研究的結(jié)合愈發(fā)緊密，人工智能正在越來越多地走向現(xiàn)實世界，因此具身智能相關(guān)的研究也正受到越來越多的關(guān)注。在眾多研究項目中，谷歌的「RT」系列機器人始終走在前沿（參見《大模型正在重構(gòu)機器人，谷歌 Deepmind 這樣定義具身智能的未來》）。

谷歌 DeepMind 去年 7 月推出的 RT-2：全球第一個控制機器人的視覺 - 語言 - 動作（VLA）模型。只需要像對話一樣下達命令，它就能在一堆圖片中辨認出霉霉，并送給她一罐可樂。

如今，這個機器人又進化了。最新版的 RT 機器人名叫「RT-H」，它能通過將復雜任務(wù)分解成簡單的語言指令，再將這些指令轉(zhuǎn)化為機器人行動，來提高任務(wù)執(zhí)行的準確性和學習效率。舉例來說，給定一項任務(wù)，如「蓋上開心果罐的蓋子」和場景圖像，RT-H 會利用視覺語言模型（VLM）預測語言動作（motion），如「向前移動手臂」和「向右旋轉(zhuǎn)手臂」，然后根據(jù)這些語言動作，預測機器人的行動（action）。

這個行動層級（action hierarchy）對于提高機器人完成任務(wù)的準確性和學習效率非常有幫助，使得 RT-H 在一系列機器人任務(wù)中的表現(xiàn)都優(yōu)于 RT-2。

以下是論文的詳細信息。

論文概覽

• 論文標題：RT-H: Action Hierarchies Using Language
• 論文鏈接：https://arxiv.org/pdf/2403.01823.pdf
• 項目鏈接：https://rt-hierarchy.github.io/

語言是人類推理的引擎，它使我們能夠?qū)碗s概念分解為更簡單的組成部分，糾正我們的誤解，并在新環(huán)境中推廣概念。近年來，機器人也開始利用語言高效、組合式的結(jié)構(gòu)來分解高層次概念、提供語言修正或?qū)崿F(xiàn)在新環(huán)境下的泛化。

這些研究通常遵循一個共同的范式：面對一個用語言描述的高層任務(wù)（如「拿起可樂罐」），它們學習將觀察和語言中的任務(wù)描述映射到低層次機器人行動的策略，這需要通過大規(guī)模多任務(wù)數(shù)據(jù)集實現(xiàn)。語言在這些場景中的優(yōu)勢在于編碼類似任務(wù)之間的共享結(jié)構(gòu)（例如，「拿起可樂罐」與「拿起蘋果」），從而減少了學習從任務(wù)到行動映射所需的數(shù)據(jù)。然而，隨著任務(wù)變得更加多樣化，描述每個任務(wù)的語言也變得更加多樣（例如，「拿起可樂罐」與「倒一杯水」），這使得僅通過高層次語言學習不同任務(wù)之間的共享結(jié)構(gòu)變得更加困難。

為了學習多樣化的任務(wù)，研究者的目標是更準確地捕捉這些任務(wù)之間的相似性。

他們發(fā)現(xiàn)語言不僅可以描述高層次任務(wù)，還能細致說明完成任務(wù)的方法 —— 這種表示更細膩，更貼近具體動作。例如，「拿起可樂罐」這一任務(wù)可以分解為一系列更細節(jié)的步驟，即「語言動作（language motion）」：首先「手臂向前伸」，接著「抓緊罐子」，最后「手臂上舉」。研究者的核心洞見是，通過將語言動作作為連接高層次任務(wù)描述與底層次動作之間的中間層，可以利用它們來構(gòu)建一個通過語言動作形成的行動層級。

建立這種行動層級有幾大好處：

• 它使不同任務(wù)之間在語言動作層面上能夠更好地共享數(shù)據(jù)，使得語言動作的組合和在多任務(wù)數(shù)據(jù)集中的泛化性得到增強。例如，「倒一杯水」與「拿起可樂罐」雖在語義上有所不同，但在執(zhí)行到撿起物體之前，它們的語言動作完全一致。
• 語言動作不是簡單的固定原語，而是根據(jù)當前任務(wù)和場景的具體情況通過指令和視覺觀察來學習的。比如，「手臂向前伸」并沒具體說明移動的速度或方向，這取決于具體任務(wù)和觀察情況。學習到的語言動作的上下文依賴性和靈活性為我們提供了新的能力：當策略未能百分百成功時，允許人們對語言動作進行修正（見圖 1 中橙色區(qū)域）。進一步地，機器人甚至可以從這些人類的修正中學習。例如，在執(zhí)行「拿起可樂罐」的任務(wù)時，如果機器人提前關(guān)閉了夾爪，我們可以指導它「保持手臂前伸的姿勢更久一些」，這種在特定場景下的微調(diào)不僅易于人類指導，也更易于機器人學習。

鑒于語言動作存在以上優(yōu)勢，來自谷歌 DeepMind 的研究者設(shè)計了一個端到端的框架 ——RT-H（Robot Transformer with Action Hierarchies，即使用行動層級的機器人 Transformer），專注于學習這類行動層級。RT-H 通過分析觀察結(jié)果和高層次任務(wù)描述來預測當前的語言動作指令，從而在細節(jié)層面上理解如何執(zhí)行任務(wù)。接著，利用這些觀察、任務(wù)以及推斷出的語言動作，RT-H 為每一步驟預測相應(yīng)的行動，語言動作在此過程中提供額外的上下文，幫助更準確地預測具體行動（圖 1 紫色區(qū)域）。

此外，他們還開發(fā)了一種自動化方法，從機器人的本體感受中提取簡化的語言動作集，建立了包含超過 2500 個語言動作的豐富數(shù)據(jù)庫，無需手動標注。

RT-H 的模型架構(gòu)借鑒了 RT-2，后者是一個在互聯(lián)網(wǎng)規(guī)模的視覺與語言數(shù)據(jù)上共同訓練的大型視覺語言模型（VLM），旨在提升策略學習效果。RT-H 采用單一模型同時處理語言動作和行動查詢，充分利用廣泛的互聯(lián)網(wǎng)規(guī)模知識，為行動層級的各個層次提供支持。

在實驗中，研究者發(fā)現(xiàn)使用語言動作層級在處理多樣化的多任務(wù)數(shù)據(jù)集時能夠帶來顯著的改善，相比 RT-2 在一系列任務(wù)上的表現(xiàn)提高了 15%。他們還發(fā)現(xiàn)，對語言動作進行修正能夠在同樣的任務(wù)上達到接近完美的成功率，展示了學習到的語言動作的靈活性和情境適應(yīng)性。此外，通過對模型進行語言動作干預的微調(diào)，其表現(xiàn)超過了 SOTA 交互式模仿學習方法（如 IWR）50%。最終，他們證明了 RT-H 中的語言動作能夠更好地適應(yīng)場景和物體變化，相比于 RT-2 展現(xiàn)出了更優(yōu)的泛化性能。

RT-H 架構(gòu)詳解

為了有效地捕獲跨多任務(wù)數(shù)據(jù)集的共享結(jié)構(gòu)（不由高層次任務(wù)描述表征），RT-H 旨在學習顯式利用行動層級策略。

具體來說，研究團隊將中間語言動作預測層引入策略學習中。描述機器人細粒度行為的語言動作可以從多任務(wù)數(shù)據(jù)集中捕獲有用的信息，并可以產(chǎn)生高性能的策略。當學習到的策略難以執(zhí)行時，語言動作可以再次發(fā)揮作用：它們?yōu)榕c給定場景相關(guān)的在線人工修正提供了直觀的界面。經(jīng)過語言動作訓練的策略可以自然地遵循低水平的人工修正，并在給定修正數(shù)據(jù)的情況下成功完成任務(wù)。此外，該策略甚至可以根據(jù)語言修正數(shù)據(jù)進行訓練，并進一步提高其性能。

如圖 2 所示，RT-H 有兩個關(guān)鍵階段：首先根據(jù)任務(wù)描述和視覺觀察預測語言動作，然后根據(jù)預測的語言動作、具體任務(wù)、觀察結(jié)果推斷精確的行動。

RT-H 使用 VLM 主干網(wǎng)絡(luò)并遵循 RT-2 的訓練過程來進行實例化。與 RT-2 類似，RT-H 通過協(xié)同訓練利用了互聯(lián)網(wǎng)規(guī)模數(shù)據(jù)中自然語言和圖像處理方面的大量先驗知識。為了將這些先驗知識合并到行動層級的所有層次中，單個模型會同時學習語言動作和行動查詢。

實驗結(jié)果

為了全面評估 RT-H 的性能，研究團隊設(shè)置了四個關(guān)鍵的實驗問題：

• Q1（性能）：帶有語言的行動層級是否可以提高多任務(wù)數(shù)據(jù)集上的策略性能？
• Q2（情境性）：RT-H 學得的語言動作是否與任務(wù)和場景情境相關(guān)？
• Q3（糾正）：在語言動作修正上進行訓練比遠程（teleoperated）修正更好嗎？
• Q4（概括）：行動層級是否可以提高分布外設(shè)置的穩(wěn)健性？

數(shù)據(jù)集方面，該研究采用一個大型多任務(wù)數(shù)據(jù)集，其中包含 10 萬個具有隨機對象姿態(tài)和背景的演示樣本。該數(shù)據(jù)集結(jié)合了以下數(shù)據(jù)集：

• Kitchen：RT-1 和 RT-2 使用的數(shù)據(jù)集，由 70K 樣本中的 6 個語義任務(wù)類別組成。
• Diverse：一個由更復雜的任務(wù)組成的新數(shù)據(jù)集，具有超過 24 個語義任務(wù)類別，但只有 30K 樣本。

該研究將此組合數(shù)據(jù)集稱為 Diverse+Kitchen (D+K) 數(shù)據(jù)集，并使用自動化程序?qū)ζ溥M行語言動作標記。為了評估在完整 Diverse+Kitchen 數(shù)據(jù)集上訓練的 RT-H 的性能，該研究針對八項具體任務(wù)進行了評估，包括：

1）將碗直立放在柜臺上

2）打開開心果罐

3）關(guān)閉開心果罐

4）將碗移離谷物分配器

5）將碗放在谷物分配器下方

6）將燕麥片放入碗中

7）從籃子里拿勺子

8）從分配器中拉出餐巾

選擇這八個任務(wù)是因為它們需要復雜的動作序列和高精度。

下表給出了在 Diverse+Kitchen 數(shù)據(jù)集或 Kitchen 數(shù)據(jù)集上訓練時 RT-H、RT-H-Joint 和 RT-2 訓練檢查點的最小 MSE。RT-H 的 MSE 比 RT-2 低大約 20%，RTH-Joint 的 MSE 比 RT-2 低 5-10%，這表明行動層級有助于改進大型多任務(wù)數(shù)據(jù)集中的離線行動預測。RT-H (GT) 使用 ground truth MSE 指標，與端到端 MSE 的差距為 40%，這說明正確標記的語言動作對于預測行動具有很高的信息價值。

圖 4 展示了幾個從 RT-H 在線評估中獲取的上下文動作示例。可以看到，相同的語言動作通常會導致完成任務(wù)的行動發(fā)生微妙的變化，同時仍尊重更高級別的語言動作。

如圖 5 所示，研究團隊通過在線干預 RT-H 中的語言動作來展示 RT-H 的靈活性。

該研究還用比較實驗來分析修正的作用，結(jié)果如下圖 6 所示：

如圖 7 所示，RT-H 和 RT-H-Joint 對場景變化明顯更加穩(wěn)健：

實際上，看似不同的任務(wù)之間具備一些共享結(jié)構(gòu)，例如這些任務(wù)中每一個都需要一些拾取行為來開始任務(wù)，并且通過學習跨不同任務(wù)的語言動作的共享結(jié)構(gòu)，RT-H 可以完成拾取階段而無需任何修正。

即使當 RT-H 不再能夠泛化其語言動作預測時，語言動作修正通常也可以泛化，因此只需進行一些修正就可以成功完成任務(wù)。這表明語言動作在擴大新任務(wù)數(shù)據(jù)收集方面的潛力。

感興趣的讀者可以閱讀論文原文，了解更多研究內(nèi)容。