跑酷是一項(xiàng)極限運(yùn)動(dòng)，對(duì)機(jī)器人特別是四足機(jī)器狗來說，更是一項(xiàng)巨大的挑戰(zhàn)，需要在復(fù)雜的環(huán)境中快速克服各種障礙。一些研究嘗試使用參考動(dòng)物數(shù)據(jù)或復(fù)雜的獎(jiǎng)勵(lì)，但這些方法生成的「跑酷」技能要么多樣但盲目，要么基于視覺但特定于場(chǎng)景。然而，自主跑酷需要機(jī)器人學(xué)習(xí)基于視覺且多樣化的通用技能，以感知各種場(chǎng)景并迅速做出反應(yīng)。

最近，一個(gè)機(jī)器狗跑酷的視頻火了，視頻中的機(jī)器狗在多種場(chǎng)景中迅速克服了各種障礙。例如，從鐵板下方的縫隙穿過，爬上木箱，再跳到另一個(gè)木箱上，一連串動(dòng)作行云流水：

這串動(dòng)作說明機(jī)器狗掌握了貼地爬行、攀爬和跳躍三個(gè)基本技能：

它還有個(gè)技能：傾斜擠過窄縫：

如果機(jī)器狗未能克服障礙，它會(huì)多試幾次：

該機(jī)器狗是基于一種為低成本機(jī)器人研發(fā)的「跑酷」技能學(xué)習(xí)框架。這個(gè)框架是由來自上海期智研究院、斯坦福大學(xué)、上?？萍即髮W(xué)、CMU 和清華大學(xué)的研究者聯(lián)合提出的，研究論文已經(jīng)入選 CoRL 2023（Oral）。研究項(xiàng)目已開源。

論文地址：https://arxiv.org/abs/2309.05665

項(xiàng)目地址：https://github.com/ZiwenZhuang/parkour

方法簡(jiǎn)介

該研究推出了一種新的開源系統(tǒng)，用于學(xué)習(xí)基于視覺的端到端跑酷策略，以使用簡(jiǎn)單的獎(jiǎng)勵(lì)來學(xué)習(xí)多種跑酷技能，而無需任何參考運(yùn)動(dòng)數(shù)據(jù)。

具體來說，該研究提出了一種強(qiáng)化學(xué)習(xí)方法，旨在讓機(jī)器人掌握攀爬高障礙、跳過大間隙、在低障礙下爬行、擠過狹小縫隙和跑步，并將這些技能蒸餾成基于單一視覺的跑酷策略，并以自我為中心的（egocentric）深度相機(jī)將其遷移到四足機(jī)器人上。

為了成功在低成本機(jī)器人上部署，該研究提出的跑酷策略僅使用機(jī)載計(jì)算（Nvidia Jetson）、機(jī)載深度攝像頭（Intel Realsense）和機(jī)載電源來部署，不使用動(dòng)作捕捉、激光雷達(dá)、多個(gè)深度攝像頭和大量計(jì)算。

為了訓(xùn)練跑酷策略，該研究共進(jìn)行了如下三個(gè)階段的工作：

第一階段：具有 soft 動(dòng)態(tài)約束（dynamics constraint）的強(qiáng)化學(xué)習(xí)預(yù)訓(xùn)練。該研究使用自動(dòng)課程讓機(jī)器人學(xué)習(xí)穿越障礙物，鼓勵(lì)機(jī)器人逐漸學(xué)會(huì)克服障礙。

第二階段：具有 hard 動(dòng)態(tài)約束的強(qiáng)化學(xué)習(xí)微調(diào)。該研究在這個(gè)階段強(qiáng)制執(zhí)行所有動(dòng)態(tài)約束，并用現(xiàn)實(shí)動(dòng)態(tài)（realistic dynamics）微調(diào)機(jī)器人在預(yù)訓(xùn)練階段學(xué)到的行為。

第三階段：蒸餾。在學(xué)習(xí)了每個(gè)單獨(dú)的跑酷技能后，該研究使用 DAgger 將它們蒸餾成一個(gè)基于視覺的跑酷策略（由 RNN 參數(shù)化），該策略可以僅使用機(jī)載感知和計(jì)算部署到腿式機(jī)器人上。

實(shí)驗(yàn)及結(jié)果

在訓(xùn)練中，該研究為每種技能設(shè)置了相應(yīng)的障礙物尺寸，如下表 1 所示：

該研究進(jìn)行了大量的模擬和現(xiàn)實(shí)實(shí)驗(yàn)，結(jié)果表明，跑酷策略使低成本四足機(jī)器人能夠自主選擇和執(zhí)行適當(dāng)?shù)呐芸峒寄?，僅使用機(jī)載計(jì)算、機(jī)載視覺傳感和機(jī)載電源即可穿越開放世界中具有挑戰(zhàn)性的環(huán)境，包括爬高 0.40m（1.53x 機(jī)器人高度）的障礙物，跳過 0.60m（1.5x 機(jī)器人長(zhǎng)度）的大間隙，在 0.2m（0.76x 機(jī)器人高度）的低障礙物下爬行，通過傾斜擠過 0.28m 的細(xì)縫（小于機(jī)器人寬度），并且可以一直跑步前行。

此外，該研究還將所提方法和幾種基線方法進(jìn)行了比較，并在模擬環(huán)境中進(jìn)行了消融實(shí)驗(yàn)，結(jié)果如下表 2 所示：

感興趣的讀者可以閱讀論文原文，了解更多研究?jī)?nèi)容。