別光只看Figure 02了，國產(chǎn)機(jī)器人最新成果曝光，大秀肌肉！

就在北京亦莊，竟有這么一家人形機(jī)器人“健身房”。

這里的機(jī)器人率先實(shí)現(xiàn)在跑步機(jī)上訓(xùn)練，一小時能跑6km的那種：

而這只是熱身，跑完還要爬樓梯：

到了室外，機(jī)器人專用道也安排上了，30度高溫下不能停：

圖片

時不時還要來點(diǎn)草坪、斜坡等復(fù)雜地形上難度：

它就是今年四月份在國內(nèi)首發(fā)的純電驅(qū)全尺寸人形機(jī)器人天工，由北京具身智能機(jī)器人創(chuàng)新中心研發(fā)。

剛問世那會兒，天工主打的還是擬人奔跑，短短幾個月，本事又長了不少。

除了上面所展示的在跑步機(jī)上奔跑、戶外復(fù)雜地形行走，天工現(xiàn)在還加持了大模型，可中英文對話，還能聽從人類指令抓取物品。

最近，2024世界機(jī)器人大會就要舉辦了，量子位提前打聽到，整合“不只”這些能力，進(jìn)化版“天工”將在大會上亮相。

而且到時候天工會換“馬甲”，裝上手，還會升級大關(guān)節(jié)。

關(guān)于進(jìn)化版天工的能力，我們和其運(yùn)動控制負(fù)責(zé)人郭宜劼聊了聊。

全身42個自由度，大模型加持

升級后的天工功能參數(shù)一覽如下：

和之前相比如下表，身高163cm，體重由原來的43kg增加到了56kg。

全身自由度增加到了42個，相比之前單只手臂自由度由3個增加到7個，頸部也增加了3個自由度。

△初代天工功能參數(shù)

此前天工“沒有手”，這次也裝上了。單只手重達(dá)600g，具有6個自由度，觸覺傳感器精度在0.3N以內(nèi)，單指的抓握力大于1kg。

而且天工還配備了四個全場景雙目結(jié)構(gòu)光3D相機(jī)、高精度六維力傳感器，可實(shí)現(xiàn)360度環(huán)境感知。

通過對環(huán)境的感知，天工能適應(yīng)復(fù)雜地形，在草地、沙地、丘陵、碎石里移動，應(yīng)對30cm的地形差也不是問題。

奔跑起來穩(wěn)定性也提升了，速度可達(dá)6km/h。

除此外，天工的另一大升級是搭載了大模型，具備了多模態(tài)操作能力。

現(xiàn)在能開口說話和人類交互，支持中英文。

還能聽從人類指令抓取物品：

而這些只是其中的一部分，世界機(jī)器人大會上還會有更多展示和驚喜。

天工首秀那會兒，主打擬人奔跑單項(xiàng)能力。從目前的進(jìn)化版來看，結(jié)合了感知交互，可以說，天工已經(jīng)初步形成了具身智能體形態(tài)。

研究具身智能規(guī)劃決策和任務(wù)執(zhí)行，也正是天工背后團(tuán)隊(duì)目前的關(guān)注重點(diǎn)。

打造具身智能體

以具身智能為基礎(chǔ)，目前在技術(shù)實(shí)現(xiàn)上，研究團(tuán)隊(duì)重點(diǎn)提升了天工的視覺感知能力。

之前天工行走是“盲視”狀態(tài)，需要用腳掌對地面進(jìn)行試探，而現(xiàn)在基于視覺感知，面對較大地形差，天工可以通過提前預(yù)測做出抬高腿等動作來應(yīng)對。

具體方法上，團(tuán)隊(duì)基于強(qiáng)化學(xué)習(xí)，自研了運(yùn)動技能學(xué)習(xí)方法——基于狀態(tài)記憶的預(yù)測型強(qiáng)化模仿學(xué)習(xí)。

此前量子位也有介紹，該方法融合了傳統(tǒng)方法平穩(wěn)性高的優(yōu)點(diǎn)，以及強(qiáng)化學(xué)習(xí)泛化性強(qiáng)、不依賴環(huán)境的優(yōu)點(diǎn)。

既解決了強(qiáng)化學(xué)習(xí)帶來的定位精度差的問題，又解決了模型預(yù)測控制方法當(dāng)中對于非結(jié)構(gòu)化環(huán)境適應(yīng)性差的問題。

天工運(yùn)動控制負(fù)責(zé)人郭宜劼也向量子位透露，之前團(tuán)隊(duì)在訓(xùn)練時發(fā)現(xiàn)，一些網(wǎng)絡(luò)在實(shí)際運(yùn)行過程中可能會很容易受傳感器漂移的干擾，有時會表現(xiàn)出姿態(tài)的不穩(wěn)定等情況，由此提出了這種方法。

初代天工發(fā)布后，團(tuán)隊(duì)在接下來的幾個月的訓(xùn)練中，為天工加入了更多的歷史狀態(tài)記憶，使其能夠?qū)Ξ?dāng)前的自身狀態(tài)和環(huán)境地形進(jìn)行估計(jì)，從而有更好的泛化效果。

圖片

郭宜劼還表示，目前具身智能要解決的是“Action”任務(wù)規(guī)劃執(zhí)行這方面的問題。

無論從任務(wù)種類還是復(fù)雜度上來說，讓它能夠覆蓋人類日常工作生活中大部分的任務(wù)。它能干的活種類變多，大腦再去配合起來就能夠?qū)崿F(xiàn)更復(fù)雜、更長線的任務(wù)。

圖片

對于實(shí)現(xiàn)復(fù)雜任務(wù)規(guī)劃，他分享了幾條技術(shù)路線：

像是特斯拉機(jī)器人，主要采用的是收集數(shù)據(jù)，然后用數(shù)據(jù)進(jìn)行監(jiān)督學(xué)習(xí)，針對比較單一固定的場景訓(xùn)練機(jī)器人自動執(zhí)行。這種方法雖收效比較快，但泛化能力差一些。

還有一種是在仿真環(huán)境中進(jìn)行強(qiáng)化學(xué)習(xí)訓(xùn)練，主要依賴的是在一個環(huán)境中進(jìn)行不斷地試錯，自我學(xué)習(xí)。這種方法遇到的主要問題是，怎樣從仿真環(huán)境遷移到真實(shí)的物理場景中。從感知層面到和具體的物理交互，仿真和真實(shí)場景都有很大的差別。

另外一種方法是直接用大模型輸出一些任務(wù)點(diǎn)，然后用傳統(tǒng)的運(yùn)動規(guī)劃去執(zhí)行這些任務(wù)。

而天工研發(fā)團(tuán)隊(duì)的方案是將不同的方法融合，下一步要打造出一個元技能庫：

現(xiàn)在這個階段我覺得是要擴(kuò)大機(jī)器人的技能庫……包括這幾種方法在內(nèi)，每一種方法都可以用來解決不同的任務(wù)場景。所以說技能庫里每種技能可能是使用不同的方式來實(shí)現(xiàn)的。

解決國內(nèi)機(jī)器人“共性”問題

再來說說天工背后公司，量子位此前也有介紹過。

北京具身智能機(jī)器人創(chuàng)新中心（下稱創(chuàng)新中心），原名北京人形機(jī)器人創(chuàng)新中心，去年11月成立，由小米機(jī)器人、優(yōu)必選、京城機(jī)電、亦莊機(jī)器人等聯(lián)合組建。

他們瞄準(zhǔn)的是解決具身智能機(jī)器人的關(guān)鍵共性問題，避免國內(nèi)機(jī)器人行業(yè)重復(fù)簡單造輪子的過程。

創(chuàng)新中心聚集了一批頂尖科學(xué)家和工程師，還牽頭成立了創(chuàng)新中心專家委員會和北京人形機(jī)器人產(chǎn)業(yè)聯(lián)盟。

創(chuàng)新中心專家委員會由中國科學(xué)院院士喬紅擔(dān)任主任，通用研究院院長朱松純、智源研究院理事長黃鐵軍、信通院總工程師魏然擔(dān)任副主任。

今年四月份，創(chuàng)新中心推出了“天工”通用機(jī)器人母平臺，即具身智能硬件開源平臺。

“天工”平臺可實(shí)現(xiàn)靈活擴(kuò)展軟、硬件等功能模塊，提供了一系列開放接口，科研機(jī)構(gòu)及機(jī)器人相關(guān)企業(yè)可基于“天工”母平臺軟硬件功能進(jìn)行二次開發(fā)。

當(dāng)時他們就預(yù)告了將著眼于依靠大模型驅(qū)動，探索通用具身智能平臺。而現(xiàn)在多能具身智能體母平臺“開物”，也逐漸浮出水面，正緊鑼密鼓研發(fā)中。

“開物”平臺著眼于具身智能大模型及框架，聚焦多模態(tài)的關(guān)鍵法、具身智能仿真應(yīng)用建設(shè)及工具鏈整套體系建設(shè)。

圍繞“開物”，團(tuán)隊(duì)正在打造大規(guī)模具身智能數(shù)據(jù)集，用來支撐超70億參數(shù)視覺語言多模態(tài)大模型訓(xùn)練調(diào)優(yōu)，實(shí)現(xiàn)機(jī)器人中文互動、開放問答、場景視覺理解、具身操作等能力。

計(jì)劃是，在2025年底前發(fā)布200萬條高質(zhì)量數(shù)據(jù)。

話說回來，最近人形機(jī)器人領(lǐng)域有不少新進(jìn)展傳出。

優(yōu)必選透露人形機(jī)器人已在極氪工廠打工；特斯拉官圖顯示Optimus已進(jìn)廠挑揀電池；OpenAI加持的機(jī)器人Figure 02，進(jìn)駐寶馬打工……

雖然“天工”和它們不是一個賽道，主要是解決具身智能的共性問題，但……也沒能逃過搬磚的命運(yùn)。

據(jù)了解，它正初步在一些場景中進(jìn)行數(shù)據(jù)采集試訓(xùn)，比如重復(fù)性比較高、枯燥乏味的搬運(yùn)分揀物品，在危險(xiǎn)場景如礦井、工地進(jìn)行巡檢、搜救……

2024世界機(jī)器人大會馬上將于8月21日在北京經(jīng)濟(jì)技術(shù)開發(fā)區(qū)開幕，期待進(jìn)化版“天工”的家人們可以碼住了，聽說創(chuàng)新中心會有一個精彩的展位，可以看到“天工”機(jī)器人家族的集體亮相，還會辦一個分論壇~

One More Thing

為啥要讓機(jī)器人在跑步機(jī)上跑？大伙兒猜猜看（doge）。

圖片

答：除了對平衡性要求更高外，跑步機(jī)速度可控，能夠比較準(zhǔn)確客觀測試；機(jī)器人跑步實(shí)驗(yàn)需要占用比較大的場地，跑步機(jī)省地方啊。