本文經(jīng)自動(dòng)駕駛之心公眾號(hào)授權(quán)轉(zhuǎn)載，轉(zhuǎn)載請(qǐng)聯(lián)系出處。

最近世界模型的火熱似乎能在機(jī)器人操作中起到一些至關(guān)重要的作用。而對(duì)于具身智能來說，現(xiàn)階段manipulation是最需要突破的點(diǎn)。特別是針對(duì)以下long horizon的任務(wù)，如何構(gòu)建機(jī)器人“小腦”，來實(shí)現(xiàn)各種復(fù)雜的操作要求，是當(dāng)下最需要解決的問題。

是否需要通過拆分skill為原子操作？

在把LLM應(yīng)用在機(jī)器人上時(shí)，比較常用的做法是把各種API提供在context里面，然后讓LLM根據(jù)任務(wù)prompt自動(dòng)編寫planning代碼，可以參考文章：

這種方法優(yōu)點(diǎn)是非常直觀，可以比較清晰地把握任務(wù)的拆解邏輯，比如移動(dòng)到A，抓起B(yǎng)，移動(dòng)到C，放下B。但是這種操作的前提是能夠把整個(gè)任務(wù)拆分成原子操作（移動(dòng)、抓取、放置等）。但是如果是一些比較復(fù)雜的任務(wù)，比如疊衣服這種任務(wù)，其是天然難以進(jìn)行任務(wù)拆分的，那這個(gè)時(shí)候應(yīng)該怎么辦？其實(shí)對(duì)于manipulation來說，我們大量面對(duì)的應(yīng)該是這種long horizon且難以進(jìn)行拆分的任務(wù)。

世界模型可以作為關(guān)鍵突破點(diǎn)

針對(duì)long horizon且難以進(jìn)行拆分的manipulation任務(wù)，比較好的處理方法是研究模仿學(xué)習(xí)，比如diffusion policy或者ACT這種，對(duì)整個(gè)操作trajectory進(jìn)行建模擬合。但是這種方法都會(huì)遇到一個(gè)問題，就是沒有辦法很好的處理累積誤差——而這個(gè)問題的本質(zhì)就是缺乏一套有效地反饋機(jī)制。

還是以疊衣服為例，人在疊衣服的時(shí)候，其實(shí)會(huì)根據(jù)視覺獲取的衣服變化，不斷地調(diào)整操作策略，最終將衣服疊到想要的樣子。那這個(gè)里面其實(shí)有一個(gè)比較隱含但是非常重要的點(diǎn)：人大概知道什么樣的操作，會(huì)導(dǎo)致衣物發(fā)生什么樣的變化。那么進(jìn)一步，就是人其實(shí)具備一個(gè)關(guān)于衣物變形的模型，能夠大概知道什么樣的輸入，會(huì)導(dǎo)致狀態(tài)（衣物擺放）的變化（視覺層面就是像素級(jí)別），更加具體的可以表示為：

SORA其實(shí)給了一劑強(qiáng)心針，就是只要數(shù)據(jù)夠多，我能用transformer+diffusion layer，硬train一個(gè)可以理解并預(yù)測變化的模型f。假設(shè)我們已經(jīng)有了一個(gè)非常強(qiáng)的預(yù)測衣物隨操作變化的模型f，那這個(gè)時(shí)候疊衣服就可以通過像素級(jí)別的衣物狀態(tài)反饋，通過Model Predictive Control的思路，構(gòu)建一個(gè)視覺伺服（Visual Servo）的策略，將衣服疊到我們想要的狀態(tài)。這一點(diǎn)其實(shí)在LeCun最近的一些“暴論”上也得到了驗(yàn)證：

如何構(gòu)建面向機(jī)器人操作的世界模型