Figure人形機器人首秀，靠神經(jīng)網(wǎng)絡(luò)疊衣服！

在沒有任何架構(gòu)改變、僅增加了數(shù)據(jù)的情況下，就讓原本在物流場景干活的它，輕松習(xí)得了新技能。

能夠看到，在人類拿給他衣服時，不僅有眼神交流，拿完后它點了點頭，比了個「點贊」的手勢。

好開心呀，又要開始干活了！

隨后，它的一雙靈巧手十分順滑地從雜亂的毛巾堆里挑出毛巾，然后進行折疊的操作——

用拇指描邊、拎角、理順褶皺再疊起來，中間還實時調(diào)整操作。

整個過程完全采用端到端的方式運行——從視覺和語言輸入到流暢、精確的運動控制。

不過有網(wǎng)友表示，咋擎天柱10個月前就會疊衣服了。

Figure人形機器人疊衣服

兩個月前，F(xiàn)igure機器人展現(xiàn)了他們在物流場景包裹分揀的能力，整個過程長達一小時。對于各種形態(tài)的包裹，它都能進行識別、抓取、翻轉(zhuǎn)然后運送到傳送帶上。其靈活性和速度接近人類水平。

現(xiàn)在同樣的模型、同樣的機器人卻在處理一個完全不同的任務(wù)——疊衣服/毛巾。

疊衣服對人來說可能平淡無奇，但對于人形機器人來說，這卻是最具挑戰(zhàn)性的靈巧操作任務(wù)之一。

相較于包裹來說，衣服更易變形，形狀也更加多樣，彎曲難以預(yù)測，而且容易起皺或纏結(jié)。

它沒有固定的幾何形狀需要記住，也沒有單一的“正確”抓握點。即使是手指輕微的滑動，也可能導(dǎo)致衣服起皺或掉落。

因此要完成這樣一個操作，不僅需要機器人仔細地觀察，還需要精細協(xié)調(diào)的手指控制，以追蹤邊緣、捏住角落、撫平表面，并實時調(diào)整。

完成此次任務(wù)，F(xiàn)igure展現(xiàn)了三項關(guān)鍵成果：

• 這是人形機器人的首次嘗試。這是首個擁有多指手的人形機器人，能夠利用端到端神經(jīng)網(wǎng)絡(luò)完全自主地折疊衣物。
• 架構(gòu)相同，僅數(shù)據(jù)變化。Helix架構(gòu)直接應(yīng)用于衣物/毛巾折疊，無需修改模型或訓(xùn)練超參數(shù)，唯一的變化是數(shù)據(jù)集。
• 自然的多模態(tài)交互。除了折疊之外，Helix 還學(xué)會了與人互動時保持眼神交流、引導(dǎo)視線以及運用手勢。

在完成這些功能時，并沒有明確的對象表征、完全采用端到端方式來運行。主要也是因為像毛巾這種高度可變性的物體，構(gòu)建這樣的表征既脆弱又不可靠。

接下來，他們計劃在現(xiàn)實世界數(shù)據(jù)規(guī)模擴大的基礎(chǔ)上，會在機器人靈活性、速度和泛化能力方向持續(xù)提升。

Helix架構(gòu)立大功

此次雖然沒有任何變化，但依舊起著關(guān)鍵作用的就是它的Helix架構(gòu)。

Helix是Figure與OpenAI分道揚鑣后的第一個成果，是一個適用于通用人形機器人控制的端到端“視覺-語言-動作”模型（VLA），能讓機器人像人一樣感知、理解和行動。

Helix由兩個系統(tǒng)組成，兩個系統(tǒng)經(jīng)過端到端訓(xùn)練，并且可以進行通信。

它通過單一統(tǒng)一模型即可在各種任務(wù)中實現(xiàn)強大性能，僅使用一組神經(jīng)網(wǎng)絡(luò)權(quán)重，就能在不同容器中精準(zhǔn)拾取放置物品、靈活操控抽屜與冰箱、協(xié)調(diào)多機器人完成靈巧交接，甚至能熟練操控數(shù)千種新物體。

而在上次包裹分揀的任務(wù)，研究團隊對Helix的視覺電機策略的架構(gòu)進行了針對性改進，引入了新的內(nèi)存和傳感模塊，能更好地幫助機器人感知環(huán)境變化。

具體來說，可以分為視覺記憶、狀態(tài)歷史、力反饋三個部分：

視覺記憶，Helix配備了一個新的內(nèi)存模塊，可以從系列視頻幀中組合特征，再形成短期視覺記憶。

期間，機器人還可以記住它已經(jīng)檢查過的包裝側(cè)面，避免重復(fù)檢查，提高成功率。

從本質(zhì)上講，視覺記憶為Helix提供了時間背景感，可以更有效地通過多次小型旋轉(zhuǎn)或視點調(diào)整來查找條形碼位置。

狀態(tài)歷史，該策略在固定持續(xù)時間內(nèi)的動作分塊中運行，也就是將連續(xù)動作序列分割為固定長度的小段進行規(guī)劃和執(zhí)行。

首先會觀察當(dāng)前狀態(tài)（手、軀干和頭部）并輸出一小段運動軌跡，反復(fù)重新觀察多次后，再將全部狀態(tài)合并輸入，以確保模塊間的連續(xù)性。

由于狀態(tài)歷史記錄保留了上下文，即使重新規(guī)劃或面對干擾，機器人仍能保持穩(wěn)健，例如當(dāng)包裹抓取失敗時，Helix會以最小的延遲迅速糾正運動，顯著縮短了處理時間。

力反饋，為了賦予Helix觸感，機器人施加在環(huán)境和目標(biāo)上的力，被反饋送至神經(jīng)網(wǎng)絡(luò)狀態(tài)輸入中，以幫助機器人動態(tài)調(diào)整運動過程，例如當(dāng)它檢測到與傳送帶接觸時，會暫停向下繼續(xù)運動。

通過一個閉合回路，Helix可以實現(xiàn)更精準(zhǔn)的控制，提高運動的成功率和一致性，也更能適應(yīng)不同形態(tài)重量的物流包裹。

One More Thing

不過話說回來，疊衣服這件事兒確實也不稀奇。

像幾個月前就get了這項任務(wù)的擎天柱。

前幾天WRC上，也有像疊衣服、抓娃娃的機器人。

誒不過，前不久還是Figure機器人，學(xué)會了幫人洗衣服。

洗衣服、疊衣服，現(xiàn)在就差晾衣服，機器人就可以完成一整套動作的閉環(huán)了。

接下來，你還期待機器人能干什么家務(wù)呢？