Meta用頭顯整新活了！

這不，就在最新被SIGGRAPH 2023頂會(huì)收錄的研究里，研究人員展示：

僅憑Quest傳感器和周圍物體環(huán)境的交互，就可以捕捉一個(gè)人的全身運(yùn)動(dòng)！

即使是和復(fù)雜環(huán)境進(jìn)行交互也不在話下。

輸入的時(shí)候還是這樣?jì)饍旱?，只有三個(gè)坐標(biāo)架（沒有攝像頭）：

加上虛擬角色后，胳膊腿的動(dòng)作都有了（綠點(diǎn)是環(huán)境高度）：

看到腿部的動(dòng)作效果，網(wǎng)友直接裂開：

這腿部的估計(jì)把我驚呆了！

還沒完！在沒有任何關(guān)于下半身信息的情況下，它還可以踩箱子，跨過障礙物，精準(zhǔn)跟蹤人體動(dòng)作。

通過物理模擬，無需任何后期處理，就能夠生成效果不錯(cuò)的互動(dòng)場景：

一個(gè)傳感器也能行！去掉手柄后，雖然手的動(dòng)作是隨機(jī)的，但走起路來也還是有模有樣：

網(wǎng)友看完后滿臉不可思議：

有沒有考慮與Metahuman系統(tǒng)結(jié)合，這樣用戶就可以使用簡單的設(shè)備在家中創(chuàng)作出包含身體和面部表情完整的數(shù)字人動(dòng)畫了！

目前，現(xiàn)有的大多數(shù)運(yùn)動(dòng)跟蹤方法除了腳與地面的接觸外，都盡量避免了與環(huán)境的交互。

那么，這項(xiàng)研究是怎樣利用環(huán)境交互進(jìn)行運(yùn)動(dòng)跟蹤的呢？

用包含環(huán)境交互的數(shù)據(jù)來訓(xùn)練

我們?nèi)粘Ｉ钪信c環(huán)境進(jìn)行交互是不可避免的。

由首爾大學(xué)（SNU）和Meta Reality Labs Research的研究人員共同完成的這項(xiàng)工作，通過強(qiáng)化學(xué)習(xí)展示了如果將傳感器與物理模擬和環(huán)境觀測相結(jié)合，即使在高度受限制的環(huán)境中，也能復(fù)現(xiàn)逼真的全身動(dòng)作姿態(tài)。

要做到這一點(diǎn)，首先需要考慮三種方法，包括：

合成具有交互的動(dòng)作、從稀疏傳感器輸入進(jìn)行運(yùn)動(dòng)學(xué)跟蹤以及基于物理的運(yùn)動(dòng)追蹤。

本文研究人員使用的策略只需要頭顯和手柄的姿勢(shì)作為輸入，沒有關(guān)于下半身的信息，并且沒有借助人力來穩(wěn)定虛擬角色。

該研究中物理模擬可以自動(dòng)執(zhí)行跟蹤動(dòng)作姿態(tài)所需的各種約束，使其能夠?qū)崿F(xiàn)高質(zhì)量的交互動(dòng)作，而不會(huì)出現(xiàn)常見的穿透或接觸滑動(dòng)等問題。

并且使用深度強(qiáng)化學(xué)習(xí)（Deep RL）學(xué)習(xí)控制策略，用減小模擬的虛擬角色和用戶輸入之間的差異來使誤差最小化。

如上圖所示，虛擬的仿真角色具有32個(gè)自由度(degrees of freedom)和18個(gè)關(guān)節(jié)，并由關(guān)節(jié)力矩驅(qū)動(dòng)，環(huán)境物體也用一些基本幾何形狀進(jìn)行了仿真復(fù)制。

真人在與環(huán)境物體之間發(fā)生接觸時(shí)，具體時(shí)間和位置將會(huì)被標(biāo)記出來，被用作監(jiān)督信息。

這樣將場景觀察結(jié)果納入策略中，就可以利用環(huán)境進(jìn)行運(yùn)動(dòng)跟蹤。

比如說，坐在椅子上會(huì)產(chǎn)生椅子的反作用力，從而可以知道要將腿部抬起；當(dāng)踩在放在地面上的盒子時(shí)，也會(huì)有盒子的反作用力；還可以通過接觸后的反作用力來操縱物體。

有意地與環(huán)境產(chǎn)生接觸力，有利于跟蹤。但另一方面，如果接觸會(huì)干擾追蹤，控制策略也可以避免與環(huán)境的接觸。

比如在虛擬仿真環(huán)境中放置了虛擬盒子?？刂撇呗钥梢詫W(xué)會(huì)通過高度圖（綠點(diǎn)）觀察周圍的場景，并在跟蹤人的傳感器數(shù)據(jù)時(shí)抬高腿以避開障礙物。

當(dāng)然要達(dá)到這種效果，還需要注意三個(gè)關(guān)鍵點(diǎn)：適當(dāng)?shù)沫h(huán)境觀察表示、訓(xùn)練中的接觸獎(jiǎng)勵(lì)（不僅僅包括腳部，還包括其他身體部位），以及訓(xùn)練過程中對(duì)象位置的隨機(jī)變化。

研究人員注意到，在沒有接觸獎(jiǎng)勵(lì)的情況下，成功率會(huì)明顯降低。在沒有場景隨機(jī)化的情況下，性能也會(huì)顯著下降。

圖片

坐下，起不來

雖然在大多數(shù)情況下，這項(xiàng)研究所展示的動(dòng)作跟蹤效果很好，但也有跟蹤失敗的情況：

對(duì)于從地板上起身這樣的任務(wù)，由于沒有使用任何人為力量，該控制策略似乎很難學(xué)好這種需要仔細(xì)協(xié)調(diào)接觸的行為。

并且，虛擬角色有時(shí)會(huì)失去平衡，一旦摔倒中斷，很可能無法繼續(xù)爬起來跟蹤。

還有一點(diǎn)不得不提，當(dāng)前的系統(tǒng)需要為每種交互類型訓(xùn)練單獨(dú)的策略。

研究人員表示：

理想情況是能夠?qū)W習(xí)一個(gè)涵蓋更廣泛動(dòng)作庫的單一跟蹤器。這可能需要更復(fù)雜的神經(jīng)網(wǎng)絡(luò)模型，如專家混合模型，或更長時(shí)間的訓(xùn)練和更大規(guī)模的數(shù)據(jù)集。

另一個(gè)有前景的方向是將我們的系統(tǒng)擴(kuò)展到包括動(dòng)態(tài)移動(dòng)物體的未知場景。在線系統(tǒng)識(shí)別可以作為系統(tǒng)的一部分進(jìn)行結(jié)合。