本文經(jīng)AI新媒體量子位（公眾號(hào)ID:QbitAI）授權(quán)轉(zhuǎn)載，轉(zhuǎn)載請(qǐng)聯(lián)系出處。

全身動(dòng)作捕捉，現(xiàn)在無(wú)需昂貴的動(dòng)捕設(shè)備，只要一個(gè)攝像頭就能輕松實(shí)現(xiàn)。

并且就在抖音上，人人都能上手體驗(yàn)。

上面這段虛擬數(shù)字形象跳舞的視頻采用了抖音直播伴侶功能背后的全身驅(qū)動(dòng)技術(shù)，主播僅需要單個(gè)普通攝像頭并開(kāi)始跳舞，就可以實(shí)時(shí)、精準(zhǔn)地驅(qū)動(dòng)虛擬形象。

相較于以往的輕量化動(dòng)作捕捉，這項(xiàng)來(lái)自字節(jié)跳動(dòng)智能創(chuàng)作團(tuán)隊(duì)的全身驅(qū)動(dòng)技術(shù)具有高真實(shí)性，可以體現(xiàn)空間的距離感和地面感。

并且具有更高的魯棒性，能夠在復(fù)雜的環(huán)境、穿戴等場(chǎng)景下實(shí)現(xiàn)良好的結(jié)果。

同時(shí)，還具備更高的還原性，人物的姿態(tài)、手勢(shì)和動(dòng)作的姿態(tài)、速度都能更加準(zhǔn)確地還原。

值得一提的是，普通的慣性動(dòng)捕手套在一定時(shí)間后就會(huì)產(chǎn)生漂移損耗，無(wú)法支持長(zhǎng)時(shí)間的直播，而全身驅(qū)動(dòng)技術(shù)則可以有效規(guī)避這一問(wèn)題，能夠更好地適應(yīng)直播場(chǎng)景。

據(jù)介紹，全身驅(qū)動(dòng)技術(shù)的技術(shù)方案包含了數(shù)據(jù)、估計(jì)、修正以及驅(qū)動(dòng)四個(gè)步驟，具體的實(shí)現(xiàn)方案如下：

△全身驅(qū)動(dòng)技術(shù)方案全流程

構(gòu)建高精度3D數(shù)據(jù)供應(yīng)鏈

技術(shù)團(tuán)隊(duì)使用了混合3D數(shù)據(jù)構(gòu)建方式，其來(lái)源包括自建多目工裝動(dòng)捕系統(tǒng)、2D數(shù)據(jù)、偽標(biāo)簽3D數(shù)據(jù)，基于此，團(tuán)隊(duì)構(gòu)建了包含800萬(wàn)以上高精3D標(biāo)簽的數(shù)據(jù)集。

為了獲取接近業(yè)務(wù)場(chǎng)景的高精度3D人體數(shù)據(jù)，團(tuán)隊(duì)搭建了一套完整的基于多目攝像頭的無(wú)標(biāo)記物視覺(jué)動(dòng)捕系統(tǒng)，并基于自研的人體重建算法，實(shí)現(xiàn)了對(duì)人體的位置，姿態(tài)和體型的準(zhǔn)確估計(jì)。

盡管在多數(shù)情況下，自動(dòng)化的重建算法能夠給出精度滿足要求的重建結(jié)果，但對(duì)于一些遮擋嚴(yán)重，運(yùn)動(dòng)過(guò)快導(dǎo)致模糊的樣本，仍需要通過(guò)人工篩選修正的方式進(jìn)行數(shù)據(jù)清洗。通過(guò)搭建3D數(shù)據(jù)篩選標(biāo)注系統(tǒng)，可以實(shí)現(xiàn)高效的半自動(dòng)化數(shù)據(jù)生產(chǎn)，并通過(guò)將人工審核后的樣本用于相關(guān)模型的訓(xùn)練，持續(xù)優(yōu)化數(shù)據(jù)產(chǎn)線相關(guān)模型的性能，最終實(shí)現(xiàn)數(shù)據(jù)質(zhì)量的自舉式提升。

△高精度3D數(shù)據(jù)構(gòu)建流程

高還原性與高魯棒性的全身估計(jì)模型

據(jù)介紹，通過(guò)上述步驟，團(tuán)隊(duì)積累了樣本量高達(dá)近千萬(wàn)的大規(guī)模數(shù)據(jù)集。

在此基礎(chǔ)上，團(tuán)隊(duì)訓(xùn)練了一個(gè)基礎(chǔ)特征表示底座進(jìn)行3D-Aware的共享特征抽取，基于共享特征構(gòu)建了姿態(tài)估計(jì)分支、相機(jī)估計(jì)分支、Root點(diǎn)估計(jì)分支。

其中，姿態(tài)估計(jì)分支負(fù)責(zé)為表演者的關(guān)節(jié)點(diǎn)進(jìn)行局部3D坐標(biāo)估計(jì)，相機(jī)估計(jì)分支以及Root點(diǎn)估計(jì)分支為當(dāng)前表演者的全局位置進(jìn)行估計(jì)。

基于多分枝的估計(jì)模塊結(jié)合積累的大量自有數(shù)據(jù)，人體估計(jì)模型可以在較少的計(jì)算量下取得高還原性與高魯棒性的結(jié)果。

另外，針對(duì)全身場(chǎng)景下的手部姿態(tài)估計(jì)，團(tuán)隊(duì)統(tǒng)計(jì)了手腕關(guān)節(jié)旋轉(zhuǎn)的先驗(yàn)分布輔助模型訓(xùn)練，保證模型輸出符合人體結(jié)構(gòu)約束；設(shè)計(jì)了手腕關(guān)節(jié)的時(shí)序模型，保證手腕姿態(tài)的穩(wěn)定性；對(duì)關(guān)鍵點(diǎn)預(yù)測(cè)進(jìn)行概率建模從而預(yù)測(cè)模型輸出的置信度進(jìn)行難樣本過(guò)濾；將以上優(yōu)化點(diǎn)與大量的自有手部數(shù)據(jù)結(jié)合，智能創(chuàng)作團(tuán)隊(duì)的手部姿態(tài)算法模型在復(fù)雜遮擋模糊場(chǎng)景下結(jié)果仍可有不錯(cuò)的表現(xiàn)。

以下為人體在復(fù)雜遮擋服飾場(chǎng)景下的優(yōu)化對(duì)比。左邊為原始預(yù)測(cè)結(jié)果，右邊為異常遮擋優(yōu)化結(jié)果。

再來(lái)看看手腕在旋轉(zhuǎn)動(dòng)作下的優(yōu)化對(duì)比。左邊為原始預(yù)測(cè)結(jié)果，右邊為手部姿態(tài)還原性&魯棒性優(yōu)化結(jié)果。

時(shí)空關(guān)聯(lián)建模強(qiáng)化魯棒性

在身體估計(jì)模塊獲取了基本的3D關(guān)節(jié)點(diǎn)信息后，技術(shù)團(tuán)隊(duì)訓(xùn)練了時(shí)序完整性模塊對(duì)原始結(jié)果進(jìn)行修正。

在時(shí)序完整性模塊中，引入關(guān)節(jié)點(diǎn)在時(shí)序上的關(guān)聯(lián)關(guān)系以及同時(shí)刻關(guān)節(jié)點(diǎn)的空間關(guān)聯(lián)關(guān)系，同時(shí)引入了關(guān)節(jié)點(diǎn)位置感知模塊，使得具體關(guān)節(jié)點(diǎn)位置可以被顯式編碼為高維向量加入訓(xùn)練。

在時(shí)序建模的基礎(chǔ)上，團(tuán)隊(duì)同時(shí)設(shè)計(jì)了異常檢測(cè)模塊對(duì)分布外的姿態(tài)結(jié)果進(jìn)行過(guò)濾修正。時(shí)空關(guān)聯(lián)建模的設(shè)計(jì)保證了人體估計(jì)算法可以進(jìn)一步獲得高魯棒性的驅(qū)動(dòng)信號(hào)。

人體在復(fù)雜遮擋服飾場(chǎng)景下的優(yōu)化對(duì)比（左為原始預(yù)測(cè)結(jié)果，右為時(shí)空關(guān)聯(lián)建模修正后結(jié)果）：

自研算法，實(shí)現(xiàn)高真實(shí)感驅(qū)動(dòng)

在通過(guò)一些算法模型計(jì)算后，團(tuán)隊(duì)獲得了精準(zhǔn)且可靠的人體關(guān)節(jié)點(diǎn)輸出，但這距離驅(qū)動(dòng)一個(gè)活靈活現(xiàn)的虛擬人仍然還有最后幾個(gè)步驟，需要通過(guò)IK算法獲取特定虛擬角色的旋轉(zhuǎn)角以對(duì)其完成驅(qū)動(dòng)。

對(duì)此，團(tuán)隊(duì)自研了EasyIK算法，其可以對(duì)大臂小臂、大腿小腿等容易出現(xiàn)自旋錯(cuò)誤的關(guān)節(jié)提供合理姿態(tài)。

同時(shí)，為了保證驅(qū)動(dòng)虛擬角色的真實(shí)感，團(tuán)隊(duì)研發(fā)了接地算法，對(duì)驅(qū)動(dòng)虛擬角色的地面進(jìn)行估計(jì)，并為單腳以及雙腳姿態(tài)在地面上自然姿態(tài)以及移動(dòng)的距離進(jìn)行估計(jì)。

EasyIK以及接地算法的引入使得虛擬人驅(qū)動(dòng)可以獲得更好的真實(shí)感。

足部穩(wěn)定性優(yōu)化對(duì)比（左為原始預(yù)測(cè)結(jié)果，右為高真實(shí)感驅(qū)動(dòng)效果）：

隨著虛擬數(shù)字人技術(shù)的發(fā)展和虛擬偶像的興起，虛擬數(shù)字人在游戲、虛擬社交，在線健身、在線教育、虛擬主播等領(lǐng)域都將有更加廣闊的應(yīng)用空間。更加實(shí)時(shí)、輕量化、低成本的動(dòng)作捕捉技術(shù)也將成為行業(yè)的趨勢(shì)。

全身驅(qū)動(dòng)技術(shù)方案能大大降低了真人驅(qū)動(dòng)虛擬數(shù)字人的應(yīng)用門(mén)檻，助力打造更加趣味、沉浸式的交互體驗(yàn)。

關(guān)于字節(jié)跳動(dòng)智能創(chuàng)作團(tuán)隊(duì)：

智能創(chuàng)作團(tuán)隊(duì)通過(guò)建設(shè)領(lǐng)先的計(jì)算機(jī)視覺(jué)、音視頻編輯、特效處理等技術(shù)，支持抖音、剪映、頭條等公司內(nèi)眾多產(chǎn)品線；同時(shí)通過(guò)火山引擎為外部ToB合作伙伴提供業(yè)界前沿的智能創(chuàng)作能力與行業(yè)解決方案。

體驗(yàn)抖音直播伴侶，可訪問(wèn)：??https://streamingtool.douyin.com/