偷偷摘套内射激情视频,久久精品99国产国产精,中文字幕无线乱码人妻,中文在线中文a,性爽19p

首個(gè)人體動(dòng)捕基模型面世!SMPLer-X:橫掃七大榜單

人工智能 新聞
最近,來自南洋理工大學(xué)S-Lab、商湯科技、上海人工智能實(shí)驗(yàn)室、東京大學(xué)和IDEA研究院的研究人員首次提出針對(duì)人體全身姿態(tài)與體型估計(jì)任務(wù)的動(dòng)捕大模型SMPLer-X。

人體全身姿態(tài)與體型估計(jì)(EHPS, Expressive Human Pose and Shape estimation)雖然目前已經(jīng)取得了非常大研究進(jìn)展,但當(dāng)下最先進(jìn)的方法仍然受限于有限的訓(xùn)練數(shù)據(jù)集。

最近,來自南洋理工大學(xué)S-Lab、商湯科技、上海人工智能實(shí)驗(yàn)室、東京大學(xué)和IDEA研究院的研究人員首次提出針對(duì)人體全身姿態(tài)與體型估計(jì)任務(wù)的動(dòng)捕大模型SMPLer-X。該工作使用來自不同數(shù)據(jù)源的多達(dá)450萬個(gè)實(shí)例對(duì)模型進(jìn)行訓(xùn)練,在7個(gè)關(guān)鍵榜單上均刷新了最佳性能。

SMPLer-X除了常見的身體動(dòng)作捕捉,還能輸出面部和手部動(dòng)作,甚至對(duì)體型做出估計(jì)。

圖片

論文鏈接:https://arxiv.org/abs/2309.17448

項(xiàng)目主頁:https://caizhongang.github.io/projects/SMPLer-X/

憑借大量數(shù)據(jù)和大型模型,SMPLer-X在各種測(cè)試和榜單中表現(xiàn)出強(qiáng)大的性能,即使在沒有見過的環(huán)境中也具有出色的通用性:

1. 在數(shù)據(jù)擴(kuò)展方面,研究人員對(duì)32個(gè)3D人體數(shù)據(jù)集進(jìn)行了系統(tǒng)的評(píng)估與分析,為模型訓(xùn)練提供參考;

2. 在模型縮放方面,利用視覺大模型來研究該任務(wù)中增大模型參數(shù)量帶來的性能提升;

3. 通過微調(diào)策略可以將SMPLer-X通用大模型轉(zhuǎn)變?yōu)閷S么竽P?,使其能夠?qū)崿F(xiàn)進(jìn)一步的性能提升。

總而言之,SMPLer-X探索了數(shù)據(jù)縮放與模型縮放(圖1),對(duì)32個(gè)學(xué)術(shù)數(shù)據(jù)集進(jìn)行排名,并在其450萬個(gè)實(shí)例上完成了訓(xùn)練,在7個(gè)關(guān)鍵榜單(如AGORA、UBody、EgoBody和EHF)上均刷新了最佳性能。

Figure 1 增大數(shù)據(jù)量和模型參數(shù)量在降低關(guān)鍵榜單(AGORA、UBody、EgoBody、3DPW 和 EHF)的平均主要誤差(MPE)方面都是有效的

現(xiàn)有3D人體數(shù)據(jù)集的泛化性研究

研究人員對(duì)32個(gè)學(xué)術(shù)數(shù)據(jù)集進(jìn)行了排名:為了衡量每個(gè)數(shù)據(jù)集的性能,需要使用該數(shù)據(jù)集訓(xùn)練一個(gè)模型,并在五個(gè)評(píng)估數(shù)據(jù)集上評(píng)估模型:AGORA、UBody、EgoBody、3DPW和EHF。

表中還計(jì)算了平均主要誤差(Mean Primary Error, MPE),以便于在各個(gè)數(shù)據(jù)集之間進(jìn)行簡單比較。

從數(shù)據(jù)集泛化性研究中得到的啟示

從大量數(shù)據(jù)集的分析(圖3)中,可以得出以下四點(diǎn)結(jié)論:

1. 關(guān)于單一數(shù)據(jù)集的數(shù)據(jù)量,10萬個(gè)實(shí)例數(shù)量級(jí)的數(shù)據(jù)集用于模型訓(xùn)練可以得到較高的性價(jià)比;

2. 關(guān)于數(shù)據(jù)集的采集場(chǎng)景,In-the-wild數(shù)據(jù)集效果最好,如果只能室內(nèi)采集,需要避免單一場(chǎng)景以提升訓(xùn)練效果;

3. 關(guān)于數(shù)據(jù)集的采集,數(shù)據(jù)集排名前三中有兩個(gè)是生成數(shù)據(jù)集,生成數(shù)據(jù)近年來展現(xiàn)出了強(qiáng)大的性能。

4. 關(guān)于數(shù)據(jù)集的標(biāo)注,偽標(biāo)簽的數(shù)據(jù)集在訓(xùn)練中也發(fā)揮了至關(guān)重要的作用。

動(dòng)捕大模型的訓(xùn)練與微調(diào)

當(dāng)前最先進(jìn)的方法通常只使用少數(shù)幾個(gè)數(shù)據(jù)集(例如,MSCOCO、MPII和Human3.6M)進(jìn)行訓(xùn)練,而這篇文章中探討使用了更多數(shù)據(jù)集。

在始終優(yōu)先考慮排名較高的數(shù)據(jù)集的前提下使用了四種數(shù)據(jù)量:作為訓(xùn)練集的5、10、20和32個(gè)數(shù)據(jù)集,總大小為75萬、150萬、300萬和450萬實(shí)例。

除此之外,研究人員也展示了低成本的微調(diào)策略來將通用大模型適應(yīng)到特定場(chǎng)景。

上表中展示了部分主要測(cè)試,如AGORA測(cè)試集(表3)、AGORA驗(yàn)證集(表4)、EHF(表5)、UBody(表6)、EgoBody-EgoSet(表7)。

此外,研究人員還在ARCTIC和DNA-Rendering兩個(gè)測(cè)試集上評(píng)估了動(dòng)捕大模型的泛化性。

研究人員希望SMPLer-X能帶來超出算法設(shè)計(jì)的啟發(fā),并為學(xué)術(shù)社區(qū)提供強(qiáng)大的全身人體動(dòng)捕大模型。

代碼和預(yù)訓(xùn)練模型都已開源,更多詳情請(qǐng)?jiān)L問項(xiàng)目主頁:https://caizhongang.github.io/projects/SMPLer-X/

結(jié)果展示

圖片

圖片

圖片

圖片

圖片

圖片

圖片

圖片

責(zé)任編輯:張燕妮 來源: 新智元
相關(guān)推薦

2009-12-01 14:35:06

Linux忠告

2018-09-10 06:00:12

2021-06-22 15:56:24

人工智能深度語言開源

2023-11-09 14:38:28

2023-10-04 09:29:58

2012-08-06 10:34:26

JavaScript框架

2018-04-11 14:13:29

物聯(lián)網(wǎng)信息技術(shù)互聯(lián)網(wǎng)

2015-03-20 15:34:35

戴爾云計(jì)算DELL

2020-12-22 09:55:55

IT首席信息官CIO

2012-08-06 10:51:40

JavaScript

2015-07-08 08:51:11

SDN

2010-08-09 14:37:00

認(rèn)證證書

2020-12-18 10:35:27

IT技術(shù)領(lǐng)導(dǎo)者

2022-05-23 08:09:42

物聯(lián)網(wǎng)IOT

2018-09-27 11:48:51

2018-03-13 07:05:10

區(qū)塊鏈中心化比特幣

2013-09-30 10:54:46

2017-10-13 00:55:11

DevOps持續(xù)交付IT

2009-08-04 11:36:55

點(diǎn)贊
收藏

51CTO技術(shù)棧公眾號(hào)