ICLR2025 | 同濟(jì)提出無(wú)需訓(xùn)練的肖像動(dòng)畫框架FaceShot，讓表情包、動(dòng)漫人物、玩具等“開(kāi)口說(shuō)話”
今天和大家分享同濟(jì)大學(xué)的最新研究FaceShot: 一舉打破肖像動(dòng)畫模型“驅(qū)動(dòng)真人”的局限，F(xiàn)aceShot 的動(dòng)畫效果可應(yīng)用于各個(gè)領(lǐng)域的角色，包括 3D 動(dòng)漫、表情符號(hào)、2D 動(dòng)漫、玩具、動(dòng)物等等。每個(gè)角色都能流暢地跟隨行車視頻的面部動(dòng)作，同時(shí)保留其原始身份，從而產(chǎn)生出色的動(dòng)畫效果。
FaceShot 的可視化結(jié)果。對(duì)于任意角色和任意驅(qū)動(dòng)視頻，F(xiàn)aceShot 都能有效捕捉細(xì)微的面部表情，并為每個(gè)角色生成穩(wěn)定的動(dòng)畫。尤其對(duì)于表情符號(hào)和玩具等非人類角色，F(xiàn)aceShot 展現(xiàn)出卓越的動(dòng)畫能力。
單角色+多驅(qū)動(dòng)視頻
多個(gè)角色+單驅(qū)動(dòng)視頻
時(shí)長(zhǎng)超過(guò) 5 秒的視頻
比較
相關(guān)鏈接
- 論文：https://arxiv.org/pdf/2503.00740
- 主頁(yè)：https://faceshot2024.github.io/faceshot/
- 代碼：https://github.com/open-mmlab/FaceShot
論文介紹
FaceShot：讓任何角色都栩栩如生
論文介紹的FaceShot是一種無(wú)需訓(xùn)練的新型肖像動(dòng)畫框架，旨在無(wú)需微調(diào)或再訓(xùn)練即可讓任何驅(qū)動(dòng)視頻中的任何角色栩栩如生。我們通過(guò)從外觀引導(dǎo)的地標(biāo)匹配模塊和基于坐標(biāo)的地標(biāo)重定向模塊提供精確而強(qiáng)大的重新定位地標(biāo)序列來(lái)實(shí)現(xiàn)這一點(diǎn)。這些組件共同利用潛在擴(kuò)散模型的強(qiáng)大語(yǔ)義對(duì)應(yīng)關(guān)系來(lái)生成各種角色類型的面部運(yùn)動(dòng)序列。之后，我們將地標(biāo)序列輸入到預(yù)先訓(xùn)練的地標(biāo)驅(qū)動(dòng)動(dòng)畫模型中以生成動(dòng)畫視頻。憑借這種強(qiáng)大的泛化能力，F(xiàn)aceShot 可以突破任何風(fēng)格化角色和驅(qū)動(dòng)視頻的真實(shí)肖像地標(biāo)檢測(cè)的限制，從而顯著擴(kuò)展肖像動(dòng)畫的應(yīng)用。此外，F(xiàn)aceShot 與任何地標(biāo)驅(qū)動(dòng)的動(dòng)畫模型兼容，顯著提高了整體性能。在新構(gòu)建的角色基準(zhǔn) CharacBench 上進(jìn)行的大量實(shí)驗(yàn)證實(shí)，F(xiàn)aceShot 在任何角色領(lǐng)域都始終超越最先進(jìn) (SOTA) 方法。
方法
FaceShot 首先利用外觀引導(dǎo)生成目標(biāo)角色的精確面部特征點(diǎn)。接下來(lái)，應(yīng)用基于坐標(biāo)系的特征點(diǎn)重定位模塊生成特征點(diǎn)序列。最后，將該特征點(diǎn)序列輸入動(dòng)畫模型，為任意駕駛視頻中的任意角色制作動(dòng)畫。
實(shí)驗(yàn)結(jié)果
與 SOTA 肖像動(dòng)畫方法進(jìn)行定性比較。斜線框表示該方法未能為該角色生成動(dòng)畫。
結(jié)論
論文介紹了 FaceShot，這是一個(gè)無(wú)需訓(xùn)練的肖像動(dòng)畫框架，可以為任何驅(qū)動(dòng)視頻中的任意角色制作動(dòng)畫。通過(guò)利用潛在擴(kuò)散模型特征中的語(yǔ)義對(duì)應(yīng)關(guān)系，F(xiàn)aceShot 解決了現(xiàn)有地標(biāo)驅(qū)動(dòng)方法的局限性，實(shí)現(xiàn)了精確的地標(biāo)匹配和地標(biāo)重定向。這一強(qiáng)大功能不僅將肖像動(dòng)畫的應(yīng)用擴(kuò)展到了傳統(tǒng)界限之外，還增強(qiáng)了地標(biāo)驅(qū)動(dòng)模型中動(dòng)畫的真實(shí)感和一致性。FaceShot 還可以作為插件與任何地標(biāo)驅(qū)動(dòng)的動(dòng)畫模型兼容。此外，在包含多樣化角色的基準(zhǔn)測(cè)試 CharacBench 上的實(shí)驗(yàn)結(jié)果表明，F(xiàn)aceShot 的表現(xiàn)始終優(yōu)于當(dāng)前的 SOTA 方法。
