一段音頻+一張照片，瞬間照片里的人就能開始講話了。

生成的講話動(dòng)畫不但口型和音頻能夠無縫對齊，面部表情和頭部姿勢都非常自然而且有表現(xiàn)力。

而且支持的圖像風(fēng)格也非常的多樣，除了一般的照片，卡通圖片，證件照等生成的效果都非常自然。

再加上多語言的支持，瞬間照片里的人物就活了過來，張嘴就能飆外語。

這是由來自南京大學(xué)等機(jī)構(gòu)的研究人員提出的一個(gè)通用框架——VividTalk，只需要語音和一張圖片，就能生成高質(zhì)量的說話視頻。

論文地址：https://arxiv.org/abs/2312.01841

這個(gè)框架是一個(gè)由音頻到網(wǎng)格生成，和網(wǎng)格到視頻生成組成的兩階段框架。

在第一階段，考慮面部運(yùn)動(dòng)和blendshape分布之間的一對多映射，利用blendshape和3D頂點(diǎn)作為中間表征，其中blendshape提供粗略運(yùn)動(dòng)，頂點(diǎn)偏移描述細(xì)粒度嘴唇運(yùn)動(dòng)。

此外，還采用了基于多分支Transformer網(wǎng)絡(luò)，以充分利用音頻上下文來建模與中間表征的關(guān)系。

為了更合理地從音頻中學(xué)習(xí)剛性頭部運(yùn)動(dòng)，研究人員將此問題轉(zhuǎn)化為離散有限空間中的代碼查詢?nèi)蝿?wù)，并構(gòu)建具有重建和映射機(jī)制的可學(xué)習(xí)頭部姿勢代碼本。

之后，學(xué)習(xí)到的兩個(gè)運(yùn)動(dòng)都應(yīng)用于參考標(biāo)識，從而產(chǎn)生驅(qū)動(dòng)網(wǎng)格。

在第二階段，基于驅(qū)動(dòng)網(wǎng)格和參考圖像，渲染內(nèi)表面和外表面（例如軀干）的投影紋理，從而全面建模運(yùn)動(dòng)。

然后設(shè)計(jì)一種新穎的雙分支運(yùn)動(dòng)模型來模擬密集運(yùn)動(dòng)，將其作為輸入發(fā)送到生成器，以逐幀方式合成最終視頻。

VividTalk可以生成具有表情豐富的面部表情和自然頭部姿勢的口型同步頭部說話視頻。

如下表所示，視覺結(jié)果和定量分析都證明了新方法在生成質(zhì)量和模型泛化方面的優(yōu)越性。

框架實(shí)現(xiàn)方法

給定音頻序列和參考面部圖像作為輸入，新方法可以生成具有不同面部表情和自然頭部姿勢的頭部說話視頻。

VividTalk框架由兩個(gè)階段組成，分別稱為音頻到網(wǎng)格生成和網(wǎng)格到視頻生成。

音頻到網(wǎng)格生成

這一階段的目標(biāo)是根據(jù)輸入音頻序列和參考面部圖像生成3D驅(qū)動(dòng)的網(wǎng)格。

具體來說，首先利用FaceVerse來重建參考面部圖像。

接下來，從音頻中學(xué)習(xí)非剛性面部表情運(yùn)動(dòng)和剛性頭部運(yùn)動(dòng)來驅(qū)動(dòng)重建的網(wǎng)格。

為此，研究人員提出了多分支BlendShape和頂點(diǎn)偏移生成器以及可學(xué)習(xí)的頭部姿勢代碼本。

BlendShape和頂點(diǎn)偏移生成器

學(xué)習(xí)通用模型來生成準(zhǔn)確的嘴部動(dòng)作和具有特定人風(fēng)格的富有表現(xiàn)力的面部表情在兩個(gè)方面具有挑戰(zhàn)性：

1）第一個(gè)挑戰(zhàn)是音頻運(yùn)動(dòng)相關(guān)性問題。由于音頻信號與嘴部運(yùn)動(dòng)最相關(guān)，因此很難根據(jù)音頻對非嘴部運(yùn)動(dòng)進(jìn)行建模。

2）從音頻到面部表情動(dòng)作的映射自然具有一對多的屬性，這意味著相同的音頻輸入可能有不止一種正確的動(dòng)作模式，從而導(dǎo)致沒有個(gè)人特征的面部形象。

為了解決音頻運(yùn)動(dòng)相關(guān)性問題，研究人員使用blendshape和頂點(diǎn)偏移作為中間表征，其中blendshape提供全局粗粒度的面部表情運(yùn)動(dòng)，而與嘴唇相關(guān)的頂點(diǎn)偏移提供局部細(xì)粒度的嘴唇運(yùn)動(dòng)。

對于缺乏面部特征的問題，研究人員提出了一種基于多分支transformer的生成器來單獨(dú)建模每個(gè)部分的運(yùn)動(dòng)，并注入特定于主題的風(fēng)格以保持個(gè)人特征。

可學(xué)習(xí)的頭部姿勢密碼本

頭部姿勢是影響頭部說話視頻真實(shí)感的另一個(gè)重要因素。然而，直接從音頻中學(xué)習(xí)它并不容易，因?yàn)樗鼈冎g的關(guān)系很弱，這會導(dǎo)致不合理和不連續(xù)的結(jié)果。

受到之前研究的啟發(fā)，利用離散碼本作為先驗(yàn)，即使在輸入降級的情況下也能保證高保真生成。

研究人員建議將此問題轉(zhuǎn)化為離散且有限頭部姿勢空間中的代碼查詢?nèi)蝿?wù)，并精心設(shè)計(jì)了兩階段訓(xùn)練機(jī)制，第一階段構(gòu)建豐富的頭部姿勢代碼本，第二階段將輸入音頻映射到碼本生成最終結(jié)果，如下圖所示。

網(wǎng)格到視頻生成

如下圖所示，研究人員提出了雙分支motionvae來對2D密集運(yùn)動(dòng)進(jìn)行建模，該運(yùn)動(dòng)將作為生成器的輸入來合成最終視頻。

將3D域運(yùn)動(dòng)直接轉(zhuǎn)換為2D域運(yùn)動(dòng)既困難又低效，因?yàn)榫W(wǎng)絡(luò)需要尋找兩個(gè)域運(yùn)動(dòng)之間的對應(yīng)關(guān)系以更好地建模。

為了提高網(wǎng)絡(luò)的性能并獲得進(jìn)一步的性能，研究人員借助投影紋理表示在 2D 域中進(jìn)行這種轉(zhuǎn)換。

如上圖所示，在面部分支中，參考投影紋理P T和驅(qū)動(dòng)的投影紋理P Tare連接并饋入編碼器，然后輸入MLP，輸出2D面部運(yùn)動(dòng)圖。

為了進(jìn)一步增強(qiáng)嘴唇運(yùn)動(dòng)并更準(zhǔn)確地建模，研究人員還選擇與嘴唇相關(guān)的標(biāo)志并將其轉(zhuǎn)換為高斯圖，這是一種更緊湊、更有效的表示。

然后，沙漏網(wǎng)絡(luò)將減去的高斯圖作為輸入并輸出 2D 嘴唇運(yùn)動(dòng)，該運(yùn)動(dòng)將與面部運(yùn)動(dòng)連接并解碼為密集運(yùn)動(dòng)和遮擋圖。

最后，研究人員根據(jù)之前預(yù)測的密集運(yùn)動(dòng)圖對參考圖像進(jìn)行變形，獲得變形圖像，該變形圖像將與遮擋圖一起作為生成器的輸入，逐幀合成最終視頻。

實(shí)驗(yàn)效果

數(shù)據(jù)集

HDTF是一個(gè)高分辨率視聽數(shù)據(jù)集，包含346個(gè)主題的超過16小時(shí)的視頻。VoxCeleb是另一個(gè)更大的數(shù)據(jù)集，涉及超過10萬個(gè)視頻和1000個(gè)身份。

研究人員首先過濾兩個(gè)數(shù)據(jù)集以刪除無效數(shù)據(jù)，例如音頻和視頻不同步的數(shù)據(jù)。

然后裁剪視頻中的人臉區(qū)域并將其大小調(diào)整為256×256。

最后，將處理后的視頻分為80％、10％、10％，這將用于用于培訓(xùn)、驗(yàn)證和測試。

實(shí)施細(xì)節(jié)

在實(shí)驗(yàn)中，研究人員使用FaceVerse這種最先進(jìn)的單圖像重建方法來恢復(fù)視頻并獲得用于監(jiān)督的地面實(shí)況混合形狀和網(wǎng)格。

在訓(xùn)練過程中，Audio-To-Mesh階段和Mesh-To-Video階段是分開訓(xùn)練的。

具體來說，音頻到網(wǎng)格階段的BlendShape和頂點(diǎn)偏移生成器以及可學(xué)習(xí)頭部姿勢代碼本也分別進(jìn)行訓(xùn)練。

在推理過程中，研究人員的模型可以通過級聯(lián)上述兩個(gè)階段以端到端的方式工作。

對于優(yōu)化，使用Adam優(yōu)化器，兩個(gè)階段的學(xué)習(xí)率分別為1×10和1×10。在8個(gè)NVIDIA V100 GPU上的總訓(xùn)練時(shí)間為2天。

與SOTA的比較

可以看到，研究人員提出的方法可以生成高質(zhì)量的頭部說話視頻，具有精確的唇形同步和富有表現(xiàn)力的面部運(yùn)動(dòng)。

相比之下：

• SadTalker無法生成準(zhǔn)確的細(xì)粒度嘴唇運(yùn)動(dòng)，并且視頻質(zhì)量更低。
• TalkLip產(chǎn)生模糊結(jié)果，并將膚色風(fēng)格改為略黃，在一定程度上丟失了身份信息。
• MakeItTalk無法生成準(zhǔn)確的嘴形，尤其是在跨身份配音設(shè)置中。
• Wav2Lip傾向于合成模糊的嘴部區(qū)域，并在輸入單個(gè)參考圖像時(shí)輸出具有靜態(tài)頭部姿勢和眼球運(yùn)動(dòng)的視頻。
• PC-AVS需要驅(qū)動(dòng)視頻作為輸入，并努力保存身份。

定量比較

如下表所示，新方法在圖像質(zhì)量和身份保留方面表現(xiàn)更好，這通過較低的FID和較高的CSIM指標(biāo)反映出來。

由于新穎的可學(xué)習(xí)密碼本機(jī)制，新方法生成的頭部姿勢也更加多樣化和自然。

雖然新方法的SyncNet分?jǐn)?shù)低于Wav2Lip，但可以驅(qū)動(dòng)使用單個(gè)音頻而不是視頻的參考圖像并生成更高質(zhì)量的幀。