本文經(jīng)AIGC Studio公眾號(hào)授權(quán)轉(zhuǎn)載，轉(zhuǎn)載請(qǐng)聯(lián)系出處。

浙大聯(lián)合騰訊和華為提出了一種新的定制化視頻生成框架——VideoMaker，利用VDM的內(nèi)在能力，實(shí)現(xiàn)高質(zhì)量的zero-shot定制化視頻生成。該方法通過直接輸入?yún)⒖紙D像到VDM中，利用其固有的特征提取和注入機(jī)制，克服了以往方法在特征一致性和多樣性方面的不足。通過對(duì)人類和物體視頻生成的實(shí)驗(yàn)驗(yàn)證了該框架的有效性。

unsetunset相關(guān)鏈接unsetunset

• 論文：http://arxiv.org/abs/2412.19645v2
• 主頁：https://wutao-cs.github.io/VideoMaker/

unsetunset論文介紹unsetunset

零樣本定制視頻生成因其巨大的應(yīng)用潛力而備受關(guān)注?，F(xiàn)有方法依賴于附加模型來提取和注入?yún)⒖贾黧w特征，認(rèn)為單靠視頻擴(kuò)散模型 (VDM) 不足以生成零樣本定制視頻。然而，由于特征提取和注入技術(shù)不夠完善，這些方法往往難以保持一致的主體外觀。論文揭示了 VDM 本身具有提取和注入主體特征的能力。與以前的啟發(fā)式方法不同，論文引入了一個(gè)新框架，利用 VDM 的固有能力來實(shí)現(xiàn)高質(zhì)量的零樣本定制視頻生成。

具體而言，對(duì)于特征提取直接將參考圖像輸入 VDM 并使用其固有的特征提取過程，這不僅提供了細(xì)粒度的特征，而且與 VDM 的預(yù)訓(xùn)練知識(shí)顯著一致。對(duì)于特征注入通過 VDM 中的空間自注意力設(shè)計(jì)了一種創(chuàng)新的主體特征與生成內(nèi)容之間的雙向交互，確保 VDM 具有更好的主體保真度，同時(shí)保持生成視頻的多樣性。對(duì)定制人物和物體視頻生成的實(shí)驗(yàn)驗(yàn)證了該框架的有效性。

unsetunset方法unsetunset

VideoMaker 的整體流程。 將參考圖像直接輸入到 VDM 中，并使用 VDM 的模塊進(jìn)行細(xì)粒度的特征提取。論文修改了空間自注意力的計(jì)算以實(shí)現(xiàn)特征注入。此外，為了區(qū)分參考特征和生成內(nèi)容，論文設(shè)計(jì)了指導(dǎo)信息識(shí)別損失來優(yōu)化訓(xùn)練策略。該方法基于AnimateDiff實(shí)現(xiàn)了高保真零鏡頭定制人物和物體視頻生成。

VideoMaker的兩個(gè)關(guān)鍵步驟：

• 特征提?。褐苯訉o噪聲的參考圖像輸入VDM，視作時(shí)間步t=0的特殊情況，VDM能夠有效提取出細(xì)粒度的主觀特征。使用VDM的Resblock結(jié)構(gòu)作為特征提取器，提取與參考圖像對(duì)應(yīng)的特征，確保提取的特征與VDM的知識(shí)高度一致。
• 特征注入：通過VDM的空間自注意力機(jī)制，將提取的主觀特征與生成內(nèi)容進(jìn)行交互，確保生成視頻中主觀對(duì)象的外觀一致性。設(shè)計(jì)了一種創(chuàng)新的訓(xùn)練策略，利用引導(dǎo)信息識(shí)別損失，引導(dǎo)模型有效區(qū)分參考信息和生成內(nèi)容，從而提高生成質(zhì)量。

unsetunset結(jié)果unsetunset

定制名人視頻生成結(jié)果

名人定制人體視頻生成的定性比較。我們選擇 AnimateDiff SD1.5 版本作為基礎(chǔ)視頻傳播模型。由于 PhotoMaker 僅對(duì) SDXL 進(jìn)行了預(yù)訓(xùn)練權(quán)重，因此我們使用分辨率為 512×512 的 AnimateDiff SDXL 生成的結(jié)果進(jìn)行比較。

定制非名人視頻生成結(jié)果

對(duì)非名人定制人體視頻生成的定性比較。我們選擇 AnimateDiff SD1.5 版本作為我們的基礎(chǔ)視頻傳播模型。由于 PhotoMaker 僅對(duì) SDXL 進(jìn)行了預(yù)訓(xùn)練權(quán)重，因此我們使用分辨率為 512×512 的 AnimateDiff SDXL 生成的結(jié)果進(jìn)行比較。

定制對(duì)象視頻生成。

定制對(duì)象視頻生成的定性比較