針對視頻生成中的運動一致性難題，Meta GenAI團隊提出了一個全新框架VideoJAM。

VideoJAM基于主流的DiT路線，但和Sora等純DiT模型相比，動態(tài)效果直接拉滿：

哪怕變化又大又迅速、動作又復(fù)雜的舞蹈，也看起來像真的一樣，而且還是兩個人同步：

像倒立這樣的操作，同樣可以輕松駕馭：

而且不需要額外數(shù)據(jù)或縮放，就能無縫集成到不同規(guī)模的DiT模型當(dāng)中，帶來運動效果的提升。

有網(wǎng)友表示，第一眼看上去就和真的一樣，也許到今年年底，我們看不到區(qū)別了。

運動效果超越Sora、Gen3

VideoJAM在處理運動場景時，不僅視覺上效果更好，也更加貼合物理規(guī)律。

比如吹滅蠟燭時火苗的晃動，以及漸進式的熄滅過程，連燃燒產(chǎn)生的白煙也沒有落下：

寫書法時毛筆的運動處理得也很精細，并且做到了筆跡和紙上的字跡同步（雖然不知道寫的是什么）：

還有用手捏史萊姆時的形狀變化，以及內(nèi)部產(chǎn)生的流體效果，連手松開時的粘連效果也體現(xiàn)了出來：

甚至是三個球來回拋的雜技表演，也能很好地體現(xiàn)出拋物線軌跡：

另外，作者也針對文本/外觀/運動一致性、視頻質(zhì)量等指標(biāo)，在4B和30B的DiT模型上分別運用VideoJAM進行了評估，并與主流視頻生成模型進行了對比。

結(jié)果在4B和30B規(guī)模下，相比于原始的DiT模型，運動質(zhì)量從78.3和88.1，分別提升到了93.7和92.4，提升比例分別為19.67%和4.88%。

并且應(yīng)用VideoJAM后，運動質(zhì)量也超過了Gen3、Sora等其他對比模型。

那么，VideoJAM是如何做到的呢？

訓(xùn)練中引入運動信息

在訓(xùn)練和推理階段，VideoJAM針對經(jīng)典的DiT架構(gòu)都進行了一定補充。

具體來說，在訓(xùn)練階段，VideoJAM采用了聯(lián)合外觀-運動表示（Joint Appearance-Motion Representation）。

通過在模型中引入額外的運動預(yù)測任務(wù)，讓模型在生成視頻的同時也學(xué)習(xí)如何預(yù)測對應(yīng)的運動。

為實現(xiàn)聯(lián)合外觀-運動表示，VideoJAM對現(xiàn)有視頻生成模型進行了兩處關(guān)鍵性改動，添加了輸入和輸出兩個線性投影層。

• 輸入投影層將外觀特征（視頻幀的表示）和運動特征拼接后映射到模型的隱藏空間，形成一個聯(lián)合的潛在表示，這個潛在表示融合了靜態(tài)外觀信息和動態(tài)運動信息。
• 輸出投影層則從模型的聯(lián)合潛在表示中，分別解碼出視頻的外觀預(yù)測和運動預(yù)測，其中外觀預(yù)測用于生成最終的視頻幀，運動預(yù)測則用來評估模型對時間一致性的理解。

在這一過程當(dāng)中，運動是用光流（Optical Flow），也就是視頻幀之間像素的位移的形式進行表示的。

處理時，VideoJAM將光流轉(zhuǎn)換成RGB格式，像素運動方向被映射為色調(diào)，強度則被映射為亮度或透明度，使其可以像普通視頻一樣被模型處理。

這種處理方式無需額外訓(xùn)練復(fù)雜的運動編碼器，且兼容性強，可以方便地嵌入到現(xiàn)有的視頻生成模型中。

到了推理階段，VideoJAM采用了內(nèi)部引導(dǎo)機制（Inner-Guidance Mechanism），進一步增強生成視頻的運動一致性。

這種機制不依賴外部條件，而是使用模型自身在每個生成步驟中預(yù)測的運動信息來動態(tài)調(diào)整生成過程，可以實時捕捉生成視頻的動態(tài)變化。

和其他擴散模型一樣，生成視頻的初始輸入是隨機噪聲，模型首先對噪聲進行處理，生成初步的視頻幀和對應(yīng)的運動預(yù)測。

生成過程中，模型會使用當(dāng)前幀的運動預(yù)測作為指導(dǎo)信號，調(diào)整下一個時間步的生成方向。

這種反饋機制之下，模型不斷審視自己生成的動作是否連貫，并在發(fā)現(xiàn)不一致時自動進行調(diào)整。

具體到生成進程，可以分成兩個階段，內(nèi)部引導(dǎo)主要應(yīng)用在其中第一個：

• 粗略階段：在生成初期（大約前50%的步驟），重點關(guān)注大范圍的運動連貫性，如整體方向和節(jié)奏。
• 細化階段：在生成后期，轉(zhuǎn)向優(yōu)化細節(jié)，如肢體動作的微調(diào)和物體交互的物理合理性。

消融實驗表明，作者采用的光流表示和內(nèi)部引導(dǎo)機制正是VideoJAM實現(xiàn)高運動一致性的關(guān)鍵。

論文地址：
https://arxiv.org/abs/2502.02492項目主頁：
https://hila-chefer.github.io/videojam-paper.github.io/