在過(guò)去短短兩年內(nèi)，隨著諸如 LAION-5B 等大規(guī)模圖文數(shù)據(jù)集的開(kāi)放，Stable Diffusion、DALL-E 2、ControlNet、Composer ，效果驚人的圖片生成方法層出不窮。圖片生成領(lǐng)域可謂狂飆突進(jìn)。

然而，與圖片生成相比，視頻生成仍存在巨大挑戰(zhàn)。首先，視頻生成需要處理更高維度的數(shù)據(jù)，考慮額外時(shí)間維度帶來(lái)的時(shí)序建模問(wèn)題，因此需要更多的視頻 - 文本對(duì)數(shù)據(jù)來(lái)驅(qū)動(dòng)時(shí)序動(dòng)態(tài)的學(xué)習(xí)。然而，對(duì)視頻進(jìn)行準(zhǔn)確的時(shí)序標(biāo)注非常昂貴。這限制了視頻 - 文本數(shù)據(jù)集的規(guī)模，如現(xiàn)有 WebVid10M 視頻數(shù)據(jù)集包含 10.7M 視頻 - 文本對(duì)，與 LAION-5B 圖片數(shù)據(jù)集在數(shù)據(jù)規(guī)模上相差甚遠(yuǎn)，嚴(yán)重制約了視頻生成模型規(guī)?；臄U(kuò)展。

為解決上述問(wèn)題，華中科技大學(xué)、阿里巴巴集團(tuán)、浙江大學(xué)和螞蟻集團(tuán)聯(lián)合研究團(tuán)隊(duì)于近期發(fā)布了 TF-T2V 視頻方案：

論文地址：https://arxiv.org/abs/2312.15770

項(xiàng)目主頁(yè)：https://tf-t2v.github.io/

即將開(kāi)源代碼地址：https://github.com/ali-vilab/i2vgen-xl （VGen 項(xiàng)目）

該方案另辟蹊徑，提出了基于大規(guī)模無(wú)文本標(biāo)注視頻數(shù)據(jù)進(jìn)行視頻生成，能夠?qū)W習(xí)豐富的運(yùn)動(dòng)動(dòng)態(tài)。

先來(lái)看看 TF-T2V 的視頻生成效果：

文生視頻任務(wù)

提示詞：生成在冰雪覆蓋的土地上有一只冰霜般的大生物的視頻。

提示詞：生成一只卡通蜜蜂的動(dòng)畫(huà)視頻。

提示詞：生成包含一輛未來(lái)幻想摩托車的視頻。

提示詞：生成一個(gè)小男孩快樂(lè)微笑的視頻。

提示詞：生成一個(gè)老人感覺(jué)頭疼的視頻。

組合式視頻生成任務(wù)

給定文本與深度圖或者文本與素描草圖，TF-T2V 能夠進(jìn)行可控的視頻生成：

也可以進(jìn)行高分辨率視頻合成：

半監(jiān)督設(shè)定

在半監(jiān)督設(shè)定下的 TF-T2V 方法還可以生成符合運(yùn)動(dòng)文本描述的視頻，如 「人從右往左跑」。

方法簡(jiǎn)介

TF-T2V 的核心思想是將模型分為運(yùn)動(dòng)分支和表觀分支，運(yùn)動(dòng)分支用于建模運(yùn)動(dòng)動(dòng)態(tài)，表觀分支用于學(xué)習(xí)視覺(jué)表觀信息。這兩個(gè)分支進(jìn)行聯(lián)合訓(xùn)練，最終可以實(shí)現(xiàn)通過(guò)文本驅(qū)動(dòng)視頻生成。

為了提升生成視頻的時(shí)序一致性，作者團(tuán)隊(duì)還提出了一種時(shí)序一致性損失，顯式地學(xué)習(xí)視頻幀之間的連續(xù)性。

值得一提的是，TF-T2V 是一種通用的框架，不僅適用于文生視頻任務(wù)，還能應(yīng)用于組合式視頻生成任務(wù)，如 sketch-to-video、video inpainting、first frame-to-video 等。

具體細(xì)節(jié)和更多實(shí)驗(yàn)結(jié)果可以參考原論文或者項(xiàng)目主頁(yè)。

此外，作者團(tuán)隊(duì)還把 TF-T2V 作為教師模型，利用一致性蒸餾技術(shù)得到了 VideoLCM 模型： 

論文地址：https://arxiv.org/abs/2312.09109

項(xiàng)目主頁(yè)：https://tf-t2v.github.io/

即將開(kāi)源代碼地址：https://github.com/ali-vilab/i2vgen-xl （VGen 項(xiàng)目）

不同于之前視頻生成方法需要大約 50 步 DDIM 去噪步驟，基于 TF-T2V 的 VideoLCM 方法可以只需要進(jìn)行大約 4 步推理去噪就生成高保真的視頻，極大地提升了視頻生成的效率。

一起來(lái)看看 VideoLCM 進(jìn)行 4 步去噪推理的結(jié)果：

具體細(xì)節(jié)和更多實(shí)驗(yàn)結(jié)果可以參考 VideoLCM 原論文或者項(xiàng)目主頁(yè)。

總而言之，TF-T2V 方案為視頻生成領(lǐng)域帶來(lái)了新思路，克服了數(shù)據(jù)集規(guī)模和標(biāo)注難題帶來(lái)的挑戰(zhàn)。利用大規(guī)模的無(wú)文本標(biāo)注視頻數(shù)據(jù)，TF-T2V 能夠生成高質(zhì)量的視頻，并應(yīng)用于多種視頻生成任務(wù)。這一創(chuàng)新將推動(dòng)視頻生成技術(shù)的發(fā)展，為各行各業(yè)帶來(lái)更廣闊的應(yīng)用場(chǎng)景和商業(yè)機(jī)會(huì)。