譯者 | 布加迪
審校 | 重樓
從文本生成視頻已取得了長足的進(jìn)展,但在制作更長的多場景故事時(shí)仍然會(huì)遇到瓶頸。雖然Sora、Veo和Movie Gen之類的擴(kuò)散模型已提高了視覺質(zhì)量的門檻,但它們通常僅限于 20秒以內(nèi)的片段。真正的挑戰(zhàn)是什么?上下文。從一段文本生成一段一分鐘的故事驅(qū)動(dòng)型視頻需要模型處理數(shù)十萬個(gè)token,同時(shí)保持?jǐn)⑹潞鸵曈X的連貫性。英偉達(dá)、斯坦福大學(xué)、加州大學(xué)伯克利分校及其他機(jī)構(gòu)的這項(xiàng)新研究應(yīng)運(yùn)而生,它引入了一種名為測試時(shí)間訓(xùn)練(TTT)的技術(shù),以突破目前的限制。
長視頻遇到的問題是什么?
Transformer(尤其是用于視頻生成的Transformer)依賴自注意力機(jī)制。由于急劇增長的計(jì)算成本,這些機(jī)制面對序列長度很難有良好的擴(kuò)展性。試圖生成包含動(dòng)態(tài)場景和一致角色的整整一分鐘高分辨率視頻,意味著需要處理30多萬個(gè)token的信息。這使得模型效率低下,并且長時(shí)間運(yùn)行后通常不連貫。
一些團(tuán)隊(duì)嘗試通過使用Mamba或DeltaNet之類的循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)來規(guī)避這個(gè)問題,這類網(wǎng)絡(luò)提供了線性時(shí)間上下文處理能力。然而,這些模型將上下文壓縮到固定大小的隱藏狀態(tài)中,從而限制了模型的表達(dá)能力。這就好比試圖將整部電影塞進(jìn)一張明信片里,有些細(xì)部根本就塞不進(jìn)去。
TTT(測試時(shí)間訓(xùn)練)如何解決這個(gè)問題?
這篇論文基于這一理念:將RNN的隱藏狀態(tài)轉(zhuǎn)化為易于訓(xùn)練的神經(jīng)網(wǎng)絡(luò)本身,從而提高其表達(dá)能力。具體來說,論文作者提議使用TTT層,這本質(zhì)上是小型的兩層MLP,它們可以在處理輸入序列時(shí)動(dòng)態(tài)調(diào)整或適應(yīng)。這些層在推理過程中使用自監(jiān)督損失加以更新,這可以幫助它們動(dòng)態(tài)地從視頻不斷變化的上下文中學(xué)習(xí)。
想象一下能夠?qū)崟r(shí)調(diào)整的模型:隨著視頻的逐幀展開,其內(nèi)部記憶會(huì)進(jìn)行調(diào)整,以便更好地理解角色、動(dòng)作和故事情節(jié)。這就是TTT所能實(shí)現(xiàn)的。
使用測試時(shí)間訓(xùn)練生成一分鐘視頻的示例
將TTT 層添加到預(yù)訓(xùn)練的Transformer
將TTT層添加到預(yù)訓(xùn)練的 Transformer 中使其可以生成具有高度時(shí)間一致性和運(yùn)動(dòng)平滑度的一分鐘視頻。
提示:“杰瑞抓起一塊奶酪,跑向老鼠洞,湯姆緊追不舍。他及時(shí)溜了進(jìn)去,湯姆撞到了墻上。杰瑞躲在安全舒適的地方,在一張小桌子旁享用著戰(zhàn)利品,開心地啃著,畫面逐漸變暗?!?/p>
基準(zhǔn)比較
按人類評估Elo分?jǐn)?shù)來衡量,TTT-MLP在時(shí)間一致性、運(yùn)動(dòng)平滑度和整體美觀度方面優(yōu)于所有其他基準(zhǔn)。
提示:“湯姆正開心地在餐桌旁啃蘋果派。杰瑞看起來很想吃一個(gè)。杰瑞走到屋前門外,按響了門鈴。湯姆過來開門時(shí),杰瑞繞到廚房后面。杰瑞偷走了湯姆的蘋果派。杰瑞拿著蘋果派跑到老鼠洞里,而湯姆在后面緊緊追趕。眼看湯姆就要抓住杰瑞,杰瑞成功鉆入了老鼠洞,湯姆一頭撞到了墻上?!?/p>
局限性
生成的一分鐘視頻展現(xiàn)出概念驗(yàn)證具有的明顯潛力,但仍然含有明顯的偽影。
工作原理淺析
該系統(tǒng)基于預(yù)訓(xùn)練的Diffusion Transformer模型CogVideo-X 5B,該模型之前只能生成3 秒長的片段。研究人員將TTT層插入到模型中,并訓(xùn)練了它們(以及局部注意力模塊),以處理更長的序列。
為了控制成本,自注意力機(jī)制被限制在3秒長的短片段上,而TTT層負(fù)責(zé)理解涉及這些片段的整體敘事。該架構(gòu)還包含門控機(jī)制,以確保TTT層在訓(xùn)練初期不會(huì)降低性能。
他們通過雙向處理序列并將視頻分割成帶注釋的場景來進(jìn)一步改進(jìn)訓(xùn)練。比如說,他們使用故事板格式詳細(xì)描述每個(gè)3秒的片段,包括背景、角色位置、攝像機(jī)角度和動(dòng)作。
數(shù)據(jù)集:不一樣的《貓和老鼠》
為了在一致且易于理解的視覺領(lǐng)域進(jìn)行研究,團(tuán)隊(duì)從7 個(gè)多小時(shí)的經(jīng)典《貓和老鼠》動(dòng)畫片中精選出一個(gè)數(shù)據(jù)集。這些動(dòng)畫片被分解成多個(gè)場景,并精細(xì)地標(biāo)注成 3 秒長的片段。通過專注于動(dòng)畫片數(shù)據(jù),研究人員避免了照片寫實(shí)的復(fù)雜性,并專注于敘事連貫性和運(yùn)動(dòng)動(dòng)態(tài)。
標(biāo)注人員為每個(gè)片段撰寫了描述性段落,確保模型擁有豐富的結(jié)構(gòu)化輸入可供學(xué)習(xí)。這還便于多階段訓(xùn)練——先使用 3 秒的片段,然后逐步增加到最長 63 秒的序列。
性能:它真的有效嗎?
是的,效果出色。與Mamba 2、Gated DeltaNet 和滑動(dòng)窗口注意力等領(lǐng)先的基準(zhǔn)模型相比,TTT-MLP模型在100個(gè)視頻的人工評估中平均比它們高出34個(gè)Elo點(diǎn)。
評估考慮以下因素:
?文本對齊:視頻與提示的銜接程度
?運(yùn)動(dòng)自然度:角色運(yùn)動(dòng)的真實(shí)度
?美學(xué):光照、色彩和視覺吸引力
?時(shí)間一致性:跨場景的視覺連貫性
TTT-MLP在運(yùn)動(dòng)和場景一致性方面尤為出色,能夠保持動(dòng)態(tài)動(dòng)作的邏輯連續(xù)性,其他模型難以做到這一點(diǎn)。
偽影與局限性
盡管結(jié)果令人鼓舞,但仍然存在偽影。光照變化可能不一致,或者運(yùn)動(dòng)看起來漂浮不定(比如奶酪不自然地懸?。?。這些問題可能與基礎(chǔ)模型CogVideo-X的局限性有關(guān)。另一個(gè)瓶頸是效率。雖然TTT-MLP的速度比完全自注意力模型快得多(快2.5 倍),但仍然比更精簡的RNN方法(比如Gated DeltaNet)慢。話雖如此,TTT只需要進(jìn)行微調(diào),不用從頭開始訓(xùn)練,這使得它在許多用例中更加實(shí)用。
這種方法的獨(dú)特優(yōu)勢
?表達(dá)性記憶:TTT將RNN的隱藏狀態(tài)轉(zhuǎn)化為易于訓(xùn)練的網(wǎng)絡(luò),使其遠(yuǎn)比固定大小的矩陣更具表達(dá)力。
?適應(yīng)性:TTT 層在推理過程中可以學(xué)習(xí)和調(diào)整,使其能夠?qū)崟r(shí)響應(yīng)展開的視頻。
?可擴(kuò)展性:在資源充足的情況下,該方法可以擴(kuò)展,以支持更長、更復(fù)雜的視頻故事。
?實(shí)用的微調(diào):研究人員僅對TTT層和門控進(jìn)行微調(diào),從而保持訓(xùn)練的輕量級和高效性。
未來方向
團(tuán)隊(duì)指出了幾個(gè)擴(kuò)展機(jī)會(huì):
?優(yōu)化TTT 內(nèi)核以加快推理速度
?嘗試使用更大或不同的骨干模型
?探索更復(fù)雜的故事情節(jié)和專題領(lǐng)域
?使用基于Transformer的隱藏狀態(tài)而不是MLP,以提升表現(xiàn)力
TTT視頻生成 vs MoCha vs Goku vs OmniHuman1 vs DreamActor-M1
下表解釋了該模型與其他熱門視頻生成模型之間的差異:
模型 | 核心重點(diǎn) | 輸入類型 | 關(guān)鍵特性 | 與TTT有何不同 |
TTT(測試 時(shí)間訓(xùn)練) | 長格式視頻生成, 附有動(dòng)態(tài)適應(yīng) | 文本故事板 | -推理過程中可調(diào)整 -可處理超過60秒的視頻 -連貫的多場景故事 | 為長視頻設(shè)計(jì),生成過程中可更新內(nèi)部狀態(tài),以確保敘事一致性 |
MoCha | 說話角色生成 | 文本+語音 | -沒有關(guān)鍵點(diǎn)或參照圖像 -語音驅(qū)動(dòng)型通體動(dòng)畫 | 專注于角色對話和表達(dá),而不是全場景敘事視頻 |
Goku | 高質(zhì)量視頻和 圖像生成 | 文本和語音 | -經(jīng)過校正的流Transformer -支持多模態(tài)輸入 | 針對質(zhì)量和訓(xùn)練速度經(jīng)過優(yōu)化;并不為長格式敘事設(shè)計(jì) |
OmniHuman1 | 逼真的人類動(dòng)畫 | 圖像+音頻+文本 | -多重條件信號 -高分辨率化身 | 創(chuàng)建栩栩如生的人類;并不為長序列或動(dòng)態(tài)場景轉(zhuǎn)場建模 |
DreamActor- M1 | 圖像到動(dòng)畫 (臉/身體) | 圖像+驅(qū)動(dòng)視頻 | -整體式運(yùn)動(dòng)模仿 -高幀一致性 | 將靜態(tài)圖像變動(dòng)畫;不使用文本或處理逐一場景的故事生成 |
結(jié)語
測試時(shí)間訓(xùn)練為解決長上下文視頻生成問題提供了一個(gè)引人入勝的新視角。通過讓模型在推理過程中學(xué)習(xí)和適應(yīng),它彌補(bǔ)了敘事方面的關(guān)鍵空白:在這個(gè)領(lǐng)域,連貫性、情感和節(jié)奏完全與視覺保真度同樣重要。
無論你是生成式AI研究人員、創(chuàng)意技術(shù)專家,還是對AI生成的媒體的未來充滿好奇的產(chǎn)品領(lǐng)導(dǎo)者,這篇文章都指向了從文本生成動(dòng)態(tài)連貫視頻的未來。
原文標(biāo)題:Generating One-Minute Videos with Test-Time Training,作者:Nitika Sharma