沒人懷疑，OpenAI開年推出的史詩巨作Sora，將改變視頻相關(guān)領(lǐng)域的內(nèi)容生態(tài)。

但Google DeepMind、UC伯克利和MIT的研究人員更進(jìn)一步，在他們眼里，「大視頻模型」也許能夠像世界模型一樣，真正的做到理解我們身處的這個世界。

論文地址：https://arxiv.org/abs/2402.17139

在作者看來，視頻生成將徹底改變物理世界的決策，就像語言模型如何改變數(shù)字世界一樣。

研究人員認(rèn)為，與文本類似，視頻可以作為一個統(tǒng)一的接口，吸收互聯(lián)網(wǎng)知識并表征不同的任務(wù)。

例如，經(jīng)典的計(jì)算機(jī)視覺任務(wù)可以被視為下一代幀生成任務(wù)（next-frame generation task）。

模型可以通過生成操作視頻（例如「如何制作壽司」）來回答人們的問題，這可能比文本響應(yīng)更直觀。

視覺和算法推理也可以作為下一幀/視頻生成任務(wù)。

視頻也可以統(tǒng)一不同實(shí)體（embodiment）的觀察空間（observation space），因此可以使用單個視頻生成模型為不同機(jī)器人生成視覺執(zhí)行計(jì)劃：

而且就像谷歌剛剛發(fā)布的世界生成模型Genie一樣，視頻生成也是復(fù)雜游戲的真實(shí)模擬器，可以與基于模型的規(guī)劃相結(jié)合，或者用于創(chuàng)建游戲。

生成視頻模擬器對于優(yōu)化科學(xué)和工程領(lǐng)域的控制輸入也很有用，在這些領(lǐng)域可以收集大量視頻數(shù)據(jù)，但底層的物理動力學(xué)很難明確表達(dá)（例如，云運(yùn)動、與軟物體的交互）。

預(yù)測下一幀，會像預(yù)測下一個字那樣改變世界

過去幾年，從互聯(lián)網(wǎng)文本數(shù)據(jù)集訓(xùn)練大語言模型（LLMs）的工作取得了巨大進(jìn)展。

LLM在各種任務(wù)上的出色表現(xiàn)讓人不禁想把人工智能的議程縮減為擴(kuò)大這些系統(tǒng)的規(guī)模。

然而，大語言模型上取得的突破似乎也開始面臨了很多的局限。

首先，可公開獲取的文本數(shù)據(jù)的數(shù)量正變得越來越大。這將成為進(jìn)一步擴(kuò)展的瓶頸。

其次，也許更重要的是，僅靠自然語言可能不足以描述所有智能行為，也無法捕捉我們所處物理世界的所有信息（例如，想象一下僅用語言教人如何打結(jié)）。

雖然語言是描述高層次抽象概念的強(qiáng)大工具，但它并不總是足以捕捉物理世界的所有細(xì)節(jié)。

值得慶幸的是，互聯(lián)網(wǎng)上有豐富的視頻數(shù)據(jù)，僅YouTube上就有超過一萬年的連續(xù)視頻內(nèi)容，其中包含了大量關(guān)于世界的知識信息。

然而，今天在互聯(lián)網(wǎng)文本或視頻數(shù)據(jù)上訓(xùn)練出來的機(jī)器學(xué)習(xí)模型卻表現(xiàn)出了截然不同的能力。LLMs 已經(jīng)能夠處理需要復(fù)雜推理、工具使用和決策制定的復(fù)雜任務(wù)。

相比之下，視頻生成模型的探索較少，主要集中在創(chuàng)建供人類消費(fèi)的娛樂視頻。

鑒于語言建模領(lǐng)域正在發(fā)生的范式轉(zhuǎn)變，研究人員提出這樣一個問題：

我們能否將視頻生成模型提升到與語言模型類似的自主代理、模擬環(huán)境和計(jì)算引擎的水平，從而使機(jī)器人、自動駕駛和科學(xué)等需要視覺模式的應(yīng)用能夠更直接地受益于互聯(lián)網(wǎng)視覺知識和預(yù)訓(xùn)練視頻模型。

研究人員認(rèn)為視頻生成對于物理世界的意義就如同語言模型對于數(shù)字世界的意義。

為了得出這一觀點(diǎn)，我們首先確定了使語言模型能夠解決許多現(xiàn)實(shí)世界任務(wù)的關(guān)鍵組成部分：(1) 能夠從互聯(lián)網(wǎng)吸收廣泛信息的統(tǒng)一表示法（即文本）、

(2) 統(tǒng)一的接口（即文本生成），通過它可以將不同的任務(wù)表達(dá)為生成建模，以及

(3) 語言模型能與外部環(huán)境（如人類、工具和其他模型）交互，根據(jù)外部反饋采取相應(yīng)行動和優(yōu)化決策，如通過人類反饋強(qiáng)化學(xué)習(xí)、規(guī)劃、搜索（姚等人，2023 年）和優(yōu)化等技術(shù)。

從語言模型的這三個方面出發(fā)，研究人員發(fā)現(xiàn)：

(1) 視頻可以作為一種統(tǒng)一的表征，吸收物理世界的廣泛信息；

(2) 視頻生成模型可以表達(dá)或支持計(jì)算機(jī)視覺、嵌入式人工智能和科學(xué)領(lǐng)域的各種任務(wù)；

(3) 視頻生成作為一種預(yù)訓(xùn)練目標(biāo)，為大型視覺模型、行為模型和世界模型引入了互聯(lián)網(wǎng)規(guī)模的監(jiān)督，從而可以提取動作、模擬環(huán)境交互和優(yōu)化決策。

為了進(jìn)一步說明視頻生成如何對現(xiàn)實(shí)世界的應(yīng)用產(chǎn)生深遠(yuǎn)影響，他們深入分析通過指令調(diào)整、上下文學(xué)習(xí)、規(guī)劃和強(qiáng)化學(xué)習(xí)（RL）等技術(shù)，在游戲、機(jī)器人、自動駕駛和科學(xué)等領(lǐng)域?qū)⒁曨l生成用作任務(wù)求解器、問題解答、策略/代理和環(huán)境模擬器。

視頻生成的前提設(shè)置

研究人員將視頻片段表示為一系列圖像幀 x = (x 0 , ..., x t )。圖像本身可被視為具有單幀 x = (x 0 , ) 的特殊視頻。條件視頻生成模型是條件概率 p(x|c)，其中 c 是條件變量。條件概率 p(x | c) 通常由自回歸模型、擴(kuò)散模型或掩蔽Transformer模型進(jìn)行因子化。

根據(jù)不同的因式分解，p(x | c)的采樣要么對應(yīng)于連續(xù)預(yù)測圖像（斑塊），要么對應(yīng)于迭代預(yù)測所有幀（x 0 ，...，x t ）。

根據(jù)條件變量 c 的內(nèi)容，條件視頻生成可以達(dá)到不同的目的。

統(tǒng)一表征法和任務(wù)接口

在本節(jié)中，作者首先介紹了視頻是如何作為一種統(tǒng)一的表征，從互聯(lián)網(wǎng)中捕捉各種類型的信息，從而形成廣泛的知識。

然后，討論如何將計(jì)算機(jī)視覺和人工智能中的各種任務(wù)表述為條件視頻生成問題，從而為現(xiàn)實(shí)世界中的視頻生成決策提供基礎(chǔ)。

作為信息統(tǒng)一表征的視頻

雖然互聯(lián)網(wǎng)文本數(shù)據(jù)通過大型語言模型為數(shù)字/知識世界提供了很多價值，但文本更適合捕捉高級抽象概念，而不是物理世界的低級細(xì)節(jié)。

研究人員列舉幾類難以用文本表達(dá)，但可以通過視頻輕松捕捉的信息。

-視覺和空間信息：這包括視覺細(xì)節(jié)（如顏色、形狀、紋理、光照效果）和空間細(xì)節(jié)（如物體在空間中的排列方式、相對位置、距離、方向和三維信息）。

與文本格式相比，這些信息自然是以圖像/視頻格式存在的。

-物理和動力學(xué)：這包括物體和環(huán)境如何在物理上相互作用的細(xì)節(jié)，如碰撞、操作和其他受物理規(guī)律影響的運(yùn)動。

雖然文字可以描述高層次的運(yùn)動（如 "一輛汽車在街道上行駛"），但往往不足以捕捉低層次的細(xì)節(jié)，如施加在車輛上的扭矩和摩擦力。視頻可以隱含地捕捉到這些信息。

-行為和動作信息：這包括人類行為和代理動作等信息，描述了執(zhí)行任務(wù)（如如何組裝一件家具）的低層次細(xì)節(jié)。

與精確的動作和運(yùn)動等細(xì)節(jié)信息相比，文本大多能捕捉到如何執(zhí)行任務(wù)的高級描述。

為什么是視頻？

有人可能會問，即使文本不足以捕捉上述信息，為什么還要用視頻呢？

視頻除了存在于互聯(lián)網(wǎng)規(guī)模之外，還可以為人類所解讀（類似于文本），因此可以方便地進(jìn)行調(diào)試、交互和安全推測。

此外，視頻是一種靈活的表征方式，可以表征不同空間和時間分辨率的信息，例如以埃級（10 -10 m）運(yùn)動的原子和以每秒萬億幀速度運(yùn)動的光。

作為統(tǒng)一任務(wù)接口的視頻生成

除了能夠吸收廣泛信息的統(tǒng)一表征外，研究人員還從語言建模中看到，需要一個統(tǒng)一的任務(wù)接口，通過它可以使用單一目標(biāo)（如下一個標(biāo)記預(yù)測）來表達(dá)不同的任務(wù)。

同時，正是信息表征（如文本）和任務(wù)接口（如文本生成）之間的一致性，使得廣泛的知識能夠轉(zhuǎn)移到特定任務(wù)的決策中。

經(jīng)典計(jì)算機(jī)視覺任務(wù)

在自然語言處理中，有許多任務(wù)（如機(jī)器翻譯、文本摘要、問題解答、情感分析、命名實(shí)體識別、語音部分標(biāo)記、文本分類等）都是視覺任務(wù)。

文本分類、對話系統(tǒng)，傳統(tǒng)上被視為不同的任務(wù)，但現(xiàn)在都統(tǒng)一到了語言建模的范疇內(nèi)。

這使得不同任務(wù)之間的通用性和知識共享得以加強(qiáng)。

同樣，計(jì)算機(jī)視覺也有一系列廣泛的任務(wù)，包括語義分割、深度估計(jì)、表面法線估計(jì)、姿態(tài)估計(jì)、邊緣檢測和物體跟蹤。

最近的研究表明，可以將不同的視覺任務(wù)轉(zhuǎn)換成上圖所示的視頻生成任務(wù)，而且這種解決視覺任務(wù)的統(tǒng)一方法可以隨著模型大小、數(shù)據(jù)大小和上下文長度的增加而擴(kuò)展。

將視覺任務(wù)轉(zhuǎn)換為視頻生成任務(wù)一般涉及以下步驟：

(1) 將任務(wù)的輸入和輸出（如分割圖、深度圖）結(jié)構(gòu)化到統(tǒng)一的圖像/視頻空間中；

(2) 對圖像幀重新排序，使輸入圖像后跟有特定任務(wù)的預(yù)期輸出圖像（如常規(guī)輸入圖像后跟有深度圖）；

(3) 通過提供輸入-輸出對示例作為條件視頻生成模型的輸入，利用上下文學(xué)習(xí)來指定所需的任務(wù)。

視頻即答案

在傳統(tǒng)的視覺問題解答（VQA）. 隨著視頻生成技術(shù)的發(fā)展，一種新穎的任務(wù)是將視頻作為答案，例如，在回答 「如何制作折紙飛機(jī) 」時生成視頻。

與語言模型可以對文本中的人類詢問生成定制回復(fù)類似，視頻模型也可以對具有大量低級細(xì)節(jié)的如何操作問題生成定制回復(fù)。

對于人類來說，這樣的視頻回答可能比文本回答更受歡迎。

在上圖中，研究人員展示了由文本到視頻模型生成的視頻，這些視頻是對一組 「如何做 」問題的回答。

此外，還可以考慮以初始幀為生成條件，在用戶特定場景中合成視頻答案。

盡管有如此宏大的前景，但當(dāng)今文本到視頻模型合成的視頻一般都太短/太簡單，沒有足夠的信息來完全回答用戶的問題。

合成視頻幀以回答用戶問題的問題與使用語言模型進(jìn)行規(guī)劃有相似之處，人們可以利用語言模型或視覺語言模型將高層次目標(biāo)（如 「如何制作壽司」）分解為具體的子目標(biāo)（如 「首先，將米飯放在滾動墊上」），并為每個子目標(biāo)合成計(jì)劃，同時驗(yàn)證合成計(jì)劃的合理性。

視覺推理和思維鏈

有了統(tǒng)一的信息表征和統(tǒng)一的任務(wù)界面，語言模型中就出現(xiàn)了推理，模型可以推導(dǎo)出相關(guān)信息，作為解決更復(fù)雜問題的中間步驟。

同樣，以視頻作為統(tǒng)一的表示和任務(wù)界面，視頻生成也通過預(yù)測圖像的遮蔽區(qū)域顯示出視覺推理的早期跡象，如上圖所示。

通過生成具有正確輔助線集的視頻，下一幀預(yù)測是否可用于解決更復(fù)雜的幾何問題，這將是一個有趣的課題。

在利用下一幀預(yù)測進(jìn)行視覺推理和解決幾何問題的基礎(chǔ)上，還可以利用以下方法進(jìn)一步描述推理過程和算法。

具體來說，利用視頻描述了廣度優(yōu)先搜索（BFS）算法的執(zhí)行狀態(tài)。

在這種情況下，學(xué)習(xí)生成視頻就相當(dāng)于學(xué)習(xí)搜索，如上圖所示。

雖然圖 3 和圖 4 中的示例可能看起來有些矯揉造作，但它們作為早期指標(biāo)表明，視頻生成作為一種預(yù)訓(xùn)練任務(wù)，可能會引發(fā)類似于語言模型的推理行為，從而揭示了利用視頻生成解決復(fù)雜推理和算法任務(wù)的機(jī)會。

作為統(tǒng)一狀態(tài)-行動空間的視頻

視頻生成可以吸收廣泛的知識并描述不同的視覺任務(wù)。

研究人員將通過提供體現(xiàn)式人工智能中使用視頻作為統(tǒng)一表征和任務(wù)界面的具體實(shí)例來進(jìn)一步支持這一觀點(diǎn)。

數(shù)據(jù)碎片化是體現(xiàn)式人工智能長期面臨的挑戰(zhàn)之一，在這種情況下，一個機(jī)器人在執(zhí)行一組任務(wù)時收集的數(shù)據(jù)集很難用于不同機(jī)器人或不同任務(wù)的學(xué)習(xí)。

跨機(jī)器人和跨任務(wù)知識共享的主要困難在于，每種類型的機(jī)器人和任務(wù)都有不同的狀態(tài)-行動空間。為了解決這一難題，可以使用像素空間作為跨任務(wù)和環(huán)境的統(tǒng)一狀態(tài)行動空間。

在這一框架下，可將機(jī)器人規(guī)劃視為條件視頻生成問題，從而受益于互聯(lián)網(wǎng)預(yù)訓(xùn)練視頻生成模型。

大多數(shù)現(xiàn)有工作都是為每個機(jī)器人訓(xùn)練一個視頻生成模型，這削弱了將視頻作為統(tǒng)一的狀態(tài)-動作空間用于體現(xiàn)式學(xué)習(xí)的潛在優(yōu)勢。

在上圖中提供了在 Open X-Embodiment 數(shù)據(jù)集 之前和新生成的視頻計(jì)劃看起來都非常逼真，并成功完成了指定任務(wù)。

視頻生成即模擬

視頻生成技術(shù)不僅能解決前文提到的眾多任務(wù)，還能夠在另一個重要領(lǐng)域發(fā)揮作用——模擬各種系統(tǒng)和過程的視覺效果，進(jìn)而根據(jù)模擬結(jié)果優(yōu)化系統(tǒng)的控制策略。

這一能力對于那些能夠收集到大量視頻數(shù)據(jù)，但難以精確描述底層物理動態(tài)的應(yīng)用場景尤為重要，如云層的流動、與柔軟物體的交互等。

游戲環(huán)境的生成

多年來，游戲已成為測試AI算法的理想平臺。舉個例子，街機(jī)學(xué)習(xí)環(huán)境（Arcade Learning Environment）推動了深度Q學(xué)習(xí)技術(shù)的發(fā)展，這一技術(shù)成功讓AI智能體首次在Atari游戲中達(dá)到了人類的水平。

同樣的，我們可以通過與游戲引擎中的真實(shí)模擬結(jié)果進(jìn)行對比，來驗(yàn)證生成式模擬器的質(zhì)量。

- 模擬復(fù)雜游戲環(huán)境

通過動作條件下的視頻生成技術(shù)，可以模擬出像Minecraft這類復(fù)雜電腦游戲的環(huán)境動態(tài)。

基于此，研究人員提出了一個能夠根據(jù)以往的游戲進(jìn)程預(yù)測未來的動作和游戲狀態(tài)的Transformer模型。

游戲中的觀察結(jié)果和玩家動作都被轉(zhuǎn)化為了Token，這樣就把預(yù)測下一步動作簡化為了預(yù)測下一個Token。

值得注意的是，在這種情況下，模型既可以作為世界模型，也可以作為行動策略。

如圖6所示，給定一個以行動結(jié)束的觀察和行動交替序列，模型就能推斷出下一個觀察結(jié)果（世界模型）；給定一個以觀察結(jié)束的類似序列，模型就能推斷出下一個要采取的行動（策略）。

借助這種策略和動態(tài)分析骨干，還可以應(yīng)用基于模型的強(qiáng)化學(xué)習(xí)算法，如Dyna、Dreamer和MuZero，來進(jìn)一步優(yōu)化策略。

- 創(chuàng)造新型游戲環(huán)境

在游戲AI領(lǐng)域，程序化創(chuàng)造新型游戲內(nèi)容和關(guān)卡是一個熱門研究方向，而這也已被證實(shí)對訓(xùn)練和評價強(qiáng)化學(xué)習(xí)（RL）智能體非常有用。

如圖7所示，通過學(xué)習(xí)大規(guī)模互聯(lián)網(wǎng)上未經(jīng)標(biāo)注的游戲數(shù)據(jù)中的潛動作，然后訓(xùn)練一個可控制動作的視頻模型，可以實(shí)現(xiàn)從一張?zhí)崾緢D像生成無限可能的多樣化互動環(huán)境。

雖然這項(xiàng)工作還處于探索階段，但在未來，我們或許可以通過集成學(xué)習(xí)到的獎勵模型，讓RL智能體在完全由生成模型創(chuàng)造的游戲環(huán)境中進(jìn)行訓(xùn)練。

機(jī)器人與自動駕駛

模擬SE(3)動作空間是機(jī)器人學(xué)習(xí)領(lǐng)域的一大挑戰(zhàn)，尤其體現(xiàn)在如何將在虛擬模擬器中訓(xùn)練的策略成功應(yīng)用到真實(shí)機(jī)器人上的問題。

此前的研究成功地在真實(shí)機(jī)器人的視頻數(shù)據(jù)上，針對Language Table環(huán)境，學(xué)習(xí)了一個基于動作的下一幀預(yù)測模型，并采用了一個簡單的笛卡爾（Cartesian）動作空間。

如圖8所示，可以看到，下一幀預(yù)測能夠預(yù)測出SE(3)空間中更為通用的末端執(zhí)行器動作所產(chǎn)生的視覺效果。

生成式SE(3)模擬器的一個直接應(yīng)用是評估機(jī)器人策略，這在涉及真實(shí)機(jī)器人評估的安全考慮時特別重要。

除了評估，此前的研究還在Language Table環(huán)境中使用來自生成式模擬器的rollouts訓(xùn)練了強(qiáng)化學(xué)習(xí)（RL）策略。

下一個步驟可能是，使用Dyna式算法并結(jié)合模擬的演示和真實(shí)環(huán)境的數(shù)據(jù)來學(xué)習(xí)策略。

在這種情況下，當(dāng)策略在執(zhí)行時，真實(shí)世界的視頻會被收集起來，為生成式模擬器提供額外的示范和反饋。

最后，通過在多樣化環(huán)境中進(jìn)行視頻演示，生成式模擬器能夠有效地訓(xùn)練多任務(wù)和多環(huán)境策略，這在之前是無法實(shí)現(xiàn)的，因?yàn)橥ǔＲ粋€策略一次只能接觸到一個真實(shí)世界環(huán)境。

科學(xué)與工程

視頻已經(jīng)成為了跨越眾多科學(xué)和工程領(lǐng)域的一個統(tǒng)一的表現(xiàn)形式，對醫(yī)學(xué)成像、計(jì)算機(jī)圖像處理、計(jì)算流體動力學(xué)等領(lǐng)域的研究產(chǎn)生了影響。

在一些情況下，雖然我們可以通過攝像頭輕松捕捉到視覺信息，但是很難識別背后的動態(tài)系統(tǒng)（比如云的運(yùn)動，或者電子顯微鏡下原子的運(yùn)動）。

而基于控制輸入的視頻生成模型可以成為一個有效的視覺模擬工具，進(jìn)而幫助我們得到更優(yōu)的控制方案。

下圖展示了硅原子在碳原子單層上，在電子束的刺激下的動態(tài)變化。可以看到，這種生成式模擬器能夠準(zhǔn)確地在像素層面捕捉硅原子的移動。

除了幫助縮小模擬與現(xiàn)實(shí)之間的差距，生成式模擬器還有一個優(yōu)點(diǎn)是它們的計(jì)算成本是固定的，這在傳統(tǒng)計(jì)算方法無法應(yīng)對的情況下尤為重要。

總結(jié)

總結(jié)而言，研究人員認(rèn)為，視頻生成技術(shù)在物理世界的作用，就像語言模型在數(shù)字世界中的角色一樣重要。

團(tuán)隊(duì)通過展示視頻如何能夠像語言模型一樣，廣泛地表達(dá)信息和執(zhí)行任務(wù)來支持這個觀點(diǎn)。

并且，從新的角度探討了視頻生成技術(shù)的應(yīng)用，這些應(yīng)用通過結(jié)合推理、場景中的學(xué)習(xí)、搜索、規(guī)劃和強(qiáng)化學(xué)習(xí)等方法，來解決現(xiàn)實(shí)世界中的問題。

雖然視頻生成模型面臨著如虛假生成（幻覺）和泛化能力等挑戰(zhàn)，但它們有潛力成為自主的AI智能體、規(guī)劃者、環(huán)境模擬器和計(jì)算平臺，并最終可能作為一種人工智能大腦，在物理世界中進(jìn)行思考和行動。