沒(méi)人懷疑，OpenAI開年推出的史詩(shī)巨作Sora，將改變視頻相關(guān)領(lǐng)域的內(nèi)容生態(tài)。

但Google DeepMind、UC伯克利和MIT的研究人員更進(jìn)一步，在他們眼里，「大視頻模型」也許能夠像世界模型一樣，真正的做到理解我們身處的這個(gè)世界。

論文地址：https://arxiv.org/abs/2402.17139

在作者看來(lái)，視頻生成將徹底改變物理世界的決策，就像語(yǔ)言模型如何改變數(shù)字世界一樣。

研究人員認(rèn)為，與文本類似，視頻可以作為一個(gè)統(tǒng)一的接口，吸收互聯(lián)網(wǎng)知識(shí)并表征不同的任務(wù)。

例如，經(jīng)典的計(jì)算機(jī)視覺(jué)任務(wù)可以被視為下一代幀生成任務(wù)（next-frame generation task）。

模型可以通過(guò)生成操作視頻（例如「如何制作壽司」）來(lái)回答人們的問(wèn)題，這可能比文本響應(yīng)更直觀。

視覺(jué)和算法推理也可以作為下一幀/視頻生成任務(wù)。

視頻也可以統(tǒng)一不同實(shí)體（embodiment）的觀察空間（observation space），因此可以使用單個(gè)視頻生成模型為不同機(jī)器人生成視覺(jué)執(zhí)行計(jì)劃：

而且就像谷歌剛剛發(fā)布的世界生成模型Genie一樣，視頻生成也是復(fù)雜游戲的真實(shí)模擬器，可以與基于模型的規(guī)劃相結(jié)合，或者用于創(chuàng)建游戲。

生成視頻模擬器對(duì)于優(yōu)化科學(xué)和工程領(lǐng)域的控制輸入也很有用，在這些領(lǐng)域可以收集大量視頻數(shù)據(jù)，但底層的物理動(dòng)力學(xué)很難明確表達(dá)（例如，云運(yùn)動(dòng)、與軟物體的交互）。

預(yù)測(cè)下一幀，會(huì)像預(yù)測(cè)下一個(gè)字那樣改變世界

過(guò)去幾年，從互聯(lián)網(wǎng)文本數(shù)據(jù)集訓(xùn)練大語(yǔ)言模型（LLMs）的工作取得了巨大進(jìn)展。

LLM在各種任務(wù)上的出色表現(xiàn)讓人不禁想把人工智能的議程縮減為擴(kuò)大這些系統(tǒng)的規(guī)模。

然而，大語(yǔ)言模型上取得的突破似乎也開始面臨了很多的局限。

首先，可公開獲取的文本數(shù)據(jù)的數(shù)量正變得越來(lái)越大。這將成為進(jìn)一步擴(kuò)展的瓶頸。

其次，也許更重要的是，僅靠自然語(yǔ)言可能不足以描述所有智能行為，也無(wú)法捕捉我們所處物理世界的所有信息（例如，想象一下僅用語(yǔ)言教人如何打結(jié)）。

雖然語(yǔ)言是描述高層次抽象概念的強(qiáng)大工具，但它并不總是足以捕捉物理世界的所有細(xì)節(jié)。

值得慶幸的是，互聯(lián)網(wǎng)上有豐富的視頻數(shù)據(jù)，僅YouTube上就有超過(guò)一萬(wàn)年的連續(xù)視頻內(nèi)容，其中包含了大量關(guān)于世界的知識(shí)信息。

然而，今天在互聯(lián)網(wǎng)文本或視頻數(shù)據(jù)上訓(xùn)練出來(lái)的機(jī)器學(xué)習(xí)模型卻表現(xiàn)出了截然不同的能力。LLMs 已經(jīng)能夠處理需要復(fù)雜推理、工具使用和決策制定的復(fù)雜任務(wù)。

相比之下，視頻生成模型的探索較少，主要集中在創(chuàng)建供人類消費(fèi)的娛樂(lè)視頻。

鑒于語(yǔ)言建模領(lǐng)域正在發(fā)生的范式轉(zhuǎn)變，研究人員提出這樣一個(gè)問(wèn)題：

我們能否將視頻生成模型提升到與語(yǔ)言模型類似的自主代理、模擬環(huán)境和計(jì)算引擎的水平，從而使機(jī)器人、自動(dòng)駕駛和科學(xué)等需要視覺(jué)模式的應(yīng)用能夠更直接地受益于互聯(lián)網(wǎng)視覺(jué)知識(shí)和預(yù)訓(xùn)練視頻模型。

研究人員認(rèn)為視頻生成對(duì)于物理世界的意義就如同語(yǔ)言模型對(duì)于數(shù)字世界的意義。

為了得出這一觀點(diǎn)，我們首先確定了使語(yǔ)言模型能夠解決許多現(xiàn)實(shí)世界任務(wù)的關(guān)鍵組成部分：(1) 能夠從互聯(lián)網(wǎng)吸收廣泛信息的統(tǒng)一表示法（即文本）、

(2) 統(tǒng)一的接口（即文本生成），通過(guò)它可以將不同的任務(wù)表達(dá)為生成建模，以及

(3) 語(yǔ)言模型能與外部環(huán)境（如人類、工具和其他模型）交互，根據(jù)外部反饋采取相應(yīng)行動(dòng)和優(yōu)化決策，如通過(guò)人類反饋強(qiáng)化學(xué)習(xí)、規(guī)劃、搜索（姚等人，2023 年）和優(yōu)化等技術(shù)。

從語(yǔ)言模型的這三個(gè)方面出發(fā)，研究人員發(fā)現(xiàn)：

(1) 視頻可以作為一種統(tǒng)一的表征，吸收物理世界的廣泛信息；

(2) 視頻生成模型可以表達(dá)或支持計(jì)算機(jī)視覺(jué)、嵌入式人工智能和科學(xué)領(lǐng)域的各種任務(wù)；

(3) 視頻生成作為一種預(yù)訓(xùn)練目標(biāo)，為大型視覺(jué)模型、行為模型和世界模型引入了互聯(lián)網(wǎng)規(guī)模的監(jiān)督，從而可以提取動(dòng)作、模擬環(huán)境交互和優(yōu)化決策。

為了進(jìn)一步說(shuō)明視頻生成如何對(duì)現(xiàn)實(shí)世界的應(yīng)用產(chǎn)生深遠(yuǎn)影響，他們深入分析通過(guò)指令調(diào)整、上下文學(xué)習(xí)、規(guī)劃和強(qiáng)化學(xué)習(xí)（RL）等技術(shù)，在游戲、機(jī)器人、自動(dòng)駕駛和科學(xué)等領(lǐng)域?qū)⒁曨l生成用作任務(wù)求解器、問(wèn)題解答、策略/代理和環(huán)境模擬器。

視頻生成的前提設(shè)置

研究人員將視頻片段表示為一系列圖像幀 x = (x 0 , ..., x t )。圖像本身可被視為具有單幀 x = (x 0 , ) 的特殊視頻。條件視頻生成模型是條件概率 p(x|c)，其中 c 是條件變量。條件概率 p(x | c) 通常由自回歸模型、擴(kuò)散模型或掩蔽Transformer模型進(jìn)行因子化。

根據(jù)不同的因式分解，p(x | c)的采樣要么對(duì)應(yīng)于連續(xù)預(yù)測(cè)圖像（斑塊），要么對(duì)應(yīng)于迭代預(yù)測(cè)所有幀（x 0 ，...，x t ）。

根據(jù)條件變量 c 的內(nèi)容，條件視頻生成可以達(dá)到不同的目的。

統(tǒng)一表征法和任務(wù)接口

在本節(jié)中，作者首先介紹了視頻是如何作為一種統(tǒng)一的表征，從互聯(lián)網(wǎng)中捕捉各種類型的信息，從而形成廣泛的知識(shí)。

然后，討論如何將計(jì)算機(jī)視覺(jué)和人工智能中的各種任務(wù)表述為條件視頻生成問(wèn)題，從而為現(xiàn)實(shí)世界中的視頻生成決策提供基礎(chǔ)。

作為信息統(tǒng)一表征的視頻

雖然互聯(lián)網(wǎng)文本數(shù)據(jù)通過(guò)大型語(yǔ)言模型為數(shù)字/知識(shí)世界提供了很多價(jià)值，但文本更適合捕捉高級(jí)抽象概念，而不是物理世界的低級(jí)細(xì)節(jié)。

研究人員列舉幾類難以用文本表達(dá)，但可以通過(guò)視頻輕松捕捉的信息。

-視覺(jué)和空間信息：這包括視覺(jué)細(xì)節(jié)（如顏色、形狀、紋理、光照效果）和空間細(xì)節(jié)（如物體在空間中的排列方式、相對(duì)位置、距離、方向和三維信息）。

與文本格式相比，這些信息自然是以圖像/視頻格式存在的。

-物理和動(dòng)力學(xué)：這包括物體和環(huán)境如何在物理上相互作用的細(xì)節(jié)，如碰撞、操作和其他受物理規(guī)律影響的運(yùn)動(dòng)。

雖然文字可以描述高層次的運(yùn)動(dòng)（如 "一輛汽車在街道上行駛"），但往往不足以捕捉低層次的細(xì)節(jié)，如施加在車輛上的扭矩和摩擦力。視頻可以隱含地捕捉到這些信息。

-行為和動(dòng)作信息：這包括人類行為和代理動(dòng)作等信息，描述了執(zhí)行任務(wù)（如如何組裝一件家具）的低層次細(xì)節(jié)。

與精確的動(dòng)作和運(yùn)動(dòng)等細(xì)節(jié)信息相比，文本大多能捕捉到如何執(zhí)行任務(wù)的高級(jí)描述。

為什么是視頻？

有人可能會(huì)問(wèn)，即使文本不足以捕捉上述信息，為什么還要用視頻呢？

視頻除了存在于互聯(lián)網(wǎng)規(guī)模之外，還可以為人類所解讀（類似于文本），因此可以方便地進(jìn)行調(diào)試、交互和安全推測(cè)。

此外，視頻是一種靈活的表征方式，可以表征不同空間和時(shí)間分辨率的信息，例如以埃級(jí)（10 -10 m）運(yùn)動(dòng)的原子和以每秒萬(wàn)億幀速度運(yùn)動(dòng)的光。

作為統(tǒng)一任務(wù)接口的視頻生成

除了能夠吸收廣泛信息的統(tǒng)一表征外，研究人員還從語(yǔ)言建模中看到，需要一個(gè)統(tǒng)一的任務(wù)接口，通過(guò)它可以使用單一目標(biāo)（如下一個(gè)標(biāo)記預(yù)測(cè)）來(lái)表達(dá)不同的任務(wù)。

同時(shí)，正是信息表征（如文本）和任務(wù)接口（如文本生成）之間的一致性，使得廣泛的知識(shí)能夠轉(zhuǎn)移到特定任務(wù)的決策中。

經(jīng)典計(jì)算機(jī)視覺(jué)任務(wù)

在自然語(yǔ)言處理中，有許多任務(wù)（如機(jī)器翻譯、文本摘要、問(wèn)題解答、情感分析、命名實(shí)體識(shí)別、語(yǔ)音部分標(biāo)記、文本分類等）都是視覺(jué)任務(wù)。

文本分類、對(duì)話系統(tǒng)，傳統(tǒng)上被視為不同的任務(wù)，但現(xiàn)在都統(tǒng)一到了語(yǔ)言建模的范疇內(nèi)。

這使得不同任務(wù)之間的通用性和知識(shí)共享得以加強(qiáng)。

同樣，計(jì)算機(jī)視覺(jué)也有一系列廣泛的任務(wù)，包括語(yǔ)義分割、深度估計(jì)、表面法線估計(jì)、姿態(tài)估計(jì)、邊緣檢測(cè)和物體跟蹤。

最近的研究表明，可以將不同的視覺(jué)任務(wù)轉(zhuǎn)換成上圖所示的視頻生成任務(wù)，而且這種解決視覺(jué)任務(wù)的統(tǒng)一方法可以隨著模型大小、數(shù)據(jù)大小和上下文長(zhǎng)度的增加而擴(kuò)展。

將視覺(jué)任務(wù)轉(zhuǎn)換為視頻生成任務(wù)一般涉及以下步驟：

(1) 將任務(wù)的輸入和輸出（如分割圖、深度圖）結(jié)構(gòu)化到統(tǒng)一的圖像/視頻空間中；

(2) 對(duì)圖像幀重新排序，使輸入圖像后跟有特定任務(wù)的預(yù)期輸出圖像（如常規(guī)輸入圖像后跟有深度圖）；

(3) 通過(guò)提供輸入-輸出對(duì)示例作為條件視頻生成模型的輸入，利用上下文學(xué)習(xí)來(lái)指定所需的任務(wù)。

視頻即答案

在傳統(tǒng)的視覺(jué)問(wèn)題解答（VQA）. 隨著視頻生成技術(shù)的發(fā)展，一種新穎的任務(wù)是將視頻作為答案，例如，在回答 「如何制作折紙飛機(jī) 」時(shí)生成視頻。

與語(yǔ)言模型可以對(duì)文本中的人類詢問(wèn)生成定制回復(fù)類似，視頻模型也可以對(duì)具有大量低級(jí)細(xì)節(jié)的如何操作問(wèn)題生成定制回復(fù)。

對(duì)于人類來(lái)說(shuō)，這樣的視頻回答可能比文本回答更受歡迎。

在上圖中，研究人員展示了由文本到視頻模型生成的視頻，這些視頻是對(duì)一組 「如何做 」問(wèn)題的回答。

此外，還可以考慮以初始幀為生成條件，在用戶特定場(chǎng)景中合成視頻答案。

盡管有如此宏大的前景，但當(dāng)今文本到視頻模型合成的視頻一般都太短/太簡(jiǎn)單，沒(méi)有足夠的信息來(lái)完全回答用戶的問(wèn)題。

合成視頻幀以回答用戶問(wèn)題的問(wèn)題與使用語(yǔ)言模型進(jìn)行規(guī)劃有相似之處，人們可以利用語(yǔ)言模型或視覺(jué)語(yǔ)言模型將高層次目標(biāo)（如 「如何制作壽司」）分解為具體的子目標(biāo)（如 「首先，將米飯放在滾動(dòng)墊上」），并為每個(gè)子目標(biāo)合成計(jì)劃，同時(shí)驗(yàn)證合成計(jì)劃的合理性。

視覺(jué)推理和思維鏈

有了統(tǒng)一的信息表征和統(tǒng)一的任務(wù)界面，語(yǔ)言模型中就出現(xiàn)了推理，模型可以推導(dǎo)出相關(guān)信息，作為解決更復(fù)雜問(wèn)題的中間步驟。

同樣，以視頻作為統(tǒng)一的表示和任務(wù)界面，視頻生成也通過(guò)預(yù)測(cè)圖像的遮蔽區(qū)域顯示出視覺(jué)推理的早期跡象，如上圖所示。

通過(guò)生成具有正確輔助線集的視頻，下一幀預(yù)測(cè)是否可用于解決更復(fù)雜的幾何問(wèn)題，這將是一個(gè)有趣的課題。

在利用下一幀預(yù)測(cè)進(jìn)行視覺(jué)推理和解決幾何問(wèn)題的基礎(chǔ)上，還可以利用以下方法進(jìn)一步描述推理過(guò)程和算法。

具體來(lái)說(shuō)，利用視頻描述了廣度優(yōu)先搜索（BFS）算法的執(zhí)行狀態(tài)。

在這種情況下，學(xué)習(xí)生成視頻就相當(dāng)于學(xué)習(xí)搜索，如上圖所示。

雖然圖 3 和圖 4 中的示例可能看起來(lái)有些矯揉造作，但它們作為早期指標(biāo)表明，視頻生成作為一種預(yù)訓(xùn)練任務(wù)，可能會(huì)引發(fā)類似于語(yǔ)言模型的推理行為，從而揭示了利用視頻生成解決復(fù)雜推理和算法任務(wù)的機(jī)會(huì)。

作為統(tǒng)一狀態(tài)-行動(dòng)空間的視頻

視頻生成可以吸收廣泛的知識(shí)并描述不同的視覺(jué)任務(wù)。

研究人員將通過(guò)提供體現(xiàn)式人工智能中使用視頻作為統(tǒng)一表征和任務(wù)界面的具體實(shí)例來(lái)進(jìn)一步支持這一觀點(diǎn)。

數(shù)據(jù)碎片化是體現(xiàn)式人工智能長(zhǎng)期面臨的挑戰(zhàn)之一，在這種情況下，一個(gè)機(jī)器人在執(zhí)行一組任務(wù)時(shí)收集的數(shù)據(jù)集很難用于不同機(jī)器人或不同任務(wù)的學(xué)習(xí)。

跨機(jī)器人和跨任務(wù)知識(shí)共享的主要困難在于，每種類型的機(jī)器人和任務(wù)都有不同的狀態(tài)-行動(dòng)空間。為了解決這一難題，可以使用像素空間作為跨任務(wù)和環(huán)境的統(tǒng)一狀態(tài)行動(dòng)空間。

在這一框架下，可將機(jī)器人規(guī)劃視為條件視頻生成問(wèn)題，從而受益于互聯(lián)網(wǎng)預(yù)訓(xùn)練視頻生成模型。

大多數(shù)現(xiàn)有工作都是為每個(gè)機(jī)器人訓(xùn)練一個(gè)視頻生成模型，這削弱了將視頻作為統(tǒng)一的狀態(tài)-動(dòng)作空間用于體現(xiàn)式學(xué)習(xí)的潛在優(yōu)勢(shì)。

在上圖中提供了在 Open X-Embodiment 數(shù)據(jù)集 之前和新生成的視頻計(jì)劃看起來(lái)都非常逼真，并成功完成了指定任務(wù)。

視頻生成即模擬

視頻生成技術(shù)不僅能解決前文提到的眾多任務(wù)，還能夠在另一個(gè)重要領(lǐng)域發(fā)揮作用——模擬各種系統(tǒng)和過(guò)程的視覺(jué)效果，進(jìn)而根據(jù)模擬結(jié)果優(yōu)化系統(tǒng)的控制策略。

這一能力對(duì)于那些能夠收集到大量視頻數(shù)據(jù)，但難以精確描述底層物理動(dòng)態(tài)的應(yīng)用場(chǎng)景尤為重要，如云層的流動(dòng)、與柔軟物體的交互等。

游戲環(huán)境的生成

多年來(lái)，游戲已成為測(cè)試AI算法的理想平臺(tái)。舉個(gè)例子，街機(jī)學(xué)習(xí)環(huán)境（Arcade Learning Environment）推動(dòng)了深度Q學(xué)習(xí)技術(shù)的發(fā)展，這一技術(shù)成功讓AI智能體首次在Atari游戲中達(dá)到了人類的水平。

同樣的，我們可以通過(guò)與游戲引擎中的真實(shí)模擬結(jié)果進(jìn)行對(duì)比，來(lái)驗(yàn)證生成式模擬器的質(zhì)量。

- 模擬復(fù)雜游戲環(huán)境

通過(guò)動(dòng)作條件下的視頻生成技術(shù)，可以模擬出像Minecraft這類復(fù)雜電腦游戲的環(huán)境動(dòng)態(tài)。

基于此，研究人員提出了一個(gè)能夠根據(jù)以往的游戲進(jìn)程預(yù)測(cè)未來(lái)的動(dòng)作和游戲狀態(tài)的Transformer模型。

游戲中的觀察結(jié)果和玩家動(dòng)作都被轉(zhuǎn)化為了Token，這樣就把預(yù)測(cè)下一步動(dòng)作簡(jiǎn)化為了預(yù)測(cè)下一個(gè)Token。

值得注意的是，在這種情況下，模型既可以作為世界模型，也可以作為行動(dòng)策略。

如圖6所示，給定一個(gè)以行動(dòng)結(jié)束的觀察和行動(dòng)交替序列，模型就能推斷出下一個(gè)觀察結(jié)果（世界模型）；給定一個(gè)以觀察結(jié)束的類似序列，模型就能推斷出下一個(gè)要采取的行動(dòng)（策略）。

借助這種策略和動(dòng)態(tài)分析骨干，還可以應(yīng)用基于模型的強(qiáng)化學(xué)習(xí)算法，如Dyna、Dreamer和MuZero，來(lái)進(jìn)一步優(yōu)化策略。

- 創(chuàng)造新型游戲環(huán)境

在游戲AI領(lǐng)域，程序化創(chuàng)造新型游戲內(nèi)容和關(guān)卡是一個(gè)熱門研究方向，而這也已被證實(shí)對(duì)訓(xùn)練和評(píng)價(jià)強(qiáng)化學(xué)習(xí)（RL）智能體非常有用。

如圖7所示，通過(guò)學(xué)習(xí)大規(guī)?；ヂ?lián)網(wǎng)上未經(jīng)標(biāo)注的游戲數(shù)據(jù)中的潛動(dòng)作，然后訓(xùn)練一個(gè)可控制動(dòng)作的視頻模型，可以實(shí)現(xiàn)從一張?zhí)崾緢D像生成無(wú)限可能的多樣化互動(dòng)環(huán)境。

雖然這項(xiàng)工作還處于探索階段，但在未來(lái)，我們或許可以通過(guò)集成學(xué)習(xí)到的獎(jiǎng)勵(lì)模型，讓RL智能體在完全由生成模型創(chuàng)造的游戲環(huán)境中進(jìn)行訓(xùn)練。

機(jī)器人與自動(dòng)駕駛

模擬SE(3)動(dòng)作空間是機(jī)器人學(xué)習(xí)領(lǐng)域的一大挑戰(zhàn)，尤其體現(xiàn)在如何將在虛擬模擬器中訓(xùn)練的策略成功應(yīng)用到真實(shí)機(jī)器人上的問(wèn)題。

此前的研究成功地在真實(shí)機(jī)器人的視頻數(shù)據(jù)上，針對(duì)Language Table環(huán)境，學(xué)習(xí)了一個(gè)基于動(dòng)作的下一幀預(yù)測(cè)模型，并采用了一個(gè)簡(jiǎn)單的笛卡爾（Cartesian）動(dòng)作空間。

如圖8所示，可以看到，下一幀預(yù)測(cè)能夠預(yù)測(cè)出SE(3)空間中更為通用的末端執(zhí)行器動(dòng)作所產(chǎn)生的視覺(jué)效果。

生成式SE(3)模擬器的一個(gè)直接應(yīng)用是評(píng)估機(jī)器人策略，這在涉及真實(shí)機(jī)器人評(píng)估的安全考慮時(shí)特別重要。

除了評(píng)估，此前的研究還在Language Table環(huán)境中使用來(lái)自生成式模擬器的rollouts訓(xùn)練了強(qiáng)化學(xué)習(xí)（RL）策略。

下一個(gè)步驟可能是，使用Dyna式算法并結(jié)合模擬的演示和真實(shí)環(huán)境的數(shù)據(jù)來(lái)學(xué)習(xí)策略。

在這種情況下，當(dāng)策略在執(zhí)行時(shí)，真實(shí)世界的視頻會(huì)被收集起來(lái)，為生成式模擬器提供額外的示范和反饋。

最后，通過(guò)在多樣化環(huán)境中進(jìn)行視頻演示，生成式模擬器能夠有效地訓(xùn)練多任務(wù)和多環(huán)境策略，這在之前是無(wú)法實(shí)現(xiàn)的，因?yàn)橥ǔＲ粋€(gè)策略一次只能接觸到一個(gè)真實(shí)世界環(huán)境。

科學(xué)與工程

視頻已經(jīng)成為了跨越眾多科學(xué)和工程領(lǐng)域的一個(gè)統(tǒng)一的表現(xiàn)形式，對(duì)醫(yī)學(xué)成像、計(jì)算機(jī)圖像處理、計(jì)算流體動(dòng)力學(xué)等領(lǐng)域的研究產(chǎn)生了影響。

在一些情況下，雖然我們可以通過(guò)攝像頭輕松捕捉到視覺(jué)信息，但是很難識(shí)別背后的動(dòng)態(tài)系統(tǒng)（比如云的運(yùn)動(dòng)，或者電子顯微鏡下原子的運(yùn)動(dòng)）。

而基于控制輸入的視頻生成模型可以成為一個(gè)有效的視覺(jué)模擬工具，進(jìn)而幫助我們得到更優(yōu)的控制方案。

下圖展示了硅原子在碳原子單層上，在電子束的刺激下的動(dòng)態(tài)變化?？梢钥吹剑@種生成式模擬器能夠準(zhǔn)確地在像素層面捕捉硅原子的移動(dòng)。

除了幫助縮小模擬與現(xiàn)實(shí)之間的差距，生成式模擬器還有一個(gè)優(yōu)點(diǎn)是它們的計(jì)算成本是固定的，這在傳統(tǒng)計(jì)算方法無(wú)法應(yīng)對(duì)的情況下尤為重要。

總結(jié)

總結(jié)而言，研究人員認(rèn)為，視頻生成技術(shù)在物理世界的作用，就像語(yǔ)言模型在數(shù)字世界中的角色一樣重要。

團(tuán)隊(duì)通過(guò)展示視頻如何能夠像語(yǔ)言模型一樣，廣泛地表達(dá)信息和執(zhí)行任務(wù)來(lái)支持這個(gè)觀點(diǎn)。

并且，從新的角度探討了視頻生成技術(shù)的應(yīng)用，這些應(yīng)用通過(guò)結(jié)合推理、場(chǎng)景中的學(xué)習(xí)、搜索、規(guī)劃和強(qiáng)化學(xué)習(xí)等方法，來(lái)解決現(xiàn)實(shí)世界中的問(wèn)題。

雖然視頻生成模型面臨著如虛假生成（幻覺(jué)）和泛化能力等挑戰(zhàn)，但它們有潛力成為自主的AI智能體、規(guī)劃者、環(huán)境模擬器和計(jì)算平臺(tái)，并最終可能作為一種人工智能大腦，在物理世界中進(jìn)行思考和行動(dòng)。