想象一下，僅用一張GPU，就能實時生成永不消失的3D世界——這不再是科幻小說，而是李飛飛團隊帶給我們的現(xiàn)實。
?

今天，李飛飛及其團隊正式發(fā)布了全新的世界模型RTFM（A Real-Time Frame Model），憑借其實時運行、持久性和3D一致性三大特性，成功實現(xiàn)了僅靠單張H100 GPU即可流暢運行的技術突破。
?

?

這不僅解決了長期困擾世界模型發(fā)展的算力瓶頸問題，更意味著曾經(jīng)只屬于科技巨頭的世界模型技術，即將進入更廣闊的應用場景，對游戲、影視、零售、家居設計等消費領域產(chǎn)生深遠影響。

?

世界模型的算力困境與RTFM的突破

?

世界模型作為一種能夠理解物理環(huán)境動態(tài)特征的生成式AI模型，可以通過文字、圖像、視頻及動作數(shù)據(jù)生成影片，并實現(xiàn)對現(xiàn)實世界的自主導航與模擬。與當前主流的大語言模型不同，世界模型通過學習視頻和機器人數(shù)據(jù)來理解現(xiàn)實世界，致力于將AI能力拓展至實體產(chǎn)品。

?

然而，世界模型的發(fā)展一直面臨著巨大的算力挑戰(zhàn)。據(jù)李飛飛團隊分析，如果直接將現(xiàn)有視頻架構(gòu)應用于世界模型，生成一個60幀的4K交互視頻流，每秒需要處理超過10萬個token——這相當于《哈利·波特》第一本書的文字量。而要維持一小時以上的持續(xù)交互，需要處理的上下文token數(shù)量將超過1億，基于當前的計算基礎設施，這既不可行，也不具備經(jīng)濟效益。

?

RTFM模型的革命性在于它成功突破了這一瓶頸。該模型采用自回歸擴散Transformer架構(gòu)，在大型視頻數(shù)據(jù)上進行端到端訓練，通過優(yōu)化架構(gòu)設計顯著降低了計算負擔。團隊精細優(yōu)化了推理堆棧的每一個環(huán)節(jié)，應用了架構(gòu)設計、模型蒸餾和推理優(yōu)化等領域的最新進展，最終實現(xiàn)了在單張H100 GPU上以交互幀率進行實時推理的目標。

?

?

技術核心

?

RTFM模型的技術路徑與傳統(tǒng)方法有本質(zhì)區(qū)別。傳統(tǒng)的3D圖形管線使用顯式的3D表征來構(gòu)建世界模型，然后通過渲染生成2D圖像。這些方法依賴人工設計的算法和數(shù)據(jù)結(jié)構(gòu)來模擬3D幾何、材質(zhì)、光照、陰影、反射等效果。

?

而RTFM則走上了一條全新的道路。它不構(gòu)建世界的顯式3D表征，而是接收一張或多張2D圖像作為輸入，然后直接從不同視點生成同一場景的全新2D圖像。簡單來說，RTFM可以被視為一個“學會了渲染的AI——它僅通過在訓練中觀察視頻，便學會了對三維幾何、反射、陰影等復雜物理現(xiàn)象進行建模。

?

?

這種“學習型渲染器”的方法使RTFM能夠打破重建（在現(xiàn)有視圖之間進行插值）與生成（創(chuàng)造輸入視圖中未見的新內(nèi)容）之間的界限。當提供大量輸入視圖時，由于任務約束更強，它更傾向于重建；而當輸入視圖較少時，它則必須進行外推和想象。

?

消費級應用場景的顛覆性變革

?

隨著RTFM模型將世界模型的硬件門檻降至單張GPU，未來一系列消費級應用場景可能會迎來顛覆性變革。

?

首當其沖的便是游戲行業(yè)。傳統(tǒng)的游戲場景搭建需要大量人工建模和渲染，而RTFM的技術僅需一張圖片即可構(gòu)建持久存在的3D環(huán)境，可大幅降低虛擬場景的搭建成本，并支持實時交互式體驗的持續(xù)擴展。

?

不僅如此，玩家除了能享受由AI動態(tài)生成的游戲世界，還可以根據(jù)行為實時變化，大大提升游戲的自由度和真實感。
?

同樣，RTFM的持久性特性允許用戶與模型進行無休止的交互，而這個世界將永不消逝。這意味著在影視制作行業(yè)，導演和設計師可以構(gòu)建持續(xù)存在的虛擬場景，在不同時間、從不同角度進行拍攝和創(chuàng)作，大幅降低外景拍攝和場地搭建成本。

?

涉足3D空間設計的家居設計、房產(chǎn)領域也能受益匪淺。

?

盡管RTFM已經(jīng)取得了突破性進展，但世界模型的發(fā)展旅程才剛剛開始。目前的模型主要專注于靜態(tài)世界的建模，而團隊的下一步目標是增強其模擬動態(tài)世界的能力，并允許用戶與生成的世界進行實時互動。

?

從市場前景看，空間智能相關模型的需求正在爆發(fā)性增長。2024年12月，Omdia最新研究報告《空間計算：云端和邊緣應用》表明，全球空間計算市場預計在2029年突破100億美元，年增速高達18%。而中國元宇宙市場預計2030年規(guī)模達8500億元人民幣，其中與空間智能緊密相關的部分占比將高達40%。

?

【圖片來源于網(wǎng)絡，侵刪】

?

李飛飛團隊對RTFM的擴展?jié)摿Τ錆M信心。他們期待，面向更大推理預算的更大型號模型將持續(xù)帶來性能提升。隨著算力成本的持續(xù)下降和算法的不斷優(yōu)化，世界模型有望在未來五年內(nèi)成為企業(yè)數(shù)字化轉(zhuǎn)型的核心工具之一，重塑多個行業(yè)的生產(chǎn)力邊界。

?

RTFM的發(fā)布不僅僅是技術上的突破，更是世界模型從實驗室走向廣泛應用的重要里程碑。它將曾經(jīng)高不可攀的世界模型技術，變得觸手可及。

?

那個曾經(jīng)只存在于科幻作品中的賽博朋克世界，或許真的離我們不遠了。