本文的主要作者來(lái)自多倫多大學(xué)、Snap Inc.和UCLA的研究團(tuán)隊(duì)。第一作者為多倫多大學(xué)博士生梁漢文和Snap Inc.的曹軍力，他們專注于視頻生成以及3D/4D場(chǎng)景生成與重建的研究，致力于創(chuàng)造更加真實(shí)、高質(zhì)量的3D和4D場(chǎng)景。團(tuán)隊(duì)成員期待與更多志同道合的研究者們交流與合作。

在人類(lèi)的認(rèn)知中，從單張圖像中感知并想象三維世界是一項(xiàng)天然的能力。我們能直觀地估算距離、形狀，猜想被遮擋區(qū)域的幾何信息。然而，將這一復(fù)雜的認(rèn)知過(guò)程賦予機(jī)器卻充滿挑戰(zhàn)。最近，來(lái)自多倫多大學(xué)、Snap Inc. 和 UCLA 的研究團(tuán)隊(duì)推出了全新的模型 ——Wonderland，它能夠從單張圖像生成高質(zhì)量、廣范圍的 3D 場(chǎng)景，在單視圖 3D 場(chǎng)景生成領(lǐng)域取得了突破性進(jìn)展。

• 論文地址: https://arxiv.org/abs/2412.12091
• 項(xiàng)目主頁(yè)：https://snap-research.github.io/wonderland/

技術(shù)突破：從單張圖像到三維世界的關(guān)鍵創(chuàng)新

傳統(tǒng)的 3D 重建技術(shù)往往依賴于多視角數(shù)據(jù)或逐個(gè)場(chǎng)景 (per-scene) 的優(yōu)化，且在處理背景和不可見(jiàn)區(qū)域時(shí)容易失真。為解決這些問(wèn)題，Wonderland 創(chuàng)新性地結(jié)合視頻生成模型和大規(guī)模 3D 重建模型，實(shí)現(xiàn)了高效高質(zhì)量的大規(guī)模 3D 場(chǎng)景生成：

1. 向視頻擴(kuò)散模型中嵌入 3D 意識(shí)：通過(guò)向視頻擴(kuò)散模型中引入相機(jī)位姿控制，Wonderland 在視頻 latent 空間中嵌入了場(chǎng)景的多視角信息，并能保證 3D 一致性。視頻生成模型在相機(jī)運(yùn)動(dòng)軌跡的精準(zhǔn)控制下，將單張圖像擴(kuò)展為包含豐富空間關(guān)系的多視角視頻。
2. 雙分支相機(jī)控制機(jī)制：利用 ControlNet 和 LoRA 模塊，Wonderland 實(shí)現(xiàn)了在視頻生成過(guò)程中對(duì)于豐富的相機(jī)視角變化的精確控制，顯著提升了多視角生成的視頻質(zhì)量、幾何一致性和靜態(tài)特征。
3. 大規(guī)模 latent-based 3D 重建模型（LaLRM）：Wonderland 創(chuàng)新地引入了 3D 重建模型 LaLRM，利用視頻生成模型生成的 latent 直接重構(gòu) 3D 場(chǎng)景（feed-forward reconstruction）。重建模型的訓(xùn)練采用了高效的逐步訓(xùn)練策略，將視頻 latent 空間中的信息轉(zhuǎn)化為 3D 高斯點(diǎn)分布（3D Gaussian Splatting, 3DGS），顯著降低了內(nèi)存需求和重建時(shí)間成本。憑借這種設(shè)計(jì)，LaLRM 能夠有效地將生成和重建任務(wù)對(duì)齊，同時(shí)在圖像空間與三維空間之間建立了橋梁，實(shí)現(xiàn)了更加高效且一致的廣闊 3D 場(chǎng)景構(gòu)建。

效果展示 — 視頻生成

基于單張圖和 camera condition，實(shí)現(xiàn)視頻生成的精準(zhǔn)視角控制：

Camera-guided 視頻生成模型可以精確地遵循軌跡的條件，生成 3D-geometry 一致的高質(zhì)量視頻，并具有很強(qiáng)的泛化性，可以遵循各種復(fù)雜的軌跡，并適用于各種風(fēng)格的輸入圖片。

更多的例子：

不同的輸入圖片，同樣的三條相機(jī)軌跡，生成的視頻：

給定輸入圖片和多條相機(jī)軌跡，生成視頻可以深度地探索場(chǎng)景：

效果展示 —3D 場(chǎng)景生成

基于單張圖，利用 LaLRM, Wonderland 可以生成高質(zhì)量的、廣闊的 3D 場(chǎng)景：

(以下展示均為從建立的3DGS Rendering出的結(jié)果)

基于單張圖和多條相機(jī)軌跡，Wonderland 可以深度探索和生成高質(zhì)量的、廣闊的 3D 場(chǎng)景：

卓越性能：在視覺(jué)質(zhì)量和生成效率等多個(gè)維度上表現(xiàn)卓越

Wonderland 的主要特點(diǎn)在于其精確的視角控制、卓越的場(chǎng)景生成質(zhì)量、生成的高效性和廣泛的適用性。實(shí)驗(yàn)結(jié)果顯示，該模型在多個(gè)數(shù)據(jù)集上的表現(xiàn)超越現(xiàn)有方法，包括視頻生成的視角控制、視頻生成的視覺(jué)質(zhì)量、3D 重建的幾何一致性和渲染的圖像質(zhì)量、以及端到端的生成速度均取得了優(yōu)異的表現(xiàn)：

1. 雙分支相機(jī)條件策略：通過(guò)引入雙分支相機(jī)條件控制策略，視頻擴(kuò)散模型能夠生成 3D-geometry 一致的多視圖場(chǎng)景捕捉，且相較于現(xiàn)有方法達(dá)到了更精確的姿態(tài)控制。
2. Zero-shot 3D 場(chǎng)景生成：在單圖像輸入的前提下，Wonderland 可進(jìn)行高效的 3D 場(chǎng)景前向重建，在多個(gè)基準(zhǔn)數(shù)據(jù)集（例如 RealEstate10K、DL3DV 和 Tanks-and-Temples）上的 3D 場(chǎng)景重建質(zhì)量均優(yōu)于現(xiàn)有方法。
3. 廣覆蓋場(chǎng)景生成能力：與過(guò)去的 3D 前向重建通常受限于小視角范圍或者物體級(jí)別的重建不同，Wonderland 能夠高效生成廣范圍的復(fù)雜場(chǎng)景。其生成的 3D 場(chǎng)景不僅具備高度的幾何一致性，還具有很強(qiáng)的泛化性，能處理 out-of-domain 的場(chǎng)景。
4. 超高效率：在單張圖像輸入的問(wèn)題設(shè)定下，利用單張 A100，Wonderland 僅需約 5 分鐘即可生成完整的 3D 場(chǎng)景。這一速度相比需要 16 分鐘的 Cat3D 提升了 3.2 倍，相較需要 3 小時(shí)的 ZeroNVS 更是提升了 36 倍。

應(yīng)用場(chǎng)景：視頻和 3D 場(chǎng)景內(nèi)容創(chuàng)作的新工具

Wonderland 的出現(xiàn)為視頻和 3D 場(chǎng)景的創(chuàng)作提供了一種嶄新的解決方案。在建筑設(shè)計(jì)、虛擬現(xiàn)實(shí)、影視特效以及游戲開(kāi)發(fā)等領(lǐng)域，該技術(shù)展現(xiàn)了廣闊的應(yīng)用潛力。通過(guò)其精準(zhǔn)的視頻位姿控制和具備廣視角、高清晰度的 3D 場(chǎng)景生成能力，Wonderland 能夠滿足復(fù)雜場(chǎng)景中對(duì)高質(zhì)量?jī)?nèi)容的需求，為創(chuàng)作者帶來(lái)更多可能性。

未來(lái)展望

盡管模型表現(xiàn)優(yōu)異，Wonderland 研發(fā)團(tuán)隊(duì)深知仍有許多值得提升和探索的方向。例如，進(jìn)一步優(yōu)化對(duì)動(dòng)態(tài)場(chǎng)景的適配能力、提升對(duì)真實(shí)場(chǎng)景細(xì)節(jié)的還原度等，都是未來(lái)努力的重點(diǎn)。希望通過(guò)不斷改進(jìn)和完善，讓這一研發(fā)思路不僅推動(dòng)單視圖 3D 場(chǎng)景生成技術(shù)的進(jìn)步，也能為視頻生成與 3D 技術(shù)在實(shí)際應(yīng)用中的廣泛普及貢獻(xiàn)力量。