論文有兩位共同一作。汪晗陽(yáng)，清華大學(xué)計(jì)算機(jī)系本科四年級(jí)，研究方向?yàn)槿S視覺、生成模型，已在CVPR、ECCV、NeurIPS等會(huì)議發(fā)表論文。劉芳甫，清華大學(xué)電子工程系直博二年級(jí)，研究方向?yàn)樯赡Ｐ?(3D AIGC和Video Generation等)，已在CVPR、ECCV、NeurIPS、ICLR、KDD等計(jì)算機(jī)視覺與人工智能頂會(huì)發(fā)表過(guò)多篇論文。

從視頻到 3D 的橋梁：VideoScene 一步到位

隨著 VR/AR、游戲娛樂、自動(dòng)駕駛等領(lǐng)域?qū)?3D 場(chǎng)景生成的需求不斷攀升，從稀疏視角重建 3D 場(chǎng)景已成為一大熱點(diǎn)課題。但傳統(tǒng)方法往往需要大量圖片、繁瑣的多步迭代，既費(fèi)時(shí)又難以保證高質(zhì)量的 3D 結(jié)構(gòu)重建。

來(lái)自清華大學(xué)的研究團(tuán)隊(duì)首次提出 VideoScene：一款 “一步式” 視頻擴(kuò)散模型，專注于 3D 場(chǎng)景視頻生成。它利用了 3D-aware leap flow distillation 策略，通過(guò)跳躍式跨越冗余降噪步驟，極大地加速了推理過(guò)程，同時(shí)結(jié)合動(dòng)態(tài)降噪策略，實(shí)現(xiàn)了對(duì) 3D 先驗(yàn)信息的充分利用，從而在保證高質(zhì)量的同時(shí)大幅提升生成效率。

• 論文標(biāo)題：VideoScene：Distilling Video Diffusion Model to Generate 3D Scenes in One Step
• 論文地址: https://arxiv.org/abs/2504.01956 
• 項(xiàng)目主頁(yè): https://hanyang-21.github.io/VideoScene 
• Github 倉(cāng)庫(kù): https://github.com/hanyang-21/VideoScene

稀疏視角重建方法挑戰(zhàn)

在稀疏視角重建領(lǐng)域，從少量圖像中精準(zhǔn)恢復(fù) 3D 場(chǎng)景是個(gè)極具挑戰(zhàn)性的難題。傳統(tǒng)方法依賴多視角圖像間的匹配與幾何計(jì)算 ，但當(dāng)視角稀疏時(shí)，匹配點(diǎn)不足、幾何約束缺失，使得重建的 3D 模型充滿瑕疵，像物體結(jié)構(gòu)扭曲、空洞出現(xiàn)等。

為突破這一困境，一些前沿方法另辟蹊徑，像 ReconX 就創(chuàng)新性地借助視頻生成模型強(qiáng)大的生成能力，把重建問(wèn)題與生成問(wèn)題有機(jī)結(jié)合。它將稀疏視角圖像構(gòu)建成全局點(diǎn)云，編碼為 3D 結(jié)構(gòu)條件，引導(dǎo)視頻擴(kuò)散模型生成具有 3D 一致性的視頻幀，再基于這些幀重建 3D 場(chǎng)景，在一定程度上緩解了稀疏視角重建的不適定問(wèn)題。

不過(guò)，當(dāng)前大多數(shù) video to 3D 工具仍存在效率低下的問(wèn)題。一方面，生成的 3D 視頻質(zhì)量欠佳，難以生成三維結(jié)構(gòu)穩(wěn)定、細(xì)節(jié)豐富、時(shí)空連貫的視頻。在處理復(fù)雜場(chǎng)景時(shí)，模型容易出現(xiàn)物體漂移、結(jié)構(gòu)坍塌等問(wèn)題，導(dǎo)致生成的 3D 視頻實(shí)用性大打折扣。另一方面，基于擴(kuò)散模型的視頻生成通常需要多步降噪過(guò)程，每一步都涉及大量計(jì)算，不僅耗時(shí)久，還帶來(lái)高昂的計(jì)算開銷，限制了其在實(shí)際場(chǎng)景中的應(yīng)用。

繼承與超越：ReconX 理念的進(jìn)化

此前研究團(tuán)隊(duì)提出 video-to-3D 的稀釋視角重建方法 ReconX，核心在于將 3D 結(jié)構(gòu)指導(dǎo)融入視頻擴(kuò)散模型的條件空間，以此生成 3D 一致的幀，進(jìn)而重建 3D 場(chǎng)景。它通過(guò)構(gòu)建全局點(diǎn)云并編碼為 3D 結(jié)構(gòu)條件，引導(dǎo)視頻擴(kuò)散模型工作 ，在一定程度上解決了稀疏視角重建中 3D 一致性的問(wèn)題。

VideoScene 繼承了 ReconX 將 3D 結(jié)構(gòu)與視頻擴(kuò)散相結(jié)合的理念，并在此基礎(chǔ)上實(shí)現(xiàn)了重大改進(jìn)，堪稱 ReconX 的 “turbo 版本”。

在 3D 結(jié)構(gòu)指導(dǎo)方面，VideoScene 通過(guò)獨(dú)特的 3D 躍遷流蒸餾策略，巧妙地跳過(guò)了傳統(tǒng)擴(kuò)散模型中耗時(shí)且冗余的步驟，直接從含有豐富 3D 信息的粗略場(chǎng)景渲染視頻開始，加速了整個(gè)擴(kuò)散過(guò)程。同時(shí)也使得 3D 結(jié)構(gòu)信息能更準(zhǔn)確地融入視頻擴(kuò)散過(guò)程。在生成視頻幀時(shí)，VideoScene 引入了更強(qiáng)大的動(dòng)態(tài)降噪策略，不僅僅依賴于固定的降噪模式，而是根據(jù)視頻內(nèi)容的動(dòng)態(tài)變化實(shí)時(shí)調(diào)整降噪?yún)?shù)，從而既保證了生成視頻的高質(zhì)量，又極大地提高了效率。

研究團(tuán)隊(duì)提出的 VideoScene 方法流程圖

實(shí)驗(yàn)結(jié)果

通過(guò)在多個(gè)真實(shí)世界數(shù)據(jù)集上的大量實(shí)驗(yàn)，VideoScene 展示出了卓越的性能。它不僅在生成速度上遠(yuǎn)超現(xiàn)有的視頻擴(kuò)散模型，而且在生成質(zhì)量上也毫不遜色，甚至在某些情況下還能達(dá)到更好的效果。這意味著 VideoScene 有望成為未來(lái)視頻到 3D 應(yīng)用中的一個(gè)重要工具。在實(shí)時(shí)游戲、自動(dòng)駕駛等需要高效 3D 重建的領(lǐng)域，有潛力能發(fā)揮巨大的作用。

VideoScene 單步生成結(jié)果優(yōu)于 baseline 模型 50 步生成結(jié)果

視頻擴(kuò)散模型在不同去噪步數(shù)下的表現(xiàn)

如果你對(duì) VideoScene 感興趣，想要深入了解它的技術(shù)細(xì)節(jié)和實(shí)驗(yàn)結(jié)果，可訪問(wèn)論文原文、項(xiàng)目主頁(yè)和 GitHub 倉(cāng)庫(kù)。