清華大學(xué)的研究團(tuán)隊(duì)首次提出了一種一步式視頻擴(kuò)散技術(shù) VideoScene，專注于 3D 場(chǎng)景視頻生成。它利用了 3D-aware leap flow distillation 策略，通過(guò)跳躍式跨越冗余降噪步驟，極大地加速了推理過(guò)程，同時(shí)結(jié)合動(dòng)態(tài)降噪策略，實(shí)現(xiàn)了對(duì) 3D 先驗(yàn)信息的充分利用，從而在保證高質(zhì)量的同時(shí)大幅提升生成效率。實(shí)驗(yàn)證明VideoScene可彌合從視頻到 3D 的差距。

視頻結(jié)果

相關(guān)鏈接

• 論文: https://arxiv.org/abs/2504.01956
• 項(xiàng)目: https://hanyang-21.github.io/VideoScene
• 代碼: https://github.com/hanyang-21/VideoScene

論文介紹

VideoScene：提取視頻擴(kuò)散模型，一步生成 3D 場(chǎng)景

從稀疏視圖中恢復(fù) 3D 場(chǎng)景是一項(xiàng)具有挑戰(zhàn)性的任務(wù)，因?yàn)樗嬖诠逃械牟贿m定問題。傳統(tǒng)方法已經(jīng)開發(fā)出專門的解決方案（例如，幾何正則化或前饋確定性模型）來(lái)緩解該問題。然而，由于輸入視圖之間的最小重疊和視覺信息不足，它們?nèi)匀粫?huì)導(dǎo)致性能下降。幸運(yùn)的是，最近的視頻生成模型有望解決這一挑戰(zhàn)，因?yàn)樗鼈兡軌蛏删哂泻侠?3D 結(jié)構(gòu)的視頻片段。在大型預(yù)訓(xùn)練視頻擴(kuò)散模型的支持下，一些先驅(qū)研究開始探索視頻生成先驗(yàn)的潛力，并從稀疏視圖創(chuàng)建 3D 場(chǎng)景。盡管取得了令人矚目的改進(jìn)，但它們受到推理時(shí)間慢和缺乏 3D 約束的限制，導(dǎo)致效率低下和重建偽影與現(xiàn)實(shí)世界的幾何結(jié)構(gòu)不符。在本文中，我們提出VideoScene來(lái)提煉視頻擴(kuò)散模型以一步生成 3D 場(chǎng)景，旨在構(gòu)建一個(gè)高效的工具來(lái)彌合從視頻到 3D 的差距。具體來(lái)說(shuō)，我們?cè)O(shè)計(jì)了一種 3D 感知的跳躍流精煉策略，用于跳過(guò)耗時(shí)的冗余信息，并訓(xùn)練了一個(gè)動(dòng)態(tài)去噪策略網(wǎng)絡(luò)，以便在推理過(guò)程中自適應(yīng)地確定最佳跳躍時(shí)間步長(zhǎng)。大量實(shí)驗(yàn)表明，我們的 VideoScene 比以往的視頻擴(kuò)散模型實(shí)現(xiàn)了更快、更優(yōu)異的 3D 場(chǎng)景生成結(jié)果，凸顯了其作為未來(lái)視頻到 3D 應(yīng)用高效工具的潛力。

方法概述

VideoScene 的流程。 給定輸入對(duì)視圖，我們首先使用快速前饋 3DGS 模型（即MVSplat）生成粗略的 3D 表示，從而實(shí)現(xiàn)精確的攝像機(jī)軌跡控制渲染。編碼后的渲染潛在向量（“輸入”）和編碼后的輸入對(duì)潛在向量（“條件”）組合在一起，作為一致性模型的輸入。隨后，執(zhí)行前向擴(kuò)散操作，為視頻添加噪聲。然后，將加噪視頻分別發(fā)送給學(xué)生模型和教師模型，以預(yù)測(cè)視頻。最后，通過(guò)蒸餾損失和 DDP 損失分別更新學(xué)生模型和 DDPNet。

結(jié)果展示

定性比較?？梢杂^察到基線模型存在諸如模糊、跳幀、過(guò)度運(yùn)動(dòng)以及物體相對(duì)位置偏移等問題，而 VideoScene 實(shí)現(xiàn)了更高的輸出質(zhì)量和更好的 3D 連貫性。

結(jié)論

VideoScene是一種新穎的快速視頻生成框架，它通過(guò)提煉視頻擴(kuò)散模型，一步生成 3D 場(chǎng)景。具體而言，利用3D先驗(yàn)知識(shí)約束優(yōu)化過(guò)程，并提出一種 3D 感知跳躍流提煉策略，以跳過(guò)耗時(shí)的冗余信息。此外設(shè)計(jì)了一個(gè)動(dòng)態(tài)去噪策略網(wǎng)絡(luò)，用于在推理過(guò)程中自適應(yīng)地確定最佳跳躍時(shí)間步長(zhǎng)。大量實(shí)驗(yàn)證明了 VideoScene 在 3D 結(jié)構(gòu)效率和一致性方面的優(yōu)勢(shì)，凸顯了其作為彌合視頻到 3D 差距的高效工具的潛力。