3DGS (3D Gaussian Splatting) 技術(shù)憑借在新視角合成與 3D 重建中實(shí)現(xiàn)的實(shí)時(shí)照片級(jí)真實(shí)感渲染，已成為研究熱點(diǎn)。然而，現(xiàn)有方法在建模含動(dòng)態(tài)物體的場(chǎng)景時(shí)精度不足，常導(dǎo)致渲染圖像出現(xiàn)偽影。

在最近的一項(xiàng)研究中，來(lái)自中山大學(xué)、深圳市未來(lái)智聯(lián)網(wǎng)絡(luò)研究院、港中深的研究者提出魯棒性解決方案 RobustSplat，其核心設(shè)計(jì)包含兩點(diǎn)：一是首創(chuàng)延遲高斯生長(zhǎng)策略，在允許高斯分裂 / 克隆前優(yōu)先優(yōu)化靜態(tài)場(chǎng)景結(jié)構(gòu)，從而減少優(yōu)化初期對(duì)動(dòng)態(tài)物體的過(guò)擬合；二是設(shè)計(jì)尺度級(jí)聯(lián)掩碼引導(dǎo)方法，先利用低分辨率特征相似度監(jiān)督進(jìn)行可靠的初始動(dòng)態(tài)掩碼估計(jì)（借助其更強(qiáng)的語(yǔ)義一致性與抗噪聲特性），再逐步過(guò)渡到高分辨率監(jiān)督，以實(shí)現(xiàn)更精準(zhǔn)的掩碼預(yù)測(cè)。

• 論文標(biāo)題：RobustSplat: Decoupling Densification and Dynamics for Transient-Free 3DGS
• 論文鏈接：https://arxiv.org/abs/2506.02751
• 論文主頁(yè)：https://fcyycf.github.io/RobustSplat
• 代碼鏈接：https://github.com/fcyycf/RobustSplat

研究動(dòng)機(jī)

我們通過(guò)分析揭示了高斯致密化 (densification) 在 3D Gaussian Splatting 中的雙重作用機(jī)制。具體來(lái)說(shuō)，致密化過(guò)程在增強(qiáng)場(chǎng)景細(xì)節(jié)表達(dá)方面具有顯著優(yōu)勢(shì)，但同時(shí)也會(huì)促使模型過(guò)早擬合動(dòng)態(tài)區(qū)域，導(dǎo)致偽影和場(chǎng)景失真。這一發(fā)現(xiàn)表明，傳統(tǒng)的致密化策略在存在有動(dòng)態(tài)物體的場(chǎng)景建模中存在依賴性風(fēng)險(xiǎn)，即其所帶來(lái)的細(xì)節(jié)提升可能以犧牲靜態(tài)區(qū)域的重建質(zhì)量和引入偽影為代價(jià)。

因此，本文的研究動(dòng)機(jī)源于對(duì)該分析的深入理解，意在通過(guò)調(diào)節(jié)致密化過(guò)程的引入時(shí)機(jī)，有效平衡場(chǎng)景的靜態(tài)結(jié)構(gòu)表達(dá)與動(dòng)態(tài)干擾的抑制。致密化既是優(yōu)化細(xì)節(jié)的關(guān)鍵因素，也是動(dòng)態(tài)干擾的放大器，為此提出「延遲高斯生長(zhǎng)」策略，通過(guò)延后致密化過(guò)程實(shí)現(xiàn)靜態(tài)部分的準(zhǔn)確重建，同時(shí)結(jié)合多尺度掩碼引導(dǎo)，系統(tǒng)抑制動(dòng)態(tài)偽影，推動(dòng)在復(fù)雜場(chǎng)景中實(shí)現(xiàn)魯棒、細(xì)節(jié)豐富的 3D 場(chǎng)景重建。

方法

瞬態(tài)掩碼估計(jì)

網(wǎng)絡(luò)架構(gòu)：采用含兩層線性層的 MLP (Mask MLP)，以圖像特征為輸入，通過(guò) Sigmoid 函數(shù)輸出逐像素的瞬態(tài)掩碼 Mt（取值范圍 [0, 1]，0 表示瞬態(tài)區(qū)域，1 表示靜態(tài)區(qū)域）。

特征選擇：選用 DINOv2 特征作為輸入，原因是其在語(yǔ)義一致性、抗噪性和計(jì)算效率間取得很好的平衡。對(duì)比之下，Stable Diffusion 特征語(yǔ)義信息更強(qiáng)但計(jì)算成本高，SAM 特征邊界精度高卻易漏檢瞬態(tài)物體的陰影區(qū)域，而 DINOv2 特征能穩(wěn)定支撐掩碼預(yù)測(cè)。

監(jiān)督設(shè)計(jì)：掩碼 MLP 的優(yōu)化結(jié)合了圖像殘差損失和特征余弦相似度損失：使用基于渲染圖像與真實(shí)圖像的光度差異，捕捉像素級(jí)動(dòng)態(tài)干擾，作為基礎(chǔ)監(jiān)督信號(hào)。在此基礎(chǔ)上，將渲染圖像與真實(shí)圖像的 DINOv2 特征余弦相似度映射至 [0, 1] 范圍作為特征監(jiān)督，以增強(qiáng)語(yǔ)義級(jí)動(dòng)態(tài)區(qū)域識(shí)別。

延遲高斯生增長(zhǎng)策略

延遲高斯生長(zhǎng)是 RobustSplat 針對(duì) 3DGS 優(yōu)化中瞬態(tài)物體過(guò)擬合問(wèn)題設(shè)計(jì)的核心策略，其核心思想是推遲高斯致密化過(guò)程（分裂 / 克隆操作），優(yōu)先完成靜態(tài)場(chǎng)景結(jié)構(gòu)的優(yōu)化，為掩碼學(xué)習(xí)提供更穩(wěn)定的基礎(chǔ)。

掩碼正則化：掩碼正則化是針對(duì)早期優(yōu)化階段掩碼估計(jì)不準(zhǔn)確問(wèn)題設(shè)計(jì)的關(guān)鍵策略，核心目標(biāo)是減少靜態(tài)區(qū)域被誤分類為瞬態(tài)區(qū)域的風(fēng)險(xiǎn)，確保 3DGS 優(yōu)先優(yōu)化靜態(tài)場(chǎng)景結(jié)構(gòu)。

掩碼學(xué)習(xí)的總損失：

尺度級(jí)聯(lián)掩碼引導(dǎo)

先利用低分辨率特征相似性監(jiān)督進(jìn)行初始瞬態(tài)掩碼估計(jì)，借助其強(qiáng)語(yǔ)義一致性和抗噪性；再過(guò)渡到高分辨率監(jiān)督，實(shí)現(xiàn)更精確的掩碼預(yù)測(cè)，降低靜態(tài)區(qū)域誤分類。

實(shí)驗(yàn)

下圖分別展示了在 NeRF On-the-go 和 RobustNeRF 數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果。與 3DGS、SpotLessSplats、WildGaussians 等基線方法相比，RobustSplat 在 PSNR、SSIM、LPIPS 等指標(biāo)上全面領(lǐng)先。

總結(jié)

通過(guò)實(shí)驗(yàn)分析發(fā)現(xiàn)，高斯致密化過(guò)程雖然提升了場(chǎng)景細(xì)節(jié)的捕捉能力，但也會(huì)生成額外的高斯來(lái)建模瞬態(tài)干擾，從而無(wú)意中導(dǎo)致了渲染偽影的產(chǎn)生。

RobustSplat 通過(guò)延遲高斯生長(zhǎng)策略和尺度級(jí)聯(lián)掩碼引導(dǎo)方法，優(yōu)化 3DGS 以減少瞬態(tài)物體導(dǎo)致的渲染偽影。

實(shí)驗(yàn)表明該方法在 NeRF On-the-go 和 RobustNeRF 數(shù)據(jù)集上，相比現(xiàn)有基線方法在各項(xiàng)指標(biāo)上全面領(lǐng)先，能處理含多樣瞬態(tài)物體的復(fù)雜場(chǎng)景并保留細(xì)節(jié)。