DrivingGaussian：逼真環(huán)視數(shù)據(jù)，駕駛場(chǎng)景重建SOTA
本文經(jīng)自動(dòng)駕駛之心公眾號(hào)授權(quán)轉(zhuǎn)載，轉(zhuǎn)載請(qǐng)聯(lián)系出處。
原標(biāo)題：DrivingGaussian: Composite Gaussian Splatting for Surrounding Dynamic Autonomous Driving Scenes
論文鏈接：https://arxiv.org/pdf/2312.07920.pdf
代碼鏈接：https://pkuvdig.github.io/DrivingGaussian/
作者單位：北京大學(xué) Google Research 加州大學(xué)默塞德分校
論文思路：
本文提出 DrivingGaussian，這是一個(gè)針對(duì)動(dòng)態(tài)自動(dòng)駕駛場(chǎng)景的高效率和高效益的框架。對(duì)于具有移動(dòng)物體的復(fù)雜場(chǎng)景，本文首先使用增量靜態(tài)3D高斯 (incremental static 3D Gaussians) 順序漸進(jìn)地對(duì)整個(gè)場(chǎng)景的靜態(tài)背景進(jìn)行建模。然后，本文利用復(fù)合動(dòng)態(tài)高斯圖(composite dynamic Gaussian graph) 來(lái)處理多個(gè)移動(dòng)物體，單獨(dú)重建每個(gè)物體并恢復(fù)它們?cè)趫?chǎng)景中的準(zhǔn)確位置和遮擋關(guān)系。本文進(jìn)一步使用 LiDAR 先驗(yàn)進(jìn)行 Gaussian Splatting 來(lái)重建具有更多細(xì)節(jié)的場(chǎng)景并保持全景一致性。DrivingGaussian 在駕駛場(chǎng)景重建方面優(yōu)于現(xiàn)有方法，并能夠?qū)崿F(xiàn)具有高保真度和多相機(jī)一致性的逼真環(huán)視合成。
主要貢獻(xiàn)：
據(jù)本文所知，DrivingGaussian是第一個(gè)基于 Composite Gaussian Splatting 的大規(guī)模動(dòng)態(tài)駕駛場(chǎng)景的表示和建模框架。
引入了兩個(gè)新穎的模塊，包括增量靜態(tài)3D高斯 (Incremental Static 3D Gaussians) 和復(fù)合動(dòng)態(tài)高斯圖(Composite Dynamic Gaussian Graphs)。前者增量地重建靜態(tài)背景，而后者則使用高斯圖對(duì)多個(gè)動(dòng)態(tài)物體進(jìn)行建模。在激光雷達(dá)先驗(yàn)的輔助下，該方法有助于在大規(guī)模駕駛場(chǎng)景中恢復(fù)完整的幾何形狀。
綜合實(shí)驗(yàn)表明，DrivingGaussian 在具有挑戰(zhàn)性的自動(dòng)駕駛基準(zhǔn)測(cè)試中優(yōu)于以前的方法，并能夠?qū)Ω鞣N下游任務(wù)進(jìn)行極端情況(corner case)模擬。
網(wǎng)絡(luò)設(shè)計(jì)：
本文介紹了 DrivingGaussian，這是一種表示環(huán)視動(dòng)態(tài)自動(dòng)駕駛場(chǎng)景的新穎框架。本文的關(guān)鍵思想是使用來(lái)自多個(gè)傳感器的順序數(shù)據(jù)對(duì)復(fù)雜的駕駛場(chǎng)景進(jìn)行分層建模。本文采用 Composite Gaussian Splatting 將整個(gè)場(chǎng)景分解為靜態(tài)背景和動(dòng)態(tài)物體，分別重建每個(gè)部分。具體來(lái)說(shuō)，本文首先使用增量靜態(tài)3D高斯從環(huán)視多相機(jī)視圖順序構(gòu)建綜合場(chǎng)景。然后，本文采用復(fù)合動(dòng)態(tài)高斯圖來(lái)單獨(dú)重建每個(gè)運(yùn)動(dòng)物體，并基于高斯圖將它們動(dòng)態(tài)地集成到靜態(tài)背景中。在此基礎(chǔ)上，通過(guò) Gaussian Splatting 進(jìn)行全局渲染，捕捉現(xiàn)實(shí)世界中的遮擋關(guān)系，包括靜態(tài)背景和動(dòng)態(tài)物體。此外，本文在 GS 表示中加入了 LiDAR 先驗(yàn)，與利用隨機(jī)初始化或 SfM[34] 生成的點(diǎn)云相比，它能夠恢復(fù)更精確的幾何形狀并保持更好的多視圖一致性。
大量的實(shí)驗(yàn)表明，本文的方法在公共自動(dòng)駕駛數(shù)據(jù)集上實(shí)現(xiàn)了最先進(jìn)的性能。即使事先沒(méi)有激光雷達(dá)，本文的方法仍然表現(xiàn)出良好的性能，證明了其在重建大規(guī)模動(dòng)態(tài)場(chǎng)景方面的多功能性。此外，本文的框架支持動(dòng)態(tài)場(chǎng)景構(gòu)建和極端情況(corner case)模擬，有助于驗(yàn)證自動(dòng)駕駛系統(tǒng)的安全性和魯棒性。
圖 1. DrivingGaussian 實(shí)現(xiàn)了環(huán)視動(dòng)態(tài)自動(dòng)駕駛場(chǎng)景的逼真渲染性能。樸素的方法 [13, 49] 要么在大范圍背景中產(chǎn)生 unpleasant 偽影和模糊，要么難以重建動(dòng)態(tài)物體和詳細(xì)的場(chǎng)景幾何形狀。DrivingGaussian 首先引入了 Composite Gaussian Splatting 來(lái)有效地表示復(fù)雜的環(huán)視駕駛場(chǎng)景中的靜態(tài)背景和多個(gè)動(dòng)態(tài)物體。DrivingGaussian 能夠跨多相機(jī)高質(zhì)量合成環(huán)視視圖，并促進(jìn)長(zhǎng)期動(dòng)態(tài)場(chǎng)景重建。
圖 2.本文方法的總體流程。左：DrivingGaussian 從多傳感器獲取連續(xù)數(shù)據(jù)，包括多相機(jī)圖像和 LiDAR。中：為了表示大規(guī)模動(dòng)態(tài)駕駛場(chǎng)景，本文提出了 Composite Gaussian Splatting ，它由兩個(gè)部分組成。第一部分增量地重建廣泛的靜態(tài)背景，而第二部分使用高斯圖構(gòu)造多個(gè)動(dòng)態(tài)物體并將它們動(dòng)態(tài)地集成到場(chǎng)景中。右圖：DrivingGaussian 在多個(gè)任務(wù)和應(yīng)用場(chǎng)景中展示了良好的性能。
圖 3. 具有增量靜態(tài)3D高斯和動(dòng)態(tài)高斯圖的 Composite Gaussian Splatting 。本文采用 Composite Gaussian Splatting 將整個(gè)場(chǎng)景分解為靜態(tài)背景和動(dòng)態(tài)物體，分別重建每個(gè)部分并整合它們進(jìn)行全局渲染。
實(shí)驗(yàn)結(jié)果：
總結(jié)：
本文介紹了 DrivingGaussian，一種基于所提出的 Composite Gaussian Splatting 來(lái)表示大規(guī)模動(dòng)態(tài)自動(dòng)駕駛場(chǎng)景的新穎框架。DrivingGaussian 使用增量靜態(tài)3D高斯(incremental static 3D Gaussians)逐步對(duì)靜態(tài)背景進(jìn)行建模，并使用復(fù)合動(dòng)態(tài)高斯圖(composite dynamic Gaussian graph)捕獲多個(gè)移動(dòng)物體。本文進(jìn)一步利用 LiDAR 先驗(yàn)來(lái)實(shí)現(xiàn)精確的幾何結(jié)構(gòu)和多視圖一致性。DrivingGaussian 在兩個(gè)自動(dòng)駕駛數(shù)據(jù)集上實(shí)現(xiàn)了最先進(jìn)的性能，實(shí)現(xiàn)了高質(zhì)量的環(huán)視視圖合成和動(dòng)態(tài)場(chǎng)景重建。
引用：
Zhou, X., Lin, Z., Shan, X., Wang, Y., Sun, D., & Yang, M. (2023). DrivingGaussian: Composite Gaussian Splatting for Surrounding Dynamic Autonomous Driving Scenes. ArXiv. /abs/2312.07920
