本文經(jīng)自動駕駛之心公眾號授權(quán)轉(zhuǎn)載，轉(zhuǎn)載請聯(lián)系出處。

近年來，新視角合成取得了重大進(jìn)展，3D Gaussian splatting提供了出色的視覺質(zhì)量、快速訓(xùn)練和實時渲染。然而，訓(xùn)練和渲染所需的資源不可避免地限制了可以以良好視覺質(zhì)量表示的場景大小。本文引入了一種3D高斯層次結(jié)構(gòu)，該結(jié)構(gòu)在保留大場景視覺質(zhì)量的同時，為有效渲染遠(yuǎn)處內(nèi)容提供了高效的細(xì)節(jié)級別（LOD）解決方案，實現(xiàn)了有效的級別選擇和級別之間的平滑過渡。方法采用了一種分而治之的方法，使我們能夠在大場景中獨立地訓(xùn)練多個block。將這些塊整合成一個層次結(jié)構(gòu)，該層次結(jié)構(gòu)可以優(yōu)化以進(jìn)一步改善合并到中間節(jié)點的高斯函數(shù)的視覺質(zhì)量。非常大的捕獲通常具有稀疏的場景覆蓋，給原始的3D高斯平鋪訓(xùn)練方法帶來了許多挑戰(zhàn)；我們調(diào)整和規(guī)范了訓(xùn)練以解決這些問題。我們提出了一個完整的解決方案，該方案能夠?qū)崟r渲染非常大的場景，并可以通過LOD方法適應(yīng)可用資源。我們展示了使用簡單且負(fù)擔(dān)得起的設(shè)備捕獲的場景的結(jié)果，這些場景包含多達(dá)數(shù)萬張圖像，涵蓋了長達(dá)數(shù)公里、持續(xù)時間長達(dá)一小時的軌跡。

針對3D高斯Splatting的分層細(xì)節(jié)級別

在處理大型場景時，細(xì)節(jié)級別（LOD）解決方案至關(guān)重要，它們允許有效地渲染大量內(nèi)容；因此，我們的目標(biāo)是創(chuàng)建一個層次結(jié)構(gòu)，以表示通過原始3DGS優(yōu)化生成的圖元。遵循圖形中的傳統(tǒng)LOD方法，我們需要：

1）找到候選的3DGS圖元并定義如何將它們合并到中間節(jié)點中；

2）提供一種有效的方式來確定層次結(jié)構(gòu)中的切割點，以在質(zhì)量和速度之間取得良好的平衡；

3）在層次級別之間提供平滑的過渡策略。

1）層次生成

為每個block創(chuàng)建一個基于樹的層次結(jié)構(gòu)，包括內(nèi)部節(jié)點和葉子節(jié)點。每個節(jié)點都與一個3D高斯分布相關(guān)聯(lián)，這個3D高斯分布要么是來自原始優(yōu)化的葉子節(jié)點，要么是合并的內(nèi)部節(jié)點。對中間節(jié)點的要求是：1) 保持與葉子節(jié)點相同的快速光柵化程序；2) 盡可能準(zhǔn)確地表示其子節(jié)點的外觀。因此需要定義中間節(jié)點，這些節(jié)點是3D高斯分布，具有3DGS圖元的所有屬性，即均值??（位置）、協(xié)方差Σ、SH系數(shù)和不透明度。

2）層次切割選擇和級別切換

給定一個3DGS模型的層次樹結(jié)構(gòu)和視圖??，選擇一種通過樹的切割方式，以在保持視覺質(zhì)量的同時最大化渲染性能。首先定義給定層次節(jié)點??的粒度?? (??)，這是給定視圖下在屏幕上的投影大?。ㄈ鐖D3(a)所示）。具體來說，使用包含在節(jié)點中的葉高斯的邊界框，然后取邊界框的最大維度，并據(jù)此計算投影大小。通過識別投影邊界框小于給定目標(biāo)粒度????（例如，1像素）的節(jié)點來找到切割點?；趯哟喂?jié)點的生成及其邊界，父節(jié)點的AABB（軸對齊邊界框）永遠(yuǎn)不會小于其任何子節(jié)點。這使得我們能夠在線性時間內(nèi)找到適當(dāng)?shù)那懈铧c，或者在大規(guī)模并行設(shè)置中，每個節(jié)點在常數(shù)時間內(nèi)找到：如果節(jié)點??的邊界滿足粒度條件，但其父節(jié)點的邊界不滿足，則對于給定設(shè)置，選擇節(jié)點??并將其包含在切割中（如圖3(b)中的綠色曲線所示）。

優(yōu)化和壓縮層次結(jié)構(gòu)

層次結(jié)構(gòu)是通過聚合幾何圖元來構(gòu)建的；最終需要更明確地考慮外觀。由于層次結(jié)構(gòu)的每個中間節(jié)點本身都是一個3D高斯圖元，因此可以進(jìn)一步優(yōu)化以提高視覺質(zhì)量。為此，需要通過中間節(jié)點傳播梯度，引入一個具有可優(yōu)化中間節(jié)點的層次結(jié)構(gòu)。接下來將解釋如何實現(xiàn)這一點，以及一個額外的步驟來壓縮層次結(jié)構(gòu)。

傳統(tǒng)上，圖形中的LOD（細(xì)節(jié)級別）方法用于在從遠(yuǎn)處查看場景時表示其簡化版本；這在圖6中有所說明。我們的目標(biāo)粒度通過考慮投影到屏幕上的面積來實現(xiàn)這一效果，該面積用先前定義的節(jié)點??的粒度?? (??) 來表示。

1）優(yōu)化分層

這里自上而下的層次結(jié)構(gòu)構(gòu)建產(chǎn)生了一個效果良好的數(shù)據(jù)結(jié)構(gòu)（見表2）。然而，一旦構(gòu)建完成，中間節(jié)點可以像葉子3DGS圖元一樣進(jìn)行渲染，因此也可以以同樣的方式進(jìn)行優(yōu)化?？梢詢?yōu)化層次結(jié)構(gòu)的中間節(jié)點，以提高它們可以表示的視覺質(zhì)量。這就引出了如何在不同尺度之間執(zhí)行這種優(yōu)化的問題。一種解決方案是通過隨機選擇一個輸入視圖和一個下采樣因子來優(yōu)化層次結(jié)構(gòu)；較低的分辨率直接意味著不同的目標(biāo)粒度，以及相應(yīng)的層次結(jié)構(gòu)切割。然而，這種方法存在缺點，在圖5和圖7中進(jìn)行了說明：當(dāng)降低分辨率時，無法表示高頻細(xì)節(jié)。

在優(yōu)化過程中，我們始終在全分辨率下進(jìn)行渲染，并簡單地選擇隨機的目標(biāo)粒度。這種方法具有優(yōu)化許多不同切割節(jié)點的期望效果，同時保留了視覺細(xì)節(jié)。當(dāng)資源有限時，這可以特別有用，因為可以采用更激進(jìn)的LOD策略，同時保持更好的視覺質(zhì)量。

2）壓縮層次結(jié)構(gòu)

層次結(jié)構(gòu)在內(nèi)存方面增加了一些開銷。更重要的是，對于層次結(jié)構(gòu)本身的優(yōu)化，我們希望避免父節(jié)點大小僅比子節(jié)點稍大的父子設(shè)置。否則，這樣的節(jié)點在訓(xùn)練過程中可能很少被選擇，也得不到適當(dāng)?shù)膬?yōu)化。為了避免這種情況，我們稀疏化了生成的樹結(jié)構(gòu)。

首先將所有葉子節(jié)點（即3DGS優(yōu)化的輸出）標(biāo)記為相關(guān)節(jié)點，即它們不應(yīng)該從樹中被移除。接下來，在所有訓(xùn)練視圖上找到樹中最小目標(biāo)粒度???????? = 3像素（由于低通濾波，原始3DGS圖元的最小范圍）的切割的并集。在這個并集中找到最底部的節(jié)點，這再次產(chǎn)生了一個切割。這些節(jié)點被認(rèn)為是所選粒度下的最高細(xì)節(jié)的相關(guān)節(jié)點。它們與已標(biāo)記節(jié)點之間的所有節(jié)點都將從樹中移除。然后將目標(biāo)粒度提高2倍，并重復(fù)此過程，直到達(dá)到????????，即圖像分辨率的一半。

大場景訓(xùn)練

現(xiàn)在可以構(gòu)建高效的3D高斯層次結(jié)構(gòu)；這對于處理非常大的場景是不可或缺的，因為從遠(yuǎn)處可見的場景部分可以在層次結(jié)構(gòu)的較粗級別上進(jìn)行渲染。為了訓(xùn)練大場景，本文方法建立在實時渲染大數(shù)據(jù)的常見計算機圖形學(xué)方法之上。特別是，引入了一種分而治之的方法，通過將大場景分割成塊（圖8）來進(jìn)行處理。

將塊大小定義為50×50米，適用于步行捕獲的場景，以及100×100米，適用于使用車輛捕獲的場景。雖然這些塊的大小有限，但它們?nèi)匀槐仍?DGS方法處理的塊大。此外，這種場景的捕獲方式必然比大多數(shù)輻射場解決方案所期望的要稀疏得多。因此，我們調(diào)整3D高斯的優(yōu)化以適應(yīng)這些差異。

目標(biāo)是允許對各個塊進(jìn)行并行處理，以便在給定足夠計算資源的情況下，在合理的掛鐘時間內(nèi)處理大場景。一旦各個塊被處理完畢，我們需要一個整合步驟來處理各個塊之間可能存在的不一致性。

具體實現(xiàn)和預(yù)處理

在C++和Python/PyTorch的原始3DGS實現(xiàn)基礎(chǔ)上實現(xiàn)了本文的方法，并修改了SIBR渲染器以實現(xiàn)快速渲染。在論文發(fā)表時，將提供所有源代碼和數(shù)據(jù)，包括數(shù)據(jù)集預(yù)處理的所有腳本（請參見項目頁面）。使用PyTorch中的自動微分進(jìn)行層次結(jié)構(gòu)優(yōu)化。此外，在層次結(jié)構(gòu)優(yōu)化過程中，通過在層次結(jié)構(gòu)中對應(yīng)于葉子節(jié)點的所有高斯分布上使用停止梯度操作符來避免優(yōu)化葉子節(jié)點，從而有效地凍結(jié)它們的屬性。

論文捕獲了三個戶外場景：SmallCity、BigCity和Campus。在表1中列出了每個場景的統(tǒng)計數(shù)據(jù)，以及Wayve提供的另一個場景的統(tǒng)計數(shù)據(jù)。

捕獲：在捕獲過程中，使用了一個自行車頭盔，上面安裝了6個相機（Campus數(shù)據(jù)集使用5個）。使用了GoPro HERO6 Black相機（見圖9），設(shè)置為線性視野（Linear FoV）和1444×1080分辨率的延時模式，每0.5秒拍攝一次。騎著自行車以大約6-7公里/小時的速度拍攝了SmallCity和BigCity場景，而Campus場景則是戴著頭盔步行時拍攝的。

姿態(tài)估計：姿態(tài)估計是處理的相機數(shù)量所帶來的一個主要挑戰(zhàn)。數(shù)據(jù)集包含5800到40000張照片。使用COLMAP，結(jié)合自定義參數(shù)設(shè)置、層次映射器和每個塊的附加捆綁調(diào)整，以實現(xiàn)合理的處理時間。在附錄B中提供了詳細(xì)信息。

數(shù)據(jù)集處理：以類似的方式對曝光進(jìn)行校正，就像其他人所做的那樣，通過優(yōu)化每幅圖像的曝光校正。最后，通過基于CNN的分割算法來檢測汽車、自行車等移動物體，并確定它們是否有對應(yīng)的SfM點，從而移除這些移動物體。還移除了所有人和車牌。所有步驟的詳細(xì)信息都在附錄中進(jìn)行了介紹。

實驗結(jié)果對比