純基于 MLP 的神經(jīng)輻射場（NeRF）由于模型容量有限，在大規(guī)模場景模糊渲染中往往存在欠擬合現(xiàn)象。最近有研究者提出對場景進(jìn)行地理劃分、并采用多個子 NeRF，分別對每個區(qū)域進(jìn)行建模，然而，這樣做帶來的問題是隨著場景的逐漸擴展，訓(xùn)練成本和子 NeRF 的數(shù)量呈線性擴大。

另一種解決方案是使用體素特征網(wǎng)格表示，該方法計算效率高，可以自然地擴展到具有增加網(wǎng)格分辨率的大場景。然而，特征網(wǎng)格由于約束較少往往只能達(dá)到次優(yōu)解，在渲染中產(chǎn)生一些噪聲偽影，特別是在具有復(fù)雜幾何和紋理的區(qū)域。

本文中，來自香港中文大學(xué)、上海人工智能實驗室等機構(gòu)的研究者提出了一個新的框架，用來實現(xiàn)高保真渲染的城市（Ubran）場景，同時兼顧計算效率，入選 CVPR 2023。該研究使用一個緊湊的多分辨率 ground 特征平面表示來粗略地捕獲場景，并通過一個 NeRF 分支網(wǎng)絡(luò)用位置編碼輸入來補充它，以聯(lián)合學(xué)習(xí)的方式進(jìn)行渲染。這種方式集成了兩種方案的優(yōu)點：在特征網(wǎng)格表示的指導(dǎo)下，輕加權(quán) NeRF 足以呈現(xiàn)具有細(xì)節(jié)的逼真新視角；聯(lián)合優(yōu)化的 ground 特征平面可以獲得進(jìn)一步的細(xì)化，形成更精確、更緊湊的特征空間，輸出更自然的渲染結(jié)果。

• 論文地址：https://arxiv.org/pdf/2303.14001.pdf
• 項目主頁：https://city-super.github.io/gridnerf/

下圖為該研究方法對真實世界 Ubran 場景的示例結(jié)果，給人一種沉浸式城市漫游體驗：

方法介紹

為了有效利用隱式神經(jīng)表示重建大型城市場景，該研究提出了一個雙分支模型架構(gòu)，它采用統(tǒng)一的場景表示，集成了基于顯式體素網(wǎng)格和基于隱式的 NeRF 方法，這兩種類型的表示可以互補。

首先在預(yù)訓(xùn)練階段使用特征網(wǎng)格對目標(biāo)場景進(jìn)行建模，從而粗糙地捕捉場景的幾何形狀和外觀。然后使用粗特征網(wǎng)格，1) 引導(dǎo) NeRF 點采樣，使其集中在場景表面周圍；2) 為 NeRF 的位置編碼提供關(guān)于場景幾何形狀和在采樣位置上的外觀額外特征。在這樣的指導(dǎo)下，NeRF 可以在一個大大壓縮的采樣空間中有效地獲取更精細(xì)的細(xì)節(jié)。此外，由于粗層級的幾何圖形和外觀信息被明確地提供給 NeRF，一個輕量級的 MLP 就足以學(xué)習(xí)從全局坐標(biāo)到體積密度和顏色值的映射。在第二個聯(lián)合學(xué)習(xí)階段，通過來自 NeRF 分支的梯度對粗特征網(wǎng)格進(jìn)行進(jìn)一步優(yōu)化，并對其進(jìn)行規(guī)范化，從而在單獨應(yīng)用時產(chǎn)生更準(zhǔn)確和自然的渲染結(jié)果。

該研究的核心是一個新的雙分支結(jié)構(gòu)，即網(wǎng)格分支和 NeRF 分支。1) 研究人員首先在預(yù)訓(xùn)練階段捕捉特征平面的金字塔場景，并通過淺 MLP 渲染器（網(wǎng)格分支）對射線點進(jìn)行粗略的采樣，并預(yù)測它們的輻射值，由體積積分像素顏色上的 MSE 損失監(jiān)督。這一步生成一組信息豐富的多分辨率密度 / 外觀特征平面。2) 接下來，研究人員進(jìn)入聯(lián)合學(xué)習(xí)階段，并進(jìn)行更精細(xì)的抽樣。研究人員使用學(xué)習(xí)到的特征網(wǎng)格來指導(dǎo) NeRF 分支采樣，以集中在場景表面。通過在特征平面上的雙線性插值法，推導(dǎo)出采樣點的網(wǎng)格特征。然后將這些特征與位置編碼連接，并輸入 NeRF 分支以預(yù)測體積密度和顏色。請注意，在聯(lián)合訓(xùn)練過程中，網(wǎng)格分支的輸出仍然使用 ground 真實圖像以及來自 NeRF 分支的精細(xì)渲染結(jié)果進(jìn)行監(jiān)督。

目標(biāo)場景：在這項工作中，該研究使用新穎的網(wǎng)格引導(dǎo)神經(jīng)輻射場執(zhí)行大型城市場景渲染。下圖左側(cè)顯示了一個大型城市場景的示例，它跨越 2.7km^2 的地面區(qū)域，由超過 5k 的無人機圖像捕獲。研究表明，基于 NeRF 方法渲染結(jié)果模糊且過度平滑且模型容量有限，而基于特征網(wǎng)格的方法在適應(yīng)具有高分辨率特征網(wǎng)格的大規(guī)模場景時往往會顯示嘈雜的偽影。該研究提出的雙分支模型結(jié)合了兩種方法的優(yōu)點，并通過對現(xiàn)有方法的顯著改進(jìn)實現(xiàn)了逼真的新穎視圖渲染。這兩個分支都比各自的基線獲得了顯著增強。

實驗

研究人員在下圖和表格中報告了 baseline 的性能和研究人員的方法作對比。無論從定性和定量上看。在視覺質(zhì)量和所有指標(biāo)方面都可以觀察到顯著的改善。與純粹的基于 MLP 的方法（NeRF 和 Mega-NeRF）相比，研究人員的方法揭示了更清晰的幾何形狀和更精細(xì)的細(xì)節(jié)。特別是由于 NeRF 的有限容量和光譜偏差，它總是不能模擬幾何形狀和顏色的快速變化，如操場上的植被和條紋。盡管像 Mega-NeRF 的 baseline 中顯示的那樣，在地理位置上將場景劃分為小區(qū)域稍有幫助，但呈現(xiàn)的結(jié)果仍然顯得過于平滑。相反，在學(xué)習(xí)特征網(wǎng)格的引導(dǎo)下，NeRF 的采樣空間被有效地、大大地壓縮到場景表面附近。從 ground 特征平面采樣的密度和外觀特征明確地表示了場景內(nèi)容，如圖 3 所示。盡管不那么準(zhǔn)確，但它已經(jīng)提供了信息豐富的局部幾何圖形和紋理，并鼓勵 NeRF 的位置編碼來收集缺失的場景細(xì)節(jié)。

下表 1 為定量結(jié)果：

圖 6 可以觀察到渲染保真度的快速提高：

了解更多內(nèi)容，請參考原論文。