本文經(jīng)自動(dòng)駕駛之心公眾號(hào)授權(quán)轉(zhuǎn)載，轉(zhuǎn)載請(qǐng)聯(lián)系出處。

寫在前面&筆者的個(gè)人理解

最近的研究強(qiáng)調(diào)了NeRF在自動(dòng)駕駛環(huán)境中的應(yīng)用前景。然而室外環(huán)境的復(fù)雜性，加上駕駛場(chǎng)景中的視點(diǎn)受限，使精確重建場(chǎng)景幾何體的任務(wù)變得復(fù)雜。這些挑戰(zhàn)往往會(huì)導(dǎo)致重建質(zhì)量下降，訓(xùn)練和渲染的持續(xù)時(shí)間延長(zhǎng)。為了應(yīng)對(duì)這些挑戰(zhàn)，我們推出了Lightning NeRF。它使用了一種高效的混合場(chǎng)景表示，在自動(dòng)駕駛場(chǎng)景中有效地利用了激光雷達(dá)的幾何先驗(yàn)。Lightning NeRF顯著提高了NeRF的新穎視圖合成性能，并減少了計(jì)算開(kāi)銷。通過(guò)對(duì)真實(shí)世界數(shù)據(jù)集（如KITTI-360、Argoverse2和我們的私人數(shù)據(jù)集）的評(píng)估，我們證明了我們的方法不僅在新視圖合成質(zhì)量方面超過(guò)了當(dāng)前最先進(jìn)的技術(shù)，而且在訓(xùn)練速度上提高了五倍，在渲染速度上也提高了十倍。

• 代碼鏈接：https://github.com/VISION-SJTU/Lightning-NeRF

詳解Lightning NeRF

Preliminaries

NeRF表示具有隱式函數(shù)的場(chǎng)景，該隱式函數(shù)通常由MLP參數(shù)化，其返回從觀看方向d觀察到的場(chǎng)景中的隨機(jī)3D點(diǎn)x的顏色值c和體積密度預(yù)測(cè)σ：

具體地說(shuō)，為了渲染像素，NeRF利用分層體積采樣沿射線r生成N個(gè)點(diǎn)。這些位置的預(yù)測(cè)密度和顏色特征通過(guò)累積進(jìn)行組合：

雖然NeRF在新的視圖合成中表現(xiàn)出優(yōu)異的性能，但它的訓(xùn)練時(shí)間長(zhǎng)，渲染速度慢，部分原因是其采樣策略效率低。為此在訓(xùn)練期間保持粗略的占用網(wǎng)格，并且僅對(duì)占用體積內(nèi)的位置進(jìn)行采樣。我們使用與這些工作類似的采樣策略來(lái)提高模型的效率。

Hybrid Scene Representation

混合體積表示已經(jīng)使用緊湊的模型實(shí)現(xiàn)了快速優(yōu)化和渲染。鑒于此，我們采用混合體素網(wǎng)格表示來(lái)對(duì)輻射場(chǎng)進(jìn)行建模以提高效率。簡(jiǎn)言之，我們通過(guò)在網(wǎng)格頂點(diǎn)存儲(chǔ)σ來(lái)顯式地對(duì)體積密度進(jìn)行建模，同時(shí)使用淺MLP以隱式方式將顏色嵌入f解碼為最終顏色c。為了處理戶外環(huán)境的無(wú)邊界性質(zhì)，我們將場(chǎng)景表示分為前景和背景兩部分，如圖2所示。具體來(lái)說(shuō)，我們從軌跡序列中檢查每一幀中的相機(jī)截頭體，并定義前景邊界框，使其緊密包裹對(duì)齊坐標(biāo)系中的所有截頭體。背景框是通過(guò)沿每個(gè)維度按比例放大前景框而獲得的。

體素網(wǎng)格表示。體素網(wǎng)格表示在其網(wǎng)格頂點(diǎn)中顯式存儲(chǔ)場(chǎng)景屬性（例如，密度、RGB顏色或特征），以支持高效的特征查詢。這樣，對(duì)于給定的3D位置，我們可以通過(guò)三線性插值來(lái)解碼相應(yīng)的屬性：

前景。我們建立了兩個(gè)獨(dú)立的特征網(wǎng)格，用于對(duì)前景區(qū)域的密度和顏色嵌入進(jìn)行建模。具體來(lái)說(shuō)，密度網(wǎng)格映射將位置映射到密度標(biāo)量σ中，用于體積渲染。對(duì)于顏色嵌入網(wǎng)格映射，我們通過(guò)哈希表以不同分辨率備份實(shí)例化多個(gè)體素網(wǎng)格，以獲得更精細(xì)的細(xì)節(jié)，并具有可承受的內(nèi)存開(kāi)銷。最終的顏色嵌入f是通過(guò)在L個(gè)分辨率級(jí)別上串聯(lián)輸出而獲得的。

背景盡管前面提到的前景建模適用于對(duì)象級(jí)別的輻射場(chǎng)，但將其擴(kuò)展到無(wú)界的室外場(chǎng)景并非易事。一些相關(guān)技術(shù)，如NGP，直接擴(kuò)展其場(chǎng)景邊界框，以便可以包括背景區(qū)域，而GANcraft和URF引入了球形背景輻射來(lái)處理這個(gè)問(wèn)題。然而，前一種嘗試導(dǎo)致其功能的浪費(fèi)，因?yàn)槠鋱?chǎng)景框內(nèi)的大多數(shù)區(qū)域都用于背景場(chǎng)景。對(duì)于后一種方案，它可能無(wú)法處理城市場(chǎng)景中復(fù)雜的全景（例如，起伏的建筑或復(fù)雜的景觀），因?yàn)樗皇羌僭O(shè)背景輻射僅取決于視線方向。

為此，我們?cè)O(shè)置了一個(gè)額外的背景網(wǎng)格模型，以保持前景部分的分辨率不變。我們采用[9]中的場(chǎng)景參數(shù)化作為背景，經(jīng)過(guò)精心設(shè)計(jì)。首先與反球面建模不同，我們使用反三次建模，用?∞ 范數(shù)，因?yàn)槲覀兪褂皿w素網(wǎng)格表示。其次我們不實(shí)例化額外的MLP來(lái)查詢背景顏色以節(jié)省內(nèi)存。具體來(lái)說(shuō)，我們通過(guò)以下方式將3D背景點(diǎn)扭曲為4D:

LiDAR Initialization

使用我們的混合場(chǎng)景表示，當(dāng)我們直接從有效的體素網(wǎng)格表示而不是計(jì)算密集型MLP查詢密度值時(shí)，該模型可以節(jié)省計(jì)算和內(nèi)存。然而，考慮到城市場(chǎng)景的大規(guī)模性質(zhì)和復(fù)雜性，由于密度網(wǎng)格的分辨率有限，這種輕量級(jí)表示很容易在優(yōu)化中陷入局部極小值。幸運(yùn)的是，在自動(dòng)駕駛中，大多數(shù)自動(dòng)駕駛汽車（SDV）都配備了LiDAR傳感器，為場(chǎng)景重建提供了粗略的幾何先驗(yàn)。為此，我們建議使用激光雷達(dá)點(diǎn)云來(lái)初始化我們的密度網(wǎng)格，以減輕場(chǎng)景幾何和輻射聯(lián)合優(yōu)化的障礙。

Color Decomposition

最初的NeRF使用與視圖相關(guān)的MLP來(lái)對(duì)輻射場(chǎng)中的顏色進(jìn)行建模，這是對(duì)物理世界的簡(jiǎn)化，其中輻射由漫射（與視圖無(wú)關(guān)）顏色和鏡面（與視圖相關(guān)）顏色組成。此外，由于最終輸出顏色c與觀看方向d完全糾纏，因此難以在看不見(jiàn)的視圖中渲染高保真圖像。如圖3所示，我們?cè)跊](méi)有顏色分解（CD）的情況下訓(xùn)練的方法在外推設(shè)置中的新視圖合成中失?。?，基于訓(xùn)練視圖將觀看方向向左移動(dòng)2米），而我們?cè)陬伾纸獾那闆r下給出了合理的渲染結(jié)果。

采樣位置的最終顏色是這兩個(gè)因素的總和：

訓(xùn)練損失

我們使用重新縮放的權(quán)重wi來(lái)修改光度損失，以優(yōu)化我們的模型，使其專注于硬樣本以實(shí)現(xiàn)快速收斂。權(quán)重系數(shù)定義為：

圖片

實(shí)驗(yàn)

結(jié)論

本文介紹了Lightning NeRF，這是一種高效的戶外場(chǎng)景視圖合成框架，它集成了點(diǎn)云和圖像。所提出的方法利用點(diǎn)云快速初始化場(chǎng)景的稀疏表示，實(shí)現(xiàn)了顯著的性能和速度增強(qiáng)。通過(guò)更有效地對(duì)背景進(jìn)行建模，我們減少了前景上的代表性應(yīng)變。最后，通過(guò)顏色分解，分別對(duì)視圖相關(guān)和視圖無(wú)關(guān)的顏色進(jìn)行建模，增強(qiáng)了模型的外推能力。在各種自動(dòng)駕駛數(shù)據(jù)集上進(jìn)行的大量實(shí)驗(yàn)表明，我們的方法在性能和效率方面都優(yōu)于以前的先進(jìn)技術(shù)。