本文經(jīng)自動駕駛之心公眾號授權(quán)轉(zhuǎn)載，轉(zhuǎn)載請聯(lián)系出處。

神經(jīng)輻射場究竟是什么

輻射場：由光源發(fā)出的光線在場景中的傳播和反射過程中所形成的能量分布。通俗來說就是一個函數(shù)，記錄了空間某個位置處向某個方向的輻射信息，輻射信息（或者說能量分布）其實(shí)就是顏色、亮度、陰影等信息。這里的方向需要額外留意，它是NeRF實(shí)現(xiàn)真實(shí)重建的重要因素之一！

由此引出神經(jīng)輻射場的概念。
神經(jīng)輻射場：用神經(jīng)網(wǎng)絡(luò)儲存空間位置向任意方向的輻射。原文中的描述如下：

更加規(guī)范的公式表達(dá)如下：

輸入3D位置(x,y,z)和2D的視角方向()，輸出是顏色和體密度

NeRF具體的網(wǎng)絡(luò)結(jié)果參考原文如下：

• 3D坐標(biāo)x輸入第一個網(wǎng)絡(luò)fσ，包含8層全連接層，每層256個神經(jīng)元，ReLU激活；
• 網(wǎng)絡(luò)fσ輸出體密度σ和一個256維向量，該向量與視角方向d送入fc（一層，128通道，ReLU激活）預(yù)測RGB；

由上面可知，NeRF是隱式建模，因?yàn)槟Ｐ褪莾Υ嬖贛LP里面的，模型就是MLP的參數(shù)，這和以往點(diǎn)云和mesh建模不同（點(diǎn)云/mesh是可以直接看到模型的）。NeRF必須查詢一個個的三維點(diǎn)，然后渲染成一章圖像。這種查看方式或者說渲染方式就叫體渲染。

在看體渲染之前。我們先看一下網(wǎng)絡(luò)的效果如何：

可以看出，不同視角下顏色是不同的！這是NeRF相對于傳統(tǒng)重建非常重要的優(yōu)勢之一~

NeRF的核心：體渲染

下面進(jìn)入NeRF的第二個核心要點(diǎn)——體渲染。體渲染就是用來將顏色和密度渲染成2D圖像的方法！

示意圖如下：圖a展示了從相機(jī)光心位置發(fā)出射線，射線上有采樣點(diǎn)，將采樣點(diǎn)和方向送入MLP獲得顏色和體密度。圖c展示的的就是沿射線的體密度分布曲線，是通過采樣獲得的，對曲線進(jìn)行積分就能獲得像素的顏色。這個過程就是體渲染

總結(jié)一下體渲染步驟：

• 從相機(jī)光心發(fā)出穿透每個像素的射線，射線上取三維采樣點(diǎn)；
• 將采樣點(diǎn)坐標(biāo)和視角方向送入MLP計(jì)算顏色和體密度；
• 按體密度積分（堆疊）顏色信息，形成2D圖像

體渲染的公式如下：

當(dāng)然實(shí)際使用的是離散版本公式：

隱式重建流程

在講完神經(jīng)輻射場和體渲染后，現(xiàn)在開始完整的重建流程~

在形成一個完成的pipeline之前，還有以下兩個問題需要解決：

為了解決上述兩個問題，NeRF提出了位置編碼和分層采樣過程

位置編碼：

論文直觀展示了位置編碼的效果對比：

可以看出，去掉位置編碼，模型無法表達(dá)高頻的幾何和紋理信息~

多層采用：

訓(xùn)練流程如下：

實(shí)驗(yàn)和總結(jié)

評價指標(biāo)：

實(shí)驗(yàn)設(shè)置：

實(shí)驗(yàn)結(jié)果可以看出，各種材質(zhì)的小球上面的散光也可以很好的表現(xiàn)出來~

消融實(shí)驗(yàn)：

總結(jié)

文提出的神經(jīng)輻射場，從相機(jī)光心發(fā)出穿過像素的采樣射線，在射線上取點(diǎn)，將其三維位置和視角方向用一個MLP映射到體密度和顏色，然后用體渲染堆疊采樣射線上的體密度和顏色，獲得像素值。像素值與GT圖像求誤差后反向傳播，優(yōu)化MLP參數(shù)。本文用這樣的隱式重建方法實(shí)現(xiàn)了照片級的具有真實(shí)感的模型重建和渲染。

缺陷：

• 渲染、訓(xùn)練速度慢；
• 對視角數(shù)量和分布有較高要求；
• 難以拓展到有背景的或者較大的場景。

原文鏈接：https://mp.weixin.qq.com/s/ctDBTaLWuHTM9MONrAor4g