NeRF 模型 demo。
NeRF-W 模型 demo。
然而，這些驚艷的效果是非常消耗算力的：每幀圖要渲染 30 秒，模型用單個 GPU 要訓練一天。因此，后續(xù)的多篇論文都在算力成本方面進行了改進，尤其是渲染方面。但是，模型的訓練成本并沒有顯著降低，使用單個 GPU 訓練仍然需要花費數(shù)小時，這成為限制其落地的一大瓶頸。
在一篇新論文中，來自加州大學伯克利分校的研究者瞄準了這一問題，提出了一種名為 Plenoxels 的新方法。這項新研究表明，即使沒有神經(jīng)網(wǎng)絡，從頭訓練一個輻射場（radiance field）也能達到 NeRF 的生成質(zhì)量，而且優(yōu)化速度提升了兩個數(shù)量級。
- 論文鏈接：https://arxiv.org/pdf/2112.05131.pdf
- 項目主頁：https://alexyu.net/plenoxels/
- 代碼鏈接：https://github.com/sxyu/svox2
他們提供了一個定制的 CUDA 實現(xiàn)，利用模型的簡單性來達到可觀的加速。在有界場景中，Plenoxels 在單個 Titan RTX GPU 上的典型優(yōu)化時間是 11 分鐘，NeRF 大約是一天，前者實現(xiàn)了 100 多倍的加速；在無界場景中，Plenoxels 的優(yōu)化時間大約為 27 分鐘，NeRF++ 大約是四天，前者實現(xiàn)了 200 多倍的加速。雖然 Plenoxels 的實現(xiàn)沒有針對快速渲染進行優(yōu)化，但它能以 15 幀 / 秒的交互速率渲染新視點。如果想要更快的渲染速度，優(yōu)化后的 Plenoxel 模型可以被轉(zhuǎn)換為 PlenOctree（本文作者 Alex Yu 等在一篇 ICCV 2021 論文中提出的新方法：https://alexyu.net/plenoctrees/）。
具體來說，研究者提出了一個顯式的體素表示方法，該方法基于一個不含任何神經(jīng)網(wǎng)絡的 view-dependent 稀疏體素網(wǎng)格。新模型可以渲染逼真的新視點，并利用訓練視圖上的可微渲染損失和 variation regularizer 對校準的 2D 照片進行端到端優(yōu)化。
他們把該模型稱為 Plenoxel（plenoptic volume elements），因為它由稀疏體素網(wǎng)格組成，每個體素網(wǎng)格存儲不透明度和球諧系數(shù)信息。這些系數(shù)被 interpolated，以在空間中連續(xù)建模完整的全光函數(shù)。為了在單個 GPU 上實現(xiàn)高分辨率，研究者修剪了空體素，并遵循從粗到細的優(yōu)化策略。雖然核心模型是一個有界體素網(wǎng)格，但他們可以通過兩種方法來建模無界場景：1）使用標準化設備坐標（用于 forward-facing 場景）；用多球體圖像圍繞網(wǎng)格來編碼背景（用于 360° 場景）。
Plenoxel 在 forward-facing 場景中的效果。
Plenoxel 在 360° 場景中的效果。
該方法表明，我們可以使用標準工具從反問題中進行逼真體素重建，包括數(shù)據(jù)表示、forward 模型、正則化函數(shù)和優(yōu)化器。這些組件中的每一個都可以非常簡單，并且仍然可以實現(xiàn) SOTA 結果。實驗結果表明，神經(jīng)輻射場的關鍵要素不是神經(jīng)網(wǎng)絡，而是可微分的體素渲染器。
框架概覽
Plenoxel 是一個稀疏體素網(wǎng)格，其中每個被占用的體素角存儲一個標量不透明度σ和每個顏色通道的球諧系數(shù)向量。作者將這種表征稱為 Plenoxel。任意位置和觀察方向上的不透明度和顏色是通過對存儲在相鄰體素上的值進行三線性插值并在適當?shù)挠^察方向上評估球諧系數(shù)來確定的。給定一組校準過的圖像，直接使用 training ray 上的渲染損失來優(yōu)化模型。模型的架構如下圖 2 所示。
上圖 2 是稀疏 Plenoxel 模型框架的概念圖。給定一組物體或場景的圖像，研究者在每個體素處用密度和球諧系數(shù)重建一個：（a）稀疏體素（Plenoxel）網(wǎng)格。為了渲染光線，他們（b）通過鄰近體素系數(shù)的三線性插值計算每個樣本點的顏色和不透明度。他們還使用（c）可微體素渲染來整合這些樣本的顏色和不透明度。然后可以（d）使用相對于訓練圖像的標準 MSE 重建損失以及總 variation regularizer 來優(yōu)化體素系數(shù)。
實驗結果
研究者在合成的有界場景、真實的無界 forward-facing 場景以及真實的無界 360° 場景中展示了模型效果。他們將新模型的優(yōu)化時間與之前的所有方法（包括實時渲染）進行了對比，發(fā)現(xiàn)新模型速度顯著提升。定量比較結果見表 2，視覺比較結果如圖 6、圖 7、圖 8 所示。
另外，新方法即使在優(yōu)化的第一個 epoch 之后，也能獲得高質(zhì)量結果，用時不到 1.5 分鐘，如圖 5 所示。
