最近，來自 Waabi AI、多倫多大學(xué)、滑鐵盧大學(xué)和麻省理工的研究者們在 NeurIPS 2023 上提出了一種全新的自動駕駛光照仿真平臺 LightSim。研究者們提出了從真實數(shù)據(jù)中生成配對的光照訓(xùn)練數(shù)據(jù)的方法，解決了數(shù)據(jù)缺失和模型遷移損失的問題。LightSim 利用神經(jīng)輻射場（NeRF）和基于物理的深度網(wǎng)絡(luò)渲染車輛駕駛視頻，首次在大規(guī)模真實數(shù)據(jù)上實現(xiàn)了動態(tài)場景的光照仿真。

• 項目網(wǎng)站：https://waabi.ai/lightsim
• 論文鏈接：https://openreview.net/pdf?id=mcx8IGneYw

為什么需要自動駕駛光照仿真？

相機仿真在機器人技術(shù)中，尤其對于自動駕駛車輛感知室外的場景非常重要。然而，現(xiàn)有的相機的感知系統(tǒng)一旦遇到訓(xùn)練時未學(xué)習(xí)過的室外照明條件，就表現(xiàn)欠佳。通過相機模擬生成豐富的室外照明變化數(shù)據(jù)集，可以提高自動駕駛系統(tǒng)的魯棒性。

常見的相機仿真方法一般基于物理引擎。這種方法通過設(shè)定 3D 模型和照明條件來渲染場景。但往往仿真效果缺乏多樣性且不夠逼真。此外，由于高質(zhì)量的 3D 模型數(shù)量有限，并且物理渲染結(jié)果與真實世界場景不完全匹配。這導(dǎo)致訓(xùn)練模型在真實數(shù)據(jù)上的泛化能力較差。

另一種是基于數(shù)據(jù)驅(qū)動的（data-driven）仿真方法。它利用神經(jīng)渲染重構(gòu)真實世界的數(shù)字孿生（digital twins），以復(fù)制傳感器觀測到的數(shù)據(jù)。這種方法可以更具擴展性地創(chuàng)建場景并提高現(xiàn)實感，但現(xiàn)有技術(shù)往往將場景照明烘焙（bake）到 3D 模型中，這阻礙了對數(shù)字孿生進行編輯，如改變照明條件或增刪新的物體等。

在 NeurIPS 2023 的一篇工作中，來自 Waabi AI 的研究者們展示了一個基于物理引擎和神經(jīng)網(wǎng)絡(luò)的光照仿真系統(tǒng) LightSim: Neural Lighting Simulation for Urban Scenes.

不同于以往工作，LightSim 同時做到了:

1. 真實（realistic）: 首次做到對大規(guī)模室外動態(tài)場景進行光照仿真，并且可以較為準確地模擬陰影、物體間的光照效果等。

2. 可控（controllable）：支持動態(tài)駕駛場景的編輯（增添、刪除物體、相機位置和參數(shù)、改變光照、生成安全關(guān)鍵場景等），從而生成更逼真且一致性更強的視頻來提升系統(tǒng)對于光照和邊緣情況的魯棒性。

3. 可擴展 (scalable): 方便擴展到更多的場景和不同數(shù)據(jù)集中，只需要采集一次數(shù)據(jù)（single pass), 就能重新建構(gòu)并進行真實可控的仿真測試。

仿真系統(tǒng)的搭建

第一步：構(gòu)建真實世界的可重新照明數(shù)字孿生體

為了在數(shù)字世界中重建自動駕駛場景，LightSim 首先從采集的數(shù)據(jù)中劃分動態(tài)物體和靜態(tài)場景。這一步使用了 UniSim 來重建場景，并在網(wǎng)絡(luò)中移除了相機視角依賴。再使用 marching cube 得到 geometry, 并進一步轉(zhuǎn)換為帶有基本材料的 mesh。

除了材料和幾何，LightSim 還能夠根據(jù)室外白天場景的主要光源太陽和天空，估算室外照明，得到高動態(tài)范圍的環(huán)境圖（HDR Sky dome）。借助傳感器數(shù)據(jù)和提取的幾何體，LightSim 可以估算出一個不完整的全景圖像，然后補全它，獲得一個全方位 360° 的天空視圖。從而利用這個全景圖像和 GPS 信息生成 HDR 環(huán)境圖，準確估算出太陽強度、太陽方向和天空外觀。

第二步：動態(tài)城市場景的神經(jīng)照明仿真

在得到數(shù)字孿生體后，可以進一步對其進行修改，例如增加或移除物體，改變車輛軌跡或更改照明等，以生成增強現(xiàn)實的表征。LightSim 將執(zhí)行基于物理的渲染，生成有關(guān)修改場景的照明相關(guān)數(shù)據(jù)，如基本色彩、深度、法向量和陰影。利用這些與照明相關(guān)的數(shù)據(jù)以及對場景源和目標照明條件的估算，LightSim 的工作流程如下所示。

雖然基于物理的渲染圖像很好地重構(gòu)了場景中的照明效果，但由于幾何形狀的不完美以及材料 / 照明分解中的誤差，渲染結(jié)果往往缺乏真實感，例如模糊、不真實的表面反射和邊界偽影。因此，研究者們提出了增強真實感的神經(jīng)延遲渲染。他們引入了一個圖像合成網(wǎng)絡(luò)，該網(wǎng)絡(luò)采用源圖像和渲染引擎生成的照明相關(guān)數(shù)據(jù)的預(yù)計算緩沖區(qū)，生成最終的圖像。同時，論文中的方法還為網(wǎng)絡(luò)提供了環(huán)境圖，以增強照明上下文，并通過數(shù)字孿生體生成了成對圖像，提供了一種新穎的成對仿真和真實數(shù)據(jù)訓(xùn)練方案。

仿真能力展示

改變場景的光照 (Scene Relighting)

LightSim 可以在新的光照條件下以時間一致的方式渲染同一場景。如視頻所示，新的太陽位置和天空外觀會導(dǎo)致場景的陰影和外觀發(fā)生變化。

LightSim 可以批量地進行場景重新照明，從估計的和真實的 HDR 環(huán)境圖中生成同一場景的新的時間一致的和可 3D 感知的照明變化。

陰影編輯 (Shadow Editing)

LightSim 的照明表示是可編輯的，可以改變太陽的方向，從而更新與太陽光方向相關(guān)的照明變化和陰影。LightSim 通過旋轉(zhuǎn) HDR 環(huán)境圖并將其傳遞給神經(jīng)延遲渲染模塊以生成以下視頻。

LightSim 也可以批量地進行陰影編輯。

可感知光照的物體添加 (Lighting-Aware Actor Insertion)

除了修改照明之外，LightSim 還可以對不常見的對象（例如建筑障礙物）執(zhí)行照明感知的添加。這些添加的對象可以更新物體的照明陰影、做到準確遮擋物體以及與整個相機配置的空間適配。

仿真遷移 (Generalization to nuScenes)

由于 LightSim 的神經(jīng)延遲渲染網(wǎng)絡(luò)是在多個駕駛視頻上進行訓(xùn)練的，因此 LightSim 可以推廣到新場景中。以下視頻展示了 LightSim 泛化到 nuScenes 中的駕駛場景的能力。LightSim 可以為每個場景構(gòu)建照明感知數(shù)字孿生，然后應(yīng)用于在 PandaSet 上預(yù)訓(xùn)練的神經(jīng)延遲渲染模型。LightSim 遷移性能良好，并且可以較為魯棒地為場景重新照明。

真實可控的相機仿真

綜合以上展示的所有功能，LightSim 實現(xiàn)了可控、多樣化且逼真的相機模擬。以下視頻展示了 LightSim 的場景仿真性能。在視頻中，一輛白色的車緊急變道至 SDV 車道，引入了新的路障，這使得白色車輛進入了產(chǎn)生一個全新的場景，在新場景的多種照明條件下 LightSim 生成的效果如下所示。

以下視頻中展示了另一個實例，插入了新的道路障礙后，又添加了一組新的車輛。使用 LightSim 搭建的仿真光照，讓新加入的車輛能夠無縫地融入到場景中。

總結(jié)和展望

LightSim 是一個可感知光照的相機仿真平臺，為處理大規(guī)模動態(tài)駕駛場景服務(wù)。它可以根據(jù)現(xiàn)實世界的數(shù)據(jù)構(gòu)建可感知照明的數(shù)字孿生體，并對其進行修改，以創(chuàng)建具有不同物體布局、SDV 視角的新場景。LightSim 能夠?qū)鼍澳M新的照明條件以實現(xiàn)多樣化、真實且可控的相機仿真，從而生成時間 / 空間一致的視頻。值得注意的是，LightSim 還可以結(jié)合逆向渲染、天氣模擬等技術(shù)來進一步提升仿真性能。