打光是圖像處理過(guò)程中的重要步驟，打光的好壞可能會(huì)影響整體效果的展示。打光方法也各有不同，MIT、谷歌等的一項(xiàng)新研究另辟蹊徑，通過(guò)神經(jīng)光傳輸方法進(jìn)行圖像的二次打光和視圖合成，實(shí)現(xiàn)了相當(dāng)不錯(cuò)的效果。

圖像合成早已不是新鮮話題，但是「打光」可是所有照片的難題。對(duì)于人類攝影師而言，打光就是件挺復(fù)雜的事，那么合成圖像中的光線問(wèn)題又該如何解決呢？

最近，來(lái)自 MIT、谷歌和加州大學(xué)圣地亞哥分校的研究人員進(jìn)行了一項(xiàng)研究，試圖通過(guò)神經(jīng)光傳輸（Neural Light Transport，NLT）對(duì)圖像進(jìn)行二次打光（relighting）和視圖合成（view synthesis）。

那么，這項(xiàng)研究提出的 NLT 方法效果如何呢？研究者在多個(gè)場(chǎng)景下進(jìn)行了測(cè)試，包括 Directional Relighting、基于不同圖像背景的打光、根據(jù)攝像頭路徑不同進(jìn)行視圖合成后的打光效果等等。

效果看起來(lái)不錯(cuò)，就是有點(diǎn)像鬼片……（瑟瑟發(fā)抖

具體而言，在 Directional Relighting 場(chǎng)景下，NLT 實(shí)現(xiàn)了如下效果：

在基于圖像的 Relighting 場(chǎng)景下，人物的打光效果隨著背景圖像的變換而不斷調(diào)整：

那么在涉及視圖合成時(shí)，效果如何呢？

同時(shí)進(jìn)行二次打光和視圖合成呢？

NLT 方法如何實(shí)現(xiàn)這樣的效果？我們來(lái)看論文詳情。

神經(jīng)光傳輸（NLT）論文簡(jiǎn)介

論文地址：https://arxiv.org/pdf/2008.03806.pdf

項(xiàng)目頁(yè)面：http://nlt.csail.mit.edu/

場(chǎng)景的光傳輸（LT）描述了場(chǎng)景在不同布光和視角方向下的樣子，對(duì)場(chǎng)景 LT 的全面了解有助于在任意布光條件下合成新的視圖。

這篇論文探討了基于圖像的 LT 采集，主要用于光照平臺(tái)設(shè)置中的人體。研究者提出了一種半?yún)?shù)方法，以學(xué)習(xí)嵌入到已知幾何特性的紋理圖集空間中的 LT 的神經(jīng)表示，并將所有非漫射和全局 LT 建模為殘差，并將其添加到物理精確的漫反射基底渲染中。

具體而言，該研究展示了如何融合先前看到的光源和視圖觀察結(jié)果，基于選定的視點(diǎn)和期望照明條件合成同一場(chǎng)景的新圖像。

該策略允許網(wǎng)絡(luò)學(xué)習(xí)復(fù)雜的材料效果（如次表面散射）和全局照明，同時(shí)保證漫反射 LT 的物理正確性（如硬陰影）。借助這一學(xué)得的 LT，我們可以使用平行光或 HDRI 貼圖以逼真的方式對(duì)場(chǎng)景進(jìn)行二次打光，合成具有視圖依賴效果的新視圖，或者使用一組先前觀察到的稀疏結(jié)果在一個(gè)統(tǒng)一框架中同時(shí)執(zhí)行二次打光和視圖合成這兩種操作。

該研究通過(guò)定性和定量實(shí)驗(yàn)表明，NLT 方法優(yōu)于當(dāng)前最優(yōu)的二次打光和視圖合成解決方案，并且不需要像先前工作那樣，對(duì)這兩個(gè)問(wèn)題進(jìn)行單獨(dú)處理。

NLT 方法的大致流程。

該研究的主要貢獻(xiàn)有：

提出一種端到端的半?yún)?shù)方法，使用卷積神經(jīng)網(wǎng)絡(luò)從實(shí)際數(shù)據(jù)中學(xué)習(xí)對(duì)每個(gè)對(duì)象的 6D 光傳輸函數(shù)進(jìn)行插值。

通過(guò)將網(wǎng)絡(luò)嵌入?yún)?shù)化紋理圖集，并利用一組 One-Light-at-A-Time（OLAT）圖像作為輸入，實(shí)現(xiàn)可同時(shí)執(zhí)行二次打光和視圖合成的統(tǒng)一框架。

提出了一組增強(qiáng)的紋理空間輸入和一個(gè)基于物理精確漫反射基底的殘差學(xué)習(xí)機(jī)制，使得網(wǎng)絡(luò)能夠輕松學(xué)習(xí)非漫射、高階光傳輸效應(yīng)（包括鏡面高光）、次表面散射和全局照明。

NLT 方法

研究者使用的框架是一個(gè)具備殘差學(xué)習(xí)機(jī)制的半?yún)?shù)模型，旨在縮小幾何代理（geometry proxy）的漫反射渲染與實(shí)際輸入圖像之間的真實(shí)感差距，具體如下圖 2 所示。

半?yún)?shù)方法用于融合先前記錄的觀察結(jié)果，以在任何預(yù)期的光照和視角下生成新的逼真圖像。該方法得益于近年來(lái)計(jì)算機(jī)視覺領(lǐng)域的進(jìn)展，使研究人員可以對(duì)人體對(duì)象實(shí)現(xiàn)精準(zhǔn)的 3D 重建。

圖 2：之前的 Relightables 方法（Guo 等人，2019 年）、該研究提出的 NLT 方法和真實(shí)圖像之間的真實(shí)感差距。

NLT 方法的模型架構(gòu)如下圖 4 所示：

模型網(wǎng)絡(luò)包含兩個(gè)路徑，分別是查詢路徑（Query Path）和觀察路徑（Observation Path）。其中「觀察路徑」以基于目標(biāo)光源和視角方向采樣的 K 個(gè)臨近觀察結(jié)果（作為紋理空間殘差圖）為輸入，并將它們編碼成多尺度特征，最后將這些特征池化以消除對(duì)順序和數(shù)量的依賴。

接著，將這些池化特征連接至「查詢路徑」的特征激活函數(shù)，「查詢路徑」以預(yù)期光源和視角方向（以余弦圖的形式呈現(xiàn)）以及物理精確的漫反射基底（也在紋理空間中）作為輸入。查詢路徑預(yù)測(cè)殘差圖，然后將其添加至漫反射基底，以生成紋理渲染結(jié)果。

由于整個(gè)網(wǎng)絡(luò)都嵌入在人體對(duì)象的紋理空間中，所以我們可以根據(jù)輸入和監(jiān)督信號(hào)訓(xùn)練同一個(gè)模型來(lái)分別執(zhí)行二次打光和視圖合成，或者同時(shí)執(zhí)行這兩個(gè)操作。

實(shí)驗(yàn)結(jié)果

二次打光

如下表 3 所示，研究者對(duì) NLT 方法與 Diffuse Base、Barycentric Blending、Deep Shading 等其他二次打光基線方法進(jìn)行了定量評(píng)估，以 PSNR（峰值信噪比）、SSIM（結(jié)構(gòu)相似性）和 LPIPS（學(xué)得感知相似性）作為評(píng)估指標(biāo)。

此外，研究者還對(duì) NLT 方法進(jìn)行了控制變量研究。

結(jié)果表明，NLT 方法的性能優(yōu)于所有的基線方法，但 Diffuse Rendering 和 Barycentric Blending 等簡(jiǎn)單的基線方法也取得了較高的分?jǐn)?shù)。

表 3：NLT 與其他 SOTA 二次打光方法的指標(biāo)對(duì)比以及 NLT 的控制變量研究結(jié)果。

圖 7：在使用平行光的二次打光任務(wù)上，NLT、其他方法與真值圖像的效果對(duì)比。

視圖合成

如下表 4 所示，研究者對(duì) NLT 和其他基線二次打光方法的視圖合成效果進(jìn)行了定量分析，結(jié)果表明 NLT 優(yōu)于所有的基線方法，并且效果可以與 Thies 等人（2019 年）提出的僅執(zhí)行視圖合成但不進(jìn)行二次打光的方法相當(dāng)。

表 4：NLT 與其他基線二次打光方法的視圖合成指標(biāo)對(duì)比。

圖 9：NLT、其他基線方法與真值圖像之間的視圖合成效果對(duì)比。

圖 10：同時(shí)執(zhí)行二次打光和視圖合成的效果展示。

性能分析

最后，研究者分析了 NLT 方法在不同因素下的性能表現(xiàn)。結(jié)果表明，隨著幾何結(jié)構(gòu)的退化，該研究使用的神經(jīng)渲染方法始終優(yōu)于嚴(yán)重依賴幾何圖形質(zhì)量的傳統(tǒng)重投影（reprojection）方法。在執(zhí)行二次打光時(shí)，研究者還證實(shí) NLT 方法在光源數(shù)量減少時(shí)也能合理地運(yùn)行，表明 NLT 方法也有可能適用于更小的光照平臺(tái)。

控制變量研究

如下圖 13 所示，研究者在二次打光任務(wù)上進(jìn)行了 NLT 方法的控制變量研究。結(jié)果顯示，去除模型的不同組件會(huì)不同程度地降低渲染質(zhì)量。

失敗案例

當(dāng)然，NLT 方法在視圖合成時(shí)也出現(xiàn)了失敗的案例。如下圖 14 所示，NLT 方法可能無(wú)法生成復(fù)雜光傳輸效果的真實(shí)視圖，如脖子上所戴項(xiàng)鏈的視圖。