真實(shí)人臉的三維建模、合成與重光照是計(jì)算機(jī)圖形學(xué)領(lǐng)域中具有較高應(yīng)用價(jià)值的研究方向。受限于人臉的復(fù)雜皮膚組織結(jié)構(gòu)，對(duì)于光照效果的準(zhǔn)確計(jì)算往往依賴前置精細(xì)的幾何材質(zhì)建模，以及復(fù)雜的光路模擬，需要較高的硬件成本與計(jì)算時(shí)間開銷。

現(xiàn)有方法在消費(fèi)級(jí)硬件上已經(jīng)成功地利用隱式生成網(wǎng)絡(luò)快速合成超真實(shí)感三維人臉，從中隱式解耦出光照的想法由于只需要較低的硬件成本與可以實(shí)現(xiàn)高質(zhì)量的真實(shí)效果成為了潛在的研究方向。但是，光影效果與材質(zhì)之間存在很強(qiáng)的歧義性問題，在保證生成網(wǎng)絡(luò)的多樣性情況下，很難采集到大量真實(shí)數(shù)據(jù)去解決光影與材質(zhì)之間的歧義性。

而發(fā)表在計(jì)算機(jī)圖形學(xué)頂級(jí)期刊 ACM Transactions on Graphics (ToG) 上的 NeRFFaceLighting [1] 即在隱式解耦人臉光照方向，利用生成模型學(xué)習(xí)到的分布先驗(yàn)，實(shí)現(xiàn)了真實(shí)光影的解耦。

NeRFFaceLighting 構(gòu)建了一個(gè)解耦了光影控制的三維人臉生成模型。在確定了人臉的幾何和材質(zhì)之后，用戶只需要給定期望的光影效果和相機(jī)視角，即可以實(shí)時(shí)生成對(duì)應(yīng)的人臉圖像。

基于該方法的三維人臉重光照系統(tǒng)，即使用戶不熟悉三維建模以及光照模型，也可以輕松的從二維真實(shí)人臉圖像中恢復(fù)出三維人臉模型，并對(duì)光影效果進(jìn)行適當(dāng)?shù)恼{(diào)整。先來看看使用 NeRFFaceLighting 的效果！

圖 1 使用 NeRFFaceLighting 系統(tǒng)對(duì)輸入的真實(shí)人臉圖像重光照效果

圖 2 NeRFFaceLighting 更多的重光照效果

Part I 背景

近些年，隨著神經(jīng)輻射場(chǎng) [2] 與對(duì)抗式生成網(wǎng)絡(luò) [3] 的結(jié)合，各種高質(zhì)量、快速渲染的三維人臉生成網(wǎng)絡(luò)被提出，其中包括 EG3D [4]。

圖 3 EG3D 的不同視角的生成效果與幾何表示

該方法的三平面表示結(jié)合了傳統(tǒng)的二維對(duì)抗式生成網(wǎng)絡(luò)和最新的三維隱式表征，因此繼承了 StyleGAN [5] 的強(qiáng)大生成能力和神經(jīng)輻射場(chǎng)的表征能力。但是，這些生成模型本身是無條件生成，并不能對(duì)人臉的光影進(jìn)行解耦控制。

已有工作有的通過對(duì)三維人臉生成網(wǎng)絡(luò)隱空間中隱變量編輯的方式實(shí)現(xiàn)三維人臉光影控制，但是難以保證超出人臉區(qū)域的幾何一致性。另一些工作通過顯式光影模型與固定幾何建?？梢詫?shí)現(xiàn)幾何一致性較好的三維人臉重光照，但是真實(shí)感不夠。

為了解決上述的問題，NeRFFaceLighting 分解了三平面表示為幾何材質(zhì)三平面和光影三平面來保證光影編輯時(shí)的幾何材質(zhì)一致性，并且通過條件判別器監(jiān)督光影效果的真實(shí)性。在基于這種網(wǎng)絡(luò)隱式生成的幾何材質(zhì)與光影分解表示的基礎(chǔ)上，NeRFFaceLighting 充分利用了對(duì)抗式生成網(wǎng)絡(luò)從稀疏的數(shù)據(jù)集中學(xué)到稠密空間的能力，約束單個(gè)生成樣本表現(xiàn)出數(shù)據(jù)集整體分布特點(diǎn)，來消解這種隱式幾何、材質(zhì)與光影分解的歧義性。因而，在訓(xùn)練好了解耦光影控制的三維人臉生成網(wǎng)絡(luò)之后，NeRFFaceLighting 額外訓(xùn)練了一個(gè)編碼器將真實(shí)人臉編碼到生成網(wǎng)絡(luò)，從而實(shí)現(xiàn)真實(shí)的光影控制和新視角生成。

Part 2 NeRFFaceLighting 的算法原理

在原本的三平面生成器基礎(chǔ)上，NeRFFaceLighting 附加了兩層合成塊，用于在合成了原本的三平面之后合成光影三平面，作為獨(dú)立的光影表示。此外，描述光照條件的二階球諧光照系數(shù)通過映射網(wǎng)絡(luò)變?yōu)橹虚g光影隱變量之后，作為條件指導(dǎo)光影三平面的生成。從而，在僅改變光影隱變量時(shí)，原本的三平面保持不變，而光影三平面發(fā)生變化；原本的三平面被認(rèn)為是包含除光影之外的，也即幾何與材質(zhì)的信息。原本的隱空間也被認(rèn)為是幾何與材質(zhì)的隱空間。

給定幾何與材質(zhì)三平面和光影三平面之后，原本的解碼器從幾何與材質(zhì)的三平面中采樣的特征解碼出密度 σ 和反照率 a（對(duì)應(yīng)于原本的顏色，但是賦予了不同的含義），而新構(gòu)建的光影解碼器從光影三平面中采樣的特征解碼出光影 s，最終的顏色由 c=s?a 給出。通過體渲染，密度與反照率組合構(gòu)成反照率圖，而密度與顏色組合構(gòu)成最終的人臉圖像。

人臉圖像被送入圖像判別器和光影判別器中判別真?zhèn)?，其中圖像判別器是原本的判別器，而光影判別器是輸入二階球諧光照系數(shù)作為條件的。因此，NeRFFaceLighting 使用 DPR [6] 對(duì)真實(shí)人臉數(shù)據(jù)集 FFHQ 中每張人臉標(biāo)注了光影條件。

整體網(wǎng)絡(luò)結(jié)構(gòu)如下圖所示：

圖 4 NeRFFaceLighting 的網(wǎng)絡(luò)架構(gòu)

除此之外，隱式分解幾何、材質(zhì)和光影本身是具有歧義性的，因?yàn)橐巴獠杉拇笠?guī)模真實(shí)人臉圖像是不包含同一個(gè)人，不同光影狀況下的多張圖片的，所以無法保證網(wǎng)絡(luò)沒有把材質(zhì)建模為光影，或者是把光影建模為材質(zhì)。

針對(duì)光影信息殘留在材質(zhì)表示中的問題，NeRFFaceLighting 觀察到對(duì)抗式生成網(wǎng)絡(luò)具有從稀疏數(shù)據(jù)集學(xué)習(xí)到稠密生成空間的能力，即對(duì)于一個(gè)生成樣本，生成網(wǎng)絡(luò)可以輕松生成具有相同幾何與不同材質(zhì)和光影效果的其他樣本，并且這些幾何相同的其他樣本的光影效果往往與數(shù)據(jù)集的光影效果分布近似，即便材質(zhì)并不相同。又觀察到一個(gè)充分的大規(guī)模數(shù)據(jù)集中光影分布是呈中心對(duì)稱，即光影分布的均值即為未知的無光影狀態(tài)，NeRFFaceLighting 提出利用這些幾何相同的樣本來互相提供監(jiān)督，約束每個(gè)樣本的材質(zhì)中殘留的光影信息趨于均值，即無殘留光影的狀態(tài)，從而間接約束光影的效果準(zhǔn)確。（具體的分析和解釋可以見論文的補(bǔ)充材料。）

另外，NeRFFaceLighting 還強(qiáng)化了隱式光影模型對(duì)數(shù)據(jù)集中未知光影效果泛化能力以及減輕材質(zhì)信息建模到光影表示中的可能。（具體的細(xì)節(jié)請(qǐng)見論文。）約束流程如下圖所示：

圖 5 幾何、材質(zhì)與光影分解有效性約束策略

最后，NeRFFaceLighting 使用 Encoder-For-Editing [7] 作為基線模型，使用了一些額外的約束來訓(xùn)練一個(gè)編碼器，將真實(shí)圖像編碼到生成器的幾何與材質(zhì)隱空間中，再結(jié)合 Pivotal Tuning Inversion [8] 實(shí)現(xiàn)真實(shí)圖像的準(zhǔn)確三維重建。在此之后，即可通過給定二階球諧系數(shù)與相機(jī)視角的方式，來實(shí)現(xiàn)新視角重光照了。

Part 3 效果展示與實(shí)驗(yàn)對(duì)比

使用 NeRFFaceLighting，可以對(duì)生成出來的三維人臉進(jìn)行光影控制（請(qǐng)注意 (a) 中額頭的高光；(b) 中眼鏡打在臉上的陰影；(c) 中頭發(fā)的光影；(d) 中脖子上的陰影）：

圖 6 三維人臉光影控制（反照率被放置在了人臉圖像右下邊作為參考）

這里展示對(duì)幾何和材質(zhì)隱空間，和光影隱空間分別進(jìn)行插值：

圖 7 三維人臉幾何與材質(zhì)隱變量插值效果，以及光影隱變量插值效果

除此之外，這里展示了引入的分解有效性訓(xùn)練策略引起的光影與材質(zhì)歧義性消解：

圖 8 反照率在訓(xùn)練前和訓(xùn)練后的結(jié)果對(duì)比（注意，因?yàn)槭巧赡Ｐ?，所以人臉身份信息?huì)不一樣）

最后，結(jié)合編碼器，可以實(shí)現(xiàn)真實(shí)二維人臉圖像的三維重建以及重光照：

圖 9 真實(shí)人臉圖像重光照效果：從二維人臉圖像中重建三維人臉模型，并進(jìn)行重光照

NeRFFaceLighting 在生成質(zhì)量和多樣性上，通過 Frechet Inception Distance [9] 與其他方法進(jìn)行了對(duì)比，如表 3-1 所示達(dá)到了最好的結(jié)果；在光照準(zhǔn)確性和穩(wěn)定性上，通過 DECA [10] 預(yù)測(cè)面部區(qū)域的光照系數(shù)（不考慮頭發(fā)、脖子等區(qū)域）與其他方法進(jìn)行了對(duì)比，如表 3-2 所示達(dá)到了較好的結(jié)果，DisCoFaceGAN [11] 和 3DFaceShop [12] 由于有對(duì)應(yīng)的 3DMM 真值監(jiān)督，指標(biāo)更好，但很難在保持幾何一致性的情況下，在非面部區(qū)域也取得逼真的光影效果。

表 3-1 生成模型質(zhì)量和多樣性對(duì)比。

表 3-2 重光照準(zhǔn)確性和穩(wěn)定性對(duì)比。加粗了第一的指標(biāo)，用下劃線標(biāo)注了第二的指標(biāo)，和雙下劃線標(biāo)注了第三的指標(biāo)。

Part 4 結(jié)語與致謝

數(shù)字內(nèi)容生成在工業(yè)制作和數(shù)字媒體領(lǐng)域有著廣泛的應(yīng)用，尤其是虛擬數(shù)字人的生成與編輯，在近期受到了廣泛的關(guān)注，而三維人臉光影的解耦真實(shí)編輯就是該領(lǐng)域的一個(gè)重要問題。解決該問題促進(jìn)了下游二維真實(shí)人臉圖像新視角合成和重光照的應(yīng)用。

NeRFFaceLighting 系統(tǒng)通過對(duì)三維人臉生成網(wǎng)絡(luò)進(jìn)行光照解耦設(shè)計(jì)，可以對(duì)三維人臉（包括頭發(fā)、脖子等）進(jìn)行不依賴顯式光影模型的實(shí)時(shí)重光照，NeRFFaceLighting 的論文已經(jīng)被計(jì)算機(jī)圖形學(xué)頂級(jí)刊物 ACM Transactions on Graphics 錄用。

目前，NeRFFaceLighting 已經(jīng)提供在線服務(wù)供大家使用。在線系統(tǒng)由中國(guó)科學(xué)院計(jì)算技術(shù)研究所信息高鐵云函數(shù)平臺(tái)提供底層計(jì)算服務(wù)支持，由中科南京信息高鐵研究院提供底層算力及工程服務(wù)支持。

在線服務(wù)鏈接：http://geometrylearning.com/NeRFFaceLighting/interface

• 有關(guān)論文的更多細(xì)節(jié)，請(qǐng)瀏覽項(xiàng)目主頁：http://www.geometrylearning.com/NeRFFaceLighting/
• 論文地址：https://dl.acm.org/doi/pdf/10.1145/3597300
• 視頻地址：https://www.bilibili.com/video/BV1NM411G7n5
• 代碼地址：https://github.com/IGLICT/NeRFFaceLighting