雖然DeepFake能令人置信地換臉，但沒法同樣換好頭發(fā)。現(xiàn)在浙大與瑞典研究者都擴寬思路，用GAN或CNN來另外生成逼真的虛擬發(fā)絲。

DeepFake技術(shù)面世的2010年間末葉，正好趕上了川普時代。

無數(shù)搓手打算用DeepFake來好好惡搞大總統(tǒng)一下的玩梗人，在實操中遇到了一個不大不小的障礙：

各家DeepFake類軟件，可以給圖像換上金毛闖王的橙臉，但那頭不羈的金發(fā)實在讓AI都生成不出令人置信的替代品。

看，是不是那頭毛就讓DeepFake產(chǎn)品露餡了。

DeepFake搞得定換臉，也搞不定換頭發(fā)

其實這是老問題遇到了新挑戰(zhàn)。如何栩栩如生地復(fù)現(xiàn)人像模特的頭發(fā)，這是一個自希臘-羅馬時代的雕像師開始就很覺棘手的難題。

人腦袋平均有大概100000根頭發(fā)絲，并且因為顏色和折射率的不同，在超過一定的長度后，即使在計算機時代也只能用復(fù)雜物理模型進行模擬，來進行圖像移動和重組。

目前，只有自20世紀(jì)末以來的傳統(tǒng)CGI技術(shù)可以做到這一點。

當(dāng)下的DeepFake技術(shù)還是不太能解決這個問題。數(shù)年來，DeepFaceLab也只發(fā)布一個僅僅能捕捉短發(fā)的「頭部全體毛發(fā)」模型，發(fā)部還是僵硬的。這還是一款在業(yè)內(nèi)領(lǐng)先的軟件包。

最近，DFL的合作伙伴FaceSwap做出了BiseNet語義分割模型，能使用戶在deepfake輸出圖像中包括到耳部和頭發(fā)的圖形細節(jié)呈現(xiàn)。

這兩套軟件包都來自2017年Deepfakes的源代碼，在當(dāng)時頗受爭議。

就算現(xiàn)在DeepFake模型要呈現(xiàn)的頭發(fā)圖像非常短，輸出結(jié)果的質(zhì)量往往也很差，頭像好像是疊加上去的一樣，不像是渾然一體的圖像一部分。

用GAN來生成毛發(fā)

目前，業(yè)界用來模擬人像使用最多的兩種辦法，一個是神經(jīng)輻射場技術(shù)(Neural Radiance Fields)。NeRF可以從多個視角捕捉畫面，之后可以將這些視角的3D成像封裝在可探索的神經(jīng)網(wǎng)絡(luò)AI里。

另一種辦法則是生成對抗網(wǎng)絡(luò)(GAN)，GAN在人類圖像合成方面比NeRF更加先進，即使是NeRF在2020年才出現(xiàn)。

NeRF對3D幾何圖形的推測性理解，將使其能夠以較高的保真度和一致性，對圖案場景進行復(fù)制。哪怕當(dāng)前沒有施加物理模型的空間、或者準(zhǔn)確來說和攝像頭視角無關(guān)的變化，所收集的數(shù)據(jù)導(dǎo)致的變形都是一樣的。

不過就目前來看，NeRF模擬人類發(fā)絲運動模擬的能力并不出色。

與NeRF不同，GAN天然就有個幾乎致命的劣勢。GAN的潛在空間并不會自然包含對3D信息的理解。

因此，3D可感知的GAN所生成的人臉合成圖像，在近幾年成了圖像生成研究的熱點問題。而2019年的InterFaceGAN是最主要的突破之一。

然而，即使是在InterFaceGAN展示上的精心挑選的圖像結(jié)果，也都表明：在時間的一致性的表現(xiàn)上，神經(jīng)網(wǎng)絡(luò)AI生成發(fā)絲圖像達到令人滿意的一致性依然是一項艱巨的挑戰(zhàn)，應(yīng)用在VFX圖像工作流程中仍然性能不可靠。

越來越明顯的是，通過操控神經(jīng)網(wǎng)絡(luò)AI潛在空間進行的連貫視圖生成，可能是一種類似煉金術(shù)的技術(shù)。

越來越多的論文中不得不另辟蹊徑，將基于CGI的3D信息作為穩(wěn)定的和規(guī)范化的約束，納入GAN的工作流程。

CGI元素可以由3D形式的中間圖形元表示，比方說「蒙皮多人線性模型」(SMPL，Skinned Multi-Person Linear Model)。

又或是應(yīng)用和NeRF模式相近的3D推斷技術(shù)得出，在這種技術(shù)中，圖像的幾何元素是從源圖像和源視頻中評估出來的。

就在本周，悉尼科技大學(xué)的ReLER實驗室、AAII研究所、阿里達摩院以及浙江大學(xué)的研究者合作發(fā)布了一項論文，描述了用于3D可感知圖像合成的「多視角連貫性生成性對抗網(wǎng)絡(luò)」(MVCGAN)。

MVCGAN生成的頭像

MVCGAN包含了一個「生成輻射場網(wǎng)絡(luò)」(GRAF)AI，它可以在GAN中提供幾何限制。理論上來講，這個組合可以說實現(xiàn)了任何基于GAN的方法的最逼真虛擬頭發(fā)輸出結(jié)果。

MVCGAN生成的帶發(fā)絲頭像與其他模型生成頭像的對比

從上圖可以看出，在極端發(fā)絲參數(shù)下，除MVCGAN外，其他模型的圖像結(jié)果都產(chǎn)生不可置信的扭曲

不過，在CGI工作流程中，以時間為基礎(chǔ)的虛擬發(fā)絲重建依然是一項挑戰(zhàn)。

因此業(yè)界尚無理由相信，傳統(tǒng)的、基于幾何圖形的辦法，能夠在可預(yù)見將來能把具有時間一致性的發(fā)絲圖形合成帶入AI的潛在空間中。

用CNN生成穩(wěn)定的虛擬頭發(fā)數(shù)據(jù)

不過，瑞典查爾默斯理工學(xué)院三位研究人員即將發(fā)表的論文，或許還可以為「用神經(jīng)網(wǎng)絡(luò)生成人發(fā)圖像」的研究提供新進展。

這篇題為《用卷積神經(jīng)網(wǎng)絡(luò)實時進行毛發(fā)濾鏡》的論文即將在2022年5月份的重要學(xué)術(shù)會議「交互式3D圖形和游戲盛會」上發(fā)表。

該系統(tǒng)由一個基于自動編碼器的神經(jīng)網(wǎng)絡(luò)AI作為基礎(chǔ)，該神經(jīng)網(wǎng)絡(luò)AI能夠?qū)崟r評估生成的虛擬發(fā)絲圖案分辨率，包括發(fā)絲在虛擬空間中自動產(chǎn)生的陰影和頭發(fā)厚度呈現(xiàn)。此自動編碼器的隨機數(shù)種子來自于由OpenGL幾何體生成的有限隨機數(shù)樣本。

由這種方法途徑，就可以只渲染有限數(shù)量的、具有隨機透明度的樣本，然后訓(xùn)練U-net來重建原始圖像。

該神經(jīng)網(wǎng)絡(luò)在PyTorch上進行訓(xùn)練，可以在6-12小時內(nèi)完成訓(xùn)練達到收斂，具體市場取決于神經(jīng)網(wǎng)絡(luò)體量和輸入特征值的數(shù)量。然后將訓(xùn)練的參數(shù)(權(quán)重)用于圖像系統(tǒng)的實時實現(xiàn)。

訓(xùn)練數(shù)據(jù)集，則是通過以隨機距離、姿勢以及不同的照明條件，來渲染數(shù)百張直發(fā)和波浪發(fā)型的實際圖片而生成的。

樣本中的發(fā)絲半透明度數(shù)值，是從在超采樣分辨率條件下、以隨機透明度渲染的圖像平均求得的。

原始的高分辨率數(shù)據(jù)，先被降采樣，以適應(yīng)網(wǎng)絡(luò)和硬件限制;然后在典型的自動編碼器工作流程中進行上采樣，以提高清晰度。

利用從訓(xùn)練模型派生的算法的「實時」軟件，作為此AI模型的實時推理應(yīng)用程序，采用了NVIDIA CUDA、cuDNN和OpenGL的混合。

初始輸入特征值被轉(zhuǎn)儲到OpenGL的多重采樣顏色緩沖區(qū)中，其處理結(jié)果在CNN中繼續(xù)處理前會分流到cuDNN張量，然后這些張量將會被復(fù)制回「實時」OpenGL紋理中，以施加到最終圖像中。

這個AI的實時運行硬件是一張NVIDIA RTX 2080顯卡，產(chǎn)生的圖像分辨率是1024x1024像素。

由于頭發(fā)顏色的數(shù)據(jù)值與神經(jīng)網(wǎng)絡(luò)AI處理的最終值是完全分離的，因此改變頭發(fā)顏色是一項容易的任務(wù)，盡管虛擬發(fā)絲的漸變和條紋等效果仍然將在未來構(gòu)成挑戰(zhàn)。

結(jié)論

探索自動編碼器或GAN的潛在空間，仍然更類似于靠直覺的駕帆船，而非精確駕駛。只有在最近的時段，業(yè)界才開始看到在NeRF、GAN和非deepfake(2017)自動編碼器框架等方法中生成「更簡單」的幾何形狀(如人臉)的可靠結(jié)果。

人類頭發(fā)顯著的結(jié)構(gòu)復(fù)雜性，加上需要結(jié)合當(dāng)前物理模型和圖像合成方法無法提供的其他特征，表明頭發(fā)合成不太可能仍然只是一般面部合成模型中的一個集成組件。此任務(wù)需要復(fù)雜的、專用的和獨立的神經(jīng)網(wǎng)絡(luò)AI來完成，即使這些神經(jīng)網(wǎng)絡(luò)最終可能會被納入更廣泛、更復(fù)雜的面部合成框架中。