近年來，虛擬數(shù)字人行業(yè)爆火，各行各業(yè)都在推出自己的數(shù)字人形象。毫無疑問，高保真度的 3D 頭發(fā)模型可以顯著提升虛擬數(shù)字人的真實感。與人體的其他部分不同，由于交織在一起的頭發(fā)結(jié)構(gòu)極其復(fù)雜，因此描述和提取頭發(fā)結(jié)構(gòu)更具挑戰(zhàn)性，這使得僅從單一視圖重建高保真的 3D 頭發(fā)模型極其困難。一般來說，現(xiàn)有的方法都是通過兩個步驟來解決這個問題：首先根據(jù)從輸入圖像中提取的 2D 方向圖估計一個 3D 方向場，然后根據(jù) 3D 方向場合成頭發(fā)絲。但這種機制在實踐中仍在存在一些問題。

基于實踐中的觀察，研究者們正在尋求一個完全自動化和高效的頭發(fā)模型建模方法，可以從具備細(xì)粒度特征的單一圖像重建一個 3D 頭發(fā)模型（如圖 1），同時顯示出高度的靈活性，比如重建頭發(fā)模型只需要網(wǎng)絡(luò)的一個前向傳遞。

為了解決這些問題，來自浙江大學(xué)、瑞士蘇黎世聯(lián)邦理工學(xué)院和香港城市大學(xué)的研究者提出了 IRHairNet，實施一個由粗到精的策略來生成高保真度的 3D 方向場。具體來說，他們引入了一種新穎的 voxel-aligned 的隱函數(shù)（VIFu）來從粗糙模塊的 2D 方向圖中提取信息。同時，為了彌補 2D 方向圖中丟失的局部細(xì)節(jié)，研究者利用高分辨率亮度圖提取局部特征，并結(jié)合精細(xì)模塊中的全局特征進行高保真頭發(fā)造型。

為了有效地從 3D 方向場合成頭發(fā)絲模型，研究者引入了 GrowingNet，一種基于深度學(xué)習(xí)利用局部隱式網(wǎng)格表征的頭發(fā)生長方法。這基于一個關(guān)鍵的觀察：盡管頭發(fā)的幾何形狀和生長方向在全局范圍內(nèi)有所不同，但它們在特定的局部范圍內(nèi)具有相似的特征。因此，可以為每個局部 3D 方向 patch 提取一個高級的潛在代碼，然后訓(xùn)練一個神經(jīng)隱函數(shù) (一個解碼器) 基于這個潛在代碼在其中生長頭發(fā)絲。在每一個生長步驟之后，以頭發(fā)絲的末端為中心的新的局部 patch 將被用于繼續(xù)生長。經(jīng)過訓(xùn)練后，它可適用于任意分辨率的 3D 定向場。

論文：https://arxiv.org/pdf/2205.04175.pdf

IRHairNet 和 GrowingNet 組成了 NeuralHDHair 的核心。具體來說，這項研究的主要貢獻包括:

• 介紹了一種新穎的全自動單目毛發(fā)建?？蚣埽湫阅苊黠@優(yōu)于現(xiàn)有的 SOTA 方法；
• 介紹了一個從粗到細(xì)的毛發(fā)建模神經(jīng)網(wǎng)絡(luò)(IRHairNet) ，使用一個新穎的 voxel-aligned 隱函數(shù)和一個亮度映射來豐富高質(zhì)量毛發(fā)建模的局部細(xì)節(jié)；
• 提出了一種基于局部隱函數(shù)的新型頭發(fā)生長絡(luò)（GrowingNet） ，可以高效地生成任意分辨率的頭發(fā)絲模型，這種網(wǎng)絡(luò)比以前的方法的速度實現(xiàn)了一定數(shù)量級的提升。

方法

圖 2 展示了 NeuralHDHair 的 pipeline。對于人像圖像，首先計算其 2D 方向圖，并提取其亮度圖。此外，自動將它們對齊到相同的半身參考模型，以獲得半身像深度圖。然后，這三個圖隨后被反饋到 IRHairNet。

• IRHairNet 設(shè)計用于從單個圖像生成高分辨率 3D 頭發(fā)幾何特征。這個網(wǎng)絡(luò)的輸入包括一個 2D 定向圖、一個亮度圖和一個擬合的半身深度圖，這些都是從輸入的人像圖中得到的。輸出是一個 3D 方向字段，其中每個體素內(nèi)包含一個局部生長方向，以及一個 3D 占用字段，其中每個體素表示發(fā)絲通過 (1) 或不通過(0)。
• GrowingNet 設(shè)計用于從 IRHairNet 估計的 3D 定向場和 3D 占用字段高效生成一個完整的頭發(fā)絲模型 ，其中 3D 占用字段是用來限制頭發(fā)的生長區(qū)域。

更多方法細(xì)節(jié)可參考原論文內(nèi)容。

實驗

在這一部分，研究者通過消融研究評估了每個算法組件的有效性和必要性 (第 4.1 節(jié))，然后將本文方法與當(dāng)前的 SOTA(第 4.2 節(jié)) 進行比較。實施細(xì)節(jié)和更多的實驗結(jié)果可以在補充材料中找到。

消融實驗

研究者從定性和定量的角度評估了 GrowingNet 的保真度和效率。首先對合成數(shù)據(jù)進行三組實驗：1)傳統(tǒng)的頭發(fā)生長算法，2)沒有重疊潛在 patch 方案的 GrowingNet，3)本文的完整模型。

如圖 4 和表 1 所示，與傳統(tǒng)的頭發(fā)生長算法相比，本文的 GrowingNet 在時間消耗上具有明顯的優(yōu)勢，同時在視覺質(zhì)量上保持了相同的生長性能。此外，通過比較圖 4 的第三列和第四列，可以看到，如果沒有重疊潛在 patch 方案，patch 邊界處的發(fā)絲可能是不連續(xù)的，當(dāng)發(fā)絲的生長方向急劇變化時，這個問題就更加嚴(yán)重。不過值得注意的是，這種方案以略微降低精度為代價，大大提高了效率，提高效率對于其方便、高效地應(yīng)用于人體數(shù)字化是有重要意義的。

與 SOTA 方法對比

為了評估 NeuralHDHair 的性能，研究者將其與一些 SOTA 方法 [6,28,30,36,40] 進行了對比。其中 Autohair 基于數(shù)據(jù)驅(qū)動的方法進行頭發(fā)合成，而 HairNet [40]忽略頭發(fā)生長過程來實現(xiàn)端到端的頭發(fā)建模。相比之下，[28,36]執(zhí)行一個兩步策略，首先估計一個 3D 方向場，然后從中合成發(fā)絲。PIFuHD [30]是一種基于粗到細(xì)策略的單目高分辨率 3D 建模方法，可以用于 3D 頭發(fā)建模。

如圖 6 所示，HairNet 的結(jié)果看起來差強人意，但是局部的細(xì)節(jié)，甚至整體的形狀與輸入圖像中的頭發(fā)不一致。這是因為該方法用一種簡單而粗糙的方式來合成頭發(fā)，直接從單一的圖像中恢復(fù)無序的發(fā)絲。

這里還將重建結(jié)果與 Autohair[6]和 Saito[28]進行了比較。如圖 7 所示，雖然 Autohair 可以合成真實的結(jié)果，但結(jié)構(gòu)上不能很好地匹配輸入圖像，因為數(shù)據(jù)庫包含的發(fā)型有限。另一方面，Saito 的結(jié)果缺乏局部細(xì)節(jié)，形狀與輸入圖像不一致。相比之下，本文方法的結(jié)果更好地保持了頭發(fā)的全局結(jié)構(gòu)和局部細(xì)節(jié)，同時確保了頭發(fā)形狀的一致性。

PIFuHD [30]和 Dynamic Hair [36]則致力于估計高保真度的 3D 頭發(fā)幾何特征，以生成真實的發(fā)絲模型。圖 8 展示了兩個有代表性的比較結(jié)果?？梢钥闯?，PIFuHD 中采用的像素級隱函數(shù)無法充分描繪復(fù)雜的頭發(fā)，導(dǎo)致結(jié)果過于光滑，沒有局部細(xì)節(jié)，甚至沒有合理的全局結(jié)構(gòu)。Dynamic Hair 可以用較少的細(xì)節(jié)產(chǎn)生更合理的結(jié)果，而且其結(jié)果中的頭發(fā)生長趨勢可以很好地匹配輸入圖像，但許多局部結(jié)構(gòu)細(xì)節(jié) (例如層次結(jié)構(gòu)) 無法捕獲，特別是對于復(fù)雜的發(fā)型。相比之下，本文的方法可以適應(yīng)不同的發(fā)型，甚至是極端復(fù)雜的結(jié)構(gòu)，并充分利用全局特征和局部細(xì)節(jié)，生成高保真、高分辨率的具有更多細(xì)節(jié)的 3D 頭發(fā)模型。

? ?