在計(jì)算圖形學(xué)領(lǐng)域，材質(zhì)外觀刻畫了真實(shí)物體與光線之間的復(fù)雜物理交互，通常可表達(dá)為隨空間位置變化的雙向反射分布函數(shù)（Spatially-Varying Bidirectional Reflectance Distribution Function，縮寫為 SVBRDF）。它是視覺計(jì)算中不可或缺的組成部分，在文化遺產(chǎn)、電子商務(wù)、電子游戲和視覺特效等領(lǐng)域中有著廣泛的應(yīng)用。

在過去的二十年里，特別是深度學(xué)習(xí)流行后，學(xué)術(shù)界與工業(yè)界對(duì)高精度、多樣化數(shù)字材質(zhì)外觀的需求不斷增加。但由于技術(shù)上的挑戰(zhàn)，采集大型數(shù)據(jù)庫仍然十分困難，目前公開可用的材質(zhì)外觀實(shí)拍數(shù)據(jù)庫的數(shù)量非常有限。

為此，浙江大學(xué)計(jì)算機(jī)輔助設(shè)計(jì)與圖形系統(tǒng)全國(guó)重點(diǎn)實(shí)驗(yàn)室和杭州相芯科技有限公司的研究團(tuán)隊(duì)聯(lián)合提出了一種新型集成系統(tǒng)，用于魯棒、高質(zhì)量和高效地采集平面各向異性材質(zhì)外觀。利用該系統(tǒng)，研究團(tuán)隊(duì)構(gòu)建了 OpenSVBRDF 公開材質(zhì)數(shù)據(jù)庫。

圖 1：OpenSVBRDF 數(shù)據(jù)庫中的部分材質(zhì)樣例展示。每一行同屬一個(gè)材質(zhì)類別。

這是第一個(gè)大規(guī)模 6 維 SVBRDF 的實(shí)測(cè)數(shù)據(jù)庫，共有 1,000 個(gè)高質(zhì)量平面樣本，空間分辨率為 1,024×1,024，等效為超過 10 億個(gè)實(shí)測(cè) BRDF，涵蓋了包括木材、織物和金屬在內(nèi)的 9 種類別。

數(shù)據(jù)庫主頁：https://opensvbrdf.github.io/

目前，數(shù)據(jù)庫對(duì)非商業(yè)應(yīng)用完全免費(fèi)。只需要提交基本信息在網(wǎng)站上申請(qǐng)賬號(hào)，通過審核后，即可直接下載包括 GGX 紋理貼圖在內(nèi)的相關(guān)數(shù)據(jù)和代碼。相關(guān)研究論文《OpenSVBRDF: A Database of Measured Spatially-Varying Reflectance》已被計(jì)算機(jī)圖形學(xué)頂級(jí)國(guó)際會(huì)議 ACM SIGGRAPH ASIA 2023 (Journal Track) 長(zhǎng)文接收。

論文主頁：https://svbrdf.github.io/

技術(shù)挑戰(zhàn)

直接采樣方法在不同的光照和觀察角度的組合下對(duì)物理材質(zhì)進(jìn)行密集測(cè)量 [Lawrence et al. 2006]。這么做雖然能夠獲得高質(zhì)量且魯棒的采集結(jié)果，但其效率很低，需要高昂的時(shí)間和存儲(chǔ)成本。還有一種選擇是基于先驗(yàn)知識(shí)的重建方法，可以從稀疏的采樣數(shù)據(jù)中重建材質(zhì)。這樣雖然提高了效率，但當(dāng)先驗(yàn)條件不滿足時(shí)，其質(zhì)量不盡人意 [Nam et al. 2018]。此外，當(dāng)前SOTA光路復(fù)用技術(shù)，雖然達(dá)到了較高的采集效率和重建質(zhì)量，但在處理如拉絲金屬和拋光木皮等高度復(fù)雜材質(zhì)時(shí)，算法還不夠魯棒 [Kang et al. 2018]。

圖 2：現(xiàn)有材質(zhì)采集研究的代表工作。從左到右分別是 [Lawrence et al. 2006]，[Nam et al. 2018] 以及 [Kang et al. 2018]。其中 [Kang et al. 2018] 為該團(tuán)隊(duì)在 2018 年發(fā)表于 ACM SIGGRAPH 的早期工作。

硬件

為高效掃描材質(zhì)外觀，研究團(tuán)隊(duì)搭建了一個(gè)接近半立方體的近場(chǎng)光照多路復(fù)用設(shè)備，其尺寸約為 70cm×70cm×40cm。樣本被放置在一塊透明的亞克力板上，可以通過抽屜滑軌快速滑入 / 滑出，來實(shí)現(xiàn)高吞吐率。該設(shè)備由 2 臺(tái)機(jī)器視覺相機(jī)和 16,384 個(gè)高亮度 LED 組成，兩臺(tái)相機(jī)分別從大約 90 度（主視角）和 45 度（次視角）的角度拍攝樣本，LED 分布在設(shè)備的 6 個(gè)面上。自主研發(fā)的高性能控制電路負(fù)責(zé)對(duì)每個(gè) LED 進(jìn)行獨(dú)立亮度控制，并在硬件層面實(shí)現(xiàn)了光源投射和相機(jī)曝光的高精度同步。

圖 3：采集設(shè)備外觀及兩個(gè)視角下的照片。

采集重建

本系統(tǒng)創(chuàng)新性地結(jié)合了當(dāng)前基于網(wǎng)絡(luò)預(yù)測(cè)和基于微調(diào)兩大類流行方法的優(yōu)點(diǎn)，既能通過可微分光照?qǐng)D案優(yōu)化來增加物理采集效率，又能通過微調(diào)來進(jìn)一步提升最終結(jié)果質(zhì)量，從而首次實(shí)現(xiàn)了對(duì)于平面 SVBRDF 的高魯棒性、高質(zhì)量以及高效率的采集重建。

具體來說，為了重建物理樣本，研究者首先通過在均勻照明下匹配密集 SIFT 特征來建立兩個(gè)相機(jī)視角之間的高精度對(duì)應(yīng)關(guān)系。對(duì)于物理采集，首先將光照?qǐng)D案作為自編碼器的一部分進(jìn)行優(yōu)化，實(shí)現(xiàn)高效采集。該自編碼器自動(dòng)學(xué)習(xí)如何基于兩個(gè)視角的測(cè)量值來重建復(fù)雜外觀，并將結(jié)果表示為中間神經(jīng)表達(dá)。隨后，根據(jù)主視角相機(jī)在 63 個(gè)等效線性光源下拍攝的照片，通過繪制圖像誤差對(duì)神經(jīng)表達(dá)進(jìn)行微調(diào)，以提高最終結(jié)果的質(zhì)量和魯棒性。圖 3 展示了整個(gè)系統(tǒng)的處理流程。更多詳細(xì)信息請(qǐng)參閱原文論文。

圖 4：整個(gè)系統(tǒng)的采集重建流程。

結(jié)果

研究人員共采集重建了 9 個(gè)類別，共計(jì) 1,000 個(gè)樣本的外觀，為了方便基于物理的標(biāo)準(zhǔn)繪制管線（PBR）直接使用，該研究還將神經(jīng)表達(dá)擬合到了業(yè)界標(biāo)準(zhǔn)的各向異性 GGX BRDF 模型參數(shù)。圖 5 展示了材質(zhì)重建結(jié)果的分項(xiàng)參數(shù) / 屬性。每個(gè)樣本存儲(chǔ)了 193 張?jiān)?HDR 照片（總大小 15GB）、中間神經(jīng)表達(dá)（290MB），以及 6 張貼圖，包括表示 GGX 參數(shù)的紋理貼圖和透明度貼圖（總大小 55MB）。神經(jīng)表達(dá)和紋理貼圖的空間分辨率均為 1,024×1,024。

圖 5：材質(zhì)重建結(jié)果分項(xiàng)屬性（包括神經(jīng)表達(dá)、漫反射率、高光反射率、粗糙度等）。

為了證明重建結(jié)果的正確性，研究人員將主視角下的照片（下圖第一行）和神經(jīng)表達(dá)繪制結(jié)果（下圖第二行）進(jìn)行了比較。定量誤差（以 SSIM/PSNR 表達(dá)）標(biāo)注在繪制圖片的底部。由下圖結(jié)果可見，本系統(tǒng)實(shí)現(xiàn)了高質(zhì)量材質(zhì)重建（SSIM>=0.97, PSNR>=34db）。

圖 6：實(shí)拍照片和神經(jīng)表達(dá)繪制結(jié)果在主視角下的對(duì)比。

為了進(jìn)一步證明重建結(jié)果的視角域泛化性，研究人員將點(diǎn)光源照射下、兩個(gè)視角所拍攝的照片和使用 GGX 擬合參數(shù)繪制的結(jié)果進(jìn)行了比較，驗(yàn)證了重建結(jié)果的跨視角正確性。

圖 7：實(shí)拍照片和各向異性 GGX 擬合參數(shù)繪制結(jié)果在兩個(gè)視角下的對(duì)比。

研究人員還展示了該數(shù)據(jù)庫在材質(zhì)生成、材質(zhì)分類以及材質(zhì)重建三方面的應(yīng)用。具體細(xì)節(jié)請(qǐng)參考原始論文。

圖 8：利用 OpenSVBRDF 訓(xùn)練 MaterialGAN 來實(shí)現(xiàn)材質(zhì)生成與插值。

圖 9：利用 OpenSVBRDF 訓(xùn)練主動(dòng)光照以提升材質(zhì)分類精度。

圖 10：利用 OpenSVBRDF 來提高基于單點(diǎn)采樣（左）和光路多路復(fù)用（右）的 BRDF 重建質(zhì)量。

展望

研究人員將努力擴(kuò)展現(xiàn)有數(shù)據(jù)庫，增加展現(xiàn)多樣性外觀的材質(zhì)樣本。未來，他們還計(jì)劃建立同時(shí)包含材質(zhì)外觀和幾何形狀的大規(guī)模高精度實(shí)測(cè)物體數(shù)據(jù)庫。此外，研究人員將基于 OpenSVBRDF 設(shè)計(jì)在材質(zhì)估計(jì)、分類和生成等方向上的公開 Benchmark，通過客觀定量的標(biāo)準(zhǔn)測(cè)試，為推動(dòng)相關(guān)研究的未來發(fā)展提供堅(jiān)實(shí)的數(shù)據(jù)保障。