LuminaBrush

LuminaBrush 是一個(gè)構(gòu)建交互式工具以在圖像上繪制照明效果的項(xiàng)目。該框架采用兩階段方法：第一階段將圖像轉(zhuǎn)換為“均勻照明”的外觀，第二階段利用用戶涂鴉生成照明效果。

相關(guān)鏈接

HF 演示：https://huggingface.co/spaces/lllyasviel/LuminaBrush

GitHub：https://github.com/lllyasviel/LuminaBrush

演示

LuminaBrush 目前基于 Flux。

種子為 12345 的示例：

框架

LuminaBrush 是一個(gè)兩階段框架。第一階段（左側(cè)）將圖像轉(zhuǎn)換為“均勻照明”的外觀（例如，由均勻分布的白色環(huán)境光源照亮的外觀）；第二階段（右側(cè)）在用戶涂鴉的指導(dǎo)下為這些“均勻照明”的外觀生成照明效果。

將照明繪制問題分解為兩個(gè)階段使學(xué)習(xí)變得更容易、更直接——否則（例如，如果只使用一個(gè)階段）可能需要考慮外部約束/規(guī)定（如光傳輸一致性等）來穩(wěn)定模型行為。

我們首先收集一組相對較小的、光照相對均勻的圖像 - 例如這些：

（然后我們還使用在此集合上訓(xùn)練的 Flux LoRA 生成的圖像來擴(kuò)展此集合）

使用這些“均勻照明”的圖像作為中間表示具有一些優(yōu)勢，例如避免 3D 反照率中網(wǎng)格邊界過于銳利或表面過于平坦。而且這些圖像的細(xì)節(jié)足以處理皮膚紋理細(xì)節(jié)、頭發(fā)、毛發(fā)等。

然后，我們合成隨機(jī)法線來隨機(jī)重新照亮那些“均勻照明”的圖像，以訓(xùn)練一個(gè)可以從任何輸入圖像中提取“均勻照明”外觀的模型。

之后，我們從數(shù)百萬張高質(zhì)量的野生圖像中提取“均勻照明”的外觀，構(gòu)建配對數(shù)據(jù)來訓(xùn)練最終的交互式照明繪制模型。

這種方法的一個(gè)明顯的副產(chǎn)品是應(yīng)用程序可以獨(dú)立使用“均勻照明的舞臺”來“愉悅”圖像 - 我們還為想要使用它的人構(gòu)建了一個(gè) HF 空間：

https://huggingface.co/spaces/lllyasviel/lumina_brush_uniform_lit