ICLR 2025驚現(xiàn)滿分論文，ControlNet作者再出佳作 精華
近日，ICLR 2025評(píng)審結(jié)果揭曉，一篇論文脫穎而出，獲得了罕見(jiàn)的[10,10,10,10]滿分成績(jī)。這篇論文便是ControlNet作者張呂敏的新作IC - Light。在平均分僅為4.76的ICLR會(huì)議中，滿分論文的出現(xiàn)無(wú)疑引起了學(xué)術(shù)界和業(yè)界的廣泛關(guān)注。
- 論文標(biāo)題：Scaling In-the-Wild Training for Diffusion-based Illumination Harmonization and Editing by Imposing Consistent Light Transport
- 論文鏈接：https://openreview.net/pdf?id=u1cQYxRI1H
項(xiàng)目成果展示
在向ICLR投稿前，IC - Light已在Github開(kāi)源半年，收獲5.8k星標(biāo)，其效果備受認(rèn)可。項(xiàng)目最初基于SD 1.5和SDXL實(shí)現(xiàn)，近期又推出V2版本，適配Flux，效果更優(yōu)。
圖片
該項(xiàng)目試玩鏈接為https://huggingface.co/spaces/lllyasviel/IC - Light，感興趣的朋友可前往體驗(yàn)。
IC - Light是基于擴(kuò)散模型的照明編輯模型，能通過(guò)文本精準(zhǔn)控制圖像光照效果。比如，輸入“beautiful woman, detailed face, sunshine from window”的prompt，模型就能還原光線方向和光透過(guò)玻璃的漫射效果，為人物側(cè)臉打出柔和輪廓光。
圖片
圖片
論文核心觀點(diǎn)與技術(shù)實(shí)現(xiàn)
- 核心觀點(diǎn)
?提出IC - Light方法：根據(jù)光傳輸獨(dú)立性物理原理，在訓(xùn)練過(guò)程中強(qiáng)加一致光傳輸，確保模型精確修改光照，保留反照率和圖像細(xì)節(jié)等固有屬性。
?提供預(yù)訓(xùn)練模型：促進(jìn)不同領(lǐng)域光照編輯應(yīng)用。
?驗(yàn)證方法有效性：通過(guò)大量實(shí)驗(yàn)驗(yàn)證可擴(kuò)展性和性能，展示在多種光照條件下的優(yōu)勢(shì)及其他應(yīng)用。
- 技術(shù)實(shí)現(xiàn)細(xì)節(jié)
?數(shù)據(jù)處理：利用多種數(shù)據(jù)源（任意圖像、3D數(shù)據(jù)、燈光舞臺(tái)圖像）建模照明效果分布，處理為通用格式用于訓(xùn)練。
?訓(xùn)練過(guò)程：在訓(xùn)練中植入IC - Light傳輸，引入物理約束，使模型在大規(guī)模數(shù)據(jù)上穩(wěn)定訓(xùn)練，提高光照編輯精度，減少不確定性和偽影。
圖片
實(shí)驗(yàn)結(jié)果與分析
1.消融實(shí)驗(yàn)：恢復(fù)模型后分別移除野外圖像增強(qiáng)數(shù)據(jù)和光傳輸一致性，發(fā)現(xiàn)移除野外數(shù)據(jù)影響模型泛化能力，移除光傳輸一致性使模型生成一致光照和保留固有屬性能力下降，完整方法則能產(chǎn)生通用均衡模型，保留圖像細(xì)節(jié)并減少誤差。
2.其他應(yīng)用：模型支持背景條件光照協(xié)調(diào)，可根據(jù)背景圖像生成照明，不依賴(lài)環(huán)境映射；還支持SD1.5、SDXL和Flux等不同基礎(chǔ)模型，且能通過(guò)多次推理生成法線貼圖。
3.定量評(píng)估：使用PSNR、SSIM和LPIPS等指標(biāo)，在未見(jiàn)過(guò)的3D渲染數(shù)據(jù)樣本子集上評(píng)估，結(jié)果顯示本文方法在LPIPS指標(biāo)上優(yōu)于其他方法，完整方法在感知質(zhì)量和性能間取得平衡。
4.視覺(jué)對(duì)比：與Relightful Harmonization、SwitchLight、GeoWizard和DSINE等方法直觀比較，本文模型因訓(xùn)練數(shù)據(jù)集優(yōu)勢(shì)，對(duì)陰影魯棒性更高，法線貼圖質(zhì)量更細(xì)致。
與ControlNet的關(guān)聯(lián)及意義
ControlNet解決了AI繪畫(huà)中精確控制圖像細(xì)節(jié)的難題，為SD模型裝上“方向盤(pán)”，推動(dòng)商業(yè)化工作流發(fā)展，榮獲ICCV 2023馬爾獎(jiǎng)。而IC - Light同樣精準(zhǔn)命中用戶需求，在光照編輯領(lǐng)域取得突破。此前研究難以解決光照編輯時(shí)不改變物體材質(zhì)的問(wèn)題，IC - Light作者發(fā)現(xiàn)用AI合成生成數(shù)據(jù)加人工處理可達(dá)到較好效果，對(duì)研究領(lǐng)域有啟發(fā)意義。
結(jié)論與展望
IC - Light滿分論文成果顯著，在基于擴(kuò)散模型的光照編輯領(lǐng)域取得重要突破。其技術(shù)方法和實(shí)驗(yàn)結(jié)果展示了強(qiáng)大性能和應(yīng)用潛力，為后續(xù)研究提供了重要參考。未來(lái)，期待看到IC - Light在更多領(lǐng)域發(fā)揮作用，推動(dòng)相關(guān)技術(shù)發(fā)展。也期待張呂敏團(tuán)隊(duì)能帶來(lái)更多創(chuàng)新成果，為學(xué)術(shù)和技術(shù)發(fā)展持續(xù)貢獻(xiàn)力量。
本文轉(zhuǎn)載自 ??AI論文解讀??，作者：柏企
