ScribbleDiff可以通過簡單的涂鴉幫助計算機生成圖像。比如你在紙上隨意畫了一些線條，表示你想要的圖像的輪廓。ScribbleDiff會利用這些線條來指導(dǎo)圖像生成的過程。

首先，它會分析這些涂鴉，確保生成的圖像中的對象朝著你畫的方向。比如，如果你畫了一條向右的線，生成的貓就會朝右看，而不是朝左。其次，這個方法會將你的涂鴉進(jìn)行擴展，使得生成的圖像更加完整和細(xì)致。

這樣，即使你的涂鴉很簡單，計算機也能理解并生成出你想要的圖像。通過這種方式，ScribbleDiff讓我們與計算機的互動變得更加直觀和有效。

相關(guān)鏈接

論文鏈接：http://arxiv.org/abs/2409.08026v1

項目地址：https://github.com/kaist-cvml-lab/scribble-diffusion

論文閱讀

涂鴉引導(dǎo)擴散：實現(xiàn)無需訓(xùn)練的文本到圖像生成

摘要

文本到圖像擴散模型的最新進(jìn)展已顯示出顯著的成功，但它們往往難以完全捕捉用戶的意圖。現(xiàn)有的使用文本輸入結(jié)合邊界框或區(qū)域蒙版的方法無法提供精確的空間引導(dǎo)，常常導(dǎo)致對象方向錯位或非預(yù)期。為了解決這些限制，我們提出了涂鴉引導(dǎo)擴散(ScribbleDiff)，這是一種無需訓(xùn)練的方法，它利用用戶提供的簡單涂鴉作為視覺提示來指導(dǎo)圖像生成。然而，將涂鴉納入擴散模型會帶來挑戰(zhàn)，因為它們具有稀疏和薄弱的性質(zhì)，很難確保準(zhǔn)確的方向?qū)R。為了克服這些挑戰(zhàn)，我們引入了矩對齊和涂鴉傳播，這使得生成的圖像和涂鴉輸入之間可以更有效、更靈活地對齊。在 PASCAL-Scribble 數(shù)據(jù)集上的實驗結(jié)果顯示空間控制和一致性有了顯著改善，展示了基于涂鴉的引導(dǎo)在擴散模型中的有效性。

方法

整體架構(gòu)。 無需訓(xùn)練的 Scribble-Guided Diffusion (ScribbleDiff) 由兩個主要組件組成：矩對齊和涂鴉傳播。紅色箭頭表示分布的主要方向。相似度較高的錨點（紅色矩形）是根據(jù)涂鴉的錨點（黃色矩形）收集的。（文字提示：云朵在天空中飄浮，在平靜的河流上投下柔和、變幻的陰影。一座中世紀(jì)的橋梁橫跨水道的寬度。）

力矩?fù)p失對物體方向的影響。力矩?fù)p失可改善物體方向與涂鴉方向之間的對齊。如果沒有力矩?fù)p失，貓會面向涂鴉方向的反方向。

涂鴉傳播的效果。通過穩(wěn)定擴散中的涂鴉傳播，涂鴉會隨時間顯著擴大，從而改善物體形狀并增強視覺連貫性。

實驗

使用涂鴉提示對文本到圖像生成方法進(jìn)行定性比較。ScribbleDiff 產(chǎn)生的結(jié)果與涂鴉輸入更加一致，特別是在對象的方向和抽象形狀方面。

PASCAL-Scribble 數(shù)據(jù)集的定性結(jié)果。各種文本到圖像生成方法的比較，包括在訓(xùn)練數(shù)據(jù)集上微調(diào)的 ControlNet。ScribbleDiff 表現(xiàn)出與輸入涂鴉的出色對齊效果，特別是在處理抽象形狀和對象方向時。

PASCAL-Scribble數(shù)據(jù)集的消融研究。 同一隨機種子加關(guān)鍵成分與不加關(guān)鍵成分定性結(jié)果的比較。

結(jié)論

ScribbleDiff方法克服了傳統(tǒng)邊界框和區(qū)域蒙版的局限性，這些局限性通常無法有效捕捉抽象形狀和物體方向。然而，涂鴉的稀疏和稀疏性質(zhì)可能會妨礙精確控制，通過引入兩個關(guān)鍵組件來緩解這種情況：

1. 矩?fù)p失以使物體方向與涂鴉方向?qū)R
2. 涂鴉傳播以增強稀疏涂鴉輸入到完整蒙版中。

實驗結(jié)果表明，ScribbleDiffurpass 在各種指標(biāo)（包括新的涂鴉比率）中都通過了無訓(xùn)練和微調(diào)方法。我們的方法在保持對文本提示的保真度的同時，持續(xù)改進(jìn)了物體方向和空間對齊