本文全面研究圖像編輯前沿方法，并根據(jù)技術(shù)路線精煉地劃分為3個(gè)大類、14個(gè)子類，通過表格列明每個(gè)方法的類型、條件、可執(zhí)行任務(wù)等信息。

此外，本文提出了一個(gè)全新benchmark以及LMM Score指標(biāo)來對(duì)代表性方法進(jìn)行實(shí)驗(yàn)評(píng)估，為研究者提供了便捷的學(xué)習(xí)參考工具。強(qiáng)烈推薦AIGC大模型研究者或愛好者閱讀，緊跟熱點(diǎn)。

論文地址：https://arxiv.org/abs/2402.17525

開源項(xiàng)目：https://github.com/SiatMMLab/Awesome-Diffusion-Model-Based-Image-Editing-Methods

摘要

去噪擴(kuò)散模型已成為各種圖像生成和編輯任務(wù)的有力工具，有助于以無條件或輸入條件的方式合成視覺內(nèi)容。

這些模型背后的核心理念是學(xué)習(xí)如何逆轉(zhuǎn)逐漸向圖像中添加噪聲的過程，從而從復(fù)雜的分布中生成高質(zhì)量的樣本。

在這份調(diào)查報(bào)告中，我們?cè)敱M概述了使用擴(kuò)散模型進(jìn)行圖像編輯的現(xiàn)有方法，涵蓋了該領(lǐng)域的理論和實(shí)踐方面。我們從學(xué)習(xí)策略、用戶輸入條件和可完成的一系列具體編輯任務(wù)等多個(gè)角度對(duì)這些作品進(jìn)行了深入分析和分類。

此外，我們還特別關(guān)注圖像的inpainting和outpainting，并探討了早期的傳統(tǒng)上下文驅(qū)動(dòng)方法和當(dāng)前的多模態(tài)條件方法，對(duì)其方法論進(jìn)行了全面分析。

為了進(jìn)一步評(píng)估文本引導(dǎo)圖像編輯算法的性能，我們提出了一個(gè)系統(tǒng)基準(zhǔn) EditEval，其特點(diǎn)是采用了創(chuàng)新指標(biāo) LMM Score。最后，我們討論了當(dāng)前的局限性，并展望了未來研究的一些潛在方向。

基于擴(kuò)散模型的圖像編輯中研究出版物的統(tǒng)計(jì)概述。上圖：學(xué)習(xí)策略。中：輸入條件。下圖：編輯任務(wù)。

介紹

在人工智能生成內(nèi)容（AIGC）的領(lǐng)域中，利用人工智能來創(chuàng)建和修改數(shù)字內(nèi)容，圖像編輯被認(rèn)為是創(chuàng)新和實(shí)際應(yīng)用的一個(gè)重要領(lǐng)域。

與從最小輸入創(chuàng)建新圖像的圖像生成不同，圖像編輯涉及改變圖像的外觀、結(jié)構(gòu)或內(nèi)容，包括從微妙的調(diào)整到重大變革的一系列變化。

這項(xiàng)研究在包括數(shù)字媒體、廣告和科學(xué)研究在內(nèi)的各個(gè)領(lǐng)域都是基礎(chǔ)性的，其中改變視覺內(nèi)容是至關(guān)重要的。圖像編輯的進(jìn)化反映了數(shù)字技術(shù)的進(jìn)步，從手工、勞動(dòng)密集型過程發(fā)展到由基于學(xué)習(xí)的算法驅(qū)動(dòng)的先進(jìn)數(shù)字技術(shù)。這一進(jìn)化中的一個(gè)關(guān)鍵進(jìn)步是生成對(duì)抗網(wǎng)絡(luò)（GANs）的引入，顯著增強(qiáng)了創(chuàng)意圖像操作的可能性。

擴(kuò)散模型在圖像編輯中的應(yīng)用近年來引起了極大的興趣，這一點(diǎn)從該領(lǐng)域大量研究出版物的顯著增加中可以得到證明。這種日益增長的關(guān)注突顯了與先前作品相比，擴(kuò)散模型在提升圖像編輯性能方面的潛力和多樣性。

鑒于這一重要進(jìn)步，系統(tǒng)地回顧和總結(jié)這些貢獻(xiàn)是必要的。然而，現(xiàn)有關(guān)于擴(kuò)散模型的綜述文獻(xiàn)集中在其他特定的視覺任務(wù)上，如視頻應(yīng)用或圖像復(fù)原和增強(qiáng)。一些提到圖像編輯的調(diào)查往往只提供了一個(gè)粗略的概述，缺少對(duì)方法的詳細(xì)和集中探索。

為了彌補(bǔ)這一差距，我們進(jìn)行了一項(xiàng)調(diào)查，提供了一份深入而全面的分析，專注于圖像編輯。我們深入探討了擴(kuò)散模型在該領(lǐng)域?qū)崿F(xiàn)的方法、輸入條件和廣泛的編輯任務(wù)。

該調(diào)查批判性地回顧了超過100篇研究論文，根據(jù)學(xué)習(xí)策略將它們組織成三個(gè)主要類別：基于訓(xùn)練的方法、測(cè)試時(shí)微調(diào)方法和無需訓(xùn)練和微調(diào)的方法。

每個(gè)類別進(jìn)一步基于其核心技術(shù)進(jìn)行劃分，分別在第4、5和6節(jié)中進(jìn)行了詳細(xì)討論。我們還探索了這些方法中使用的10種不同類型的輸入條件，包括文本、掩碼、參考圖像、類別、布局、姿勢(shì)、草圖、分割圖、音頻和拖動(dòng)點(diǎn)，以展示擴(kuò)散模型在多樣化圖像編輯場景中的適應(yīng)性。

此外，我們的調(diào)查提出了一個(gè)新的圖像編輯任務(wù)分類，將其分為三個(gè)廣泛的類別：語義編輯、風(fēng)格編輯和結(jié)構(gòu)編輯，涵蓋了12個(gè)具體類型。圖1直觀地表示了研究在學(xué)習(xí)策略、輸入條件和編輯任務(wù)類別上的統(tǒng)計(jì)分布。

此外，我們特別關(guān)注了inpainting和outpainting，它們共同構(gòu)成了一種獨(dú)特的編輯類型。我們探討了早期的傳統(tǒng)方法和當(dāng)前的多模態(tài)條件方法，第7節(jié)提供了它們方法學(xué)的全面分析。我們還介紹了EditEval，一個(gè)旨在評(píng)估文本引導(dǎo)的圖像編輯算法的基準(zhǔn)，詳細(xì)內(nèi)容見第8節(jié)。

特別是，通過利用大型多模態(tài)模型（LMMs）的先進(jìn)視覺-語言理解能力，提出了一個(gè)有效的評(píng)估指標(biāo)，LMM score。最后，我們?cè)诘?節(jié)中提出了一些當(dāng)前挑戰(zhàn)和潛在的未來趨勢(shì)作為展望。

總之，這項(xiàng)調(diào)查旨在系統(tǒng)地分類和批判性評(píng)估基于擴(kuò)散模型的圖像編輯研究的廣泛文獻(xiàn)。我們的目標(biāo)是提供一個(gè)全面的資源，不僅綜合了當(dāng)前的發(fā)現(xiàn)，而且還指導(dǎo)了這一快速發(fā)展領(lǐng)域未來研究的方向。

圖像編輯的分類

除了擴(kuò)散模型在圖像生成、恢復(fù)和增強(qiáng)方面取得的重大進(jìn)步外，它們?cè)趫D像編輯方面也實(shí)現(xiàn)了顯著突破，相比之前占主導(dǎo)地位的生成對(duì)抗網(wǎng)絡(luò)（GANs），提供了更強(qiáng)的可控性。

不同于專注于從零開始創(chuàng)建新圖像的圖像生成，以及旨在修復(fù)和提高退化圖像質(zhì)量的圖像恢復(fù)和增強(qiáng)，圖像編輯涉及修改現(xiàn)有圖像的外觀、結(jié)構(gòu)或內(nèi)容，包括添加對(duì)象、替換背景和改變紋理等任務(wù)。

在這項(xiàng)調(diào)查中，我們根據(jù)學(xué)習(xí)策略將圖像編輯論文分為三個(gè)主要組別：基于訓(xùn)練的方法、測(cè)試時(shí)微調(diào)方法和無需訓(xùn)練和微調(diào)的方法，分別在第4、5和6節(jié)中進(jìn)行詳細(xì)闡述。

此外，我們探討了這些方法使用的10種輸入條件來控制編輯過程，包括文本、掩碼、參考圖像、類別、布局、姿勢(shì)、草圖、分割圖、音頻和拖動(dòng)點(diǎn)。

進(jìn)一步地，我們調(diào)查了這些方法可以完成的12種最常見的編輯類型，它們被組織成以下三個(gè)廣泛的類別。

- 語義編輯：

此類別包括對(duì)圖像內(nèi)容和敘述的更改，影響所描繪場景的故事、背景或主題元素。這一類別內(nèi)的任務(wù)包括對(duì)象添加、對(duì)象移除、對(duì)象替換、背景更改和情感表達(dá)修改。

- 風(fēng)格編輯：

此類別側(cè)重于增強(qiáng)或轉(zhuǎn)換圖像的視覺風(fēng)格和審美元素，而不改變其敘述內(nèi)容。這一類別內(nèi)的任務(wù)包括顏色更改、紋理更改和整體風(fēng)格更改，涵蓋藝術(shù)性和現(xiàn)實(shí)性風(fēng)格。

- 結(jié)構(gòu)編輯：

此類別涉及圖像內(nèi)元素的空間布局、定位、視角和特征的變化，強(qiáng)調(diào)場景內(nèi)對(duì)象的組織和展示。這一類別內(nèi)的任務(wù)包括對(duì)象移動(dòng)、對(duì)象大小和形狀更改、對(duì)象動(dòng)作和姿勢(shì)更改以及視角/視點(diǎn)更改。

表1全面總結(jié)了調(diào)查論文的多角度分類，提供了快速搜索的途徑。

從多角度對(duì)基于擴(kuò)散模型的圖像編輯方法進(jìn)行了全面的分類。這些方法是根據(jù)訓(xùn)練、微調(diào)和免訓(xùn)練進(jìn)行顏色渲染的。輸入條件包括文本、類別、參考圖像，分割圖、姿態(tài)、蒙版、布局、草圖、拖動(dòng)點(diǎn)和音頻。打勾表示可以做的任務(wù)。

從多角度對(duì)基于擴(kuò)散模型的圖像編輯方法進(jìn)行了全面的分類。這些方法是根據(jù)訓(xùn)練、微調(diào)和免訓(xùn)練進(jìn)行顏色渲染的。輸入條件包括文本、類別、參考圖像，分割圖、姿態(tài)、蒙版、布局、草圖、拖動(dòng)點(diǎn)和音頻。打勾表示可以做的任務(wù)。

基于訓(xùn)練的方法

在基于擴(kuò)散模型的圖像編輯領(lǐng)域，基于訓(xùn)練的方法已經(jīng)獲得了顯著的突出地位。這些方法不僅因其穩(wěn)定的擴(kuò)散模型訓(xùn)練和有效的數(shù)據(jù)分布建模而著名，而且在各種編輯任務(wù)中表現(xiàn)可靠。

為了徹底分析這些方法，我們根據(jù)它們的應(yīng)用范圍、訓(xùn)練所需條件和監(jiān)督類型將它們分類為四個(gè)主要組別，如圖2所示。

此外，在這些主要組別中，我們根據(jù)它們的核心編輯方法將方法分為不同的類型。這種分類展示了這些方法的范圍，從針對(duì)特定領(lǐng)域的應(yīng)用到更廣泛的開放世界用途。

比較兩種有代表性的CLIP指導(dǎo)方法：DiffusionCLIP 和 Asyrp 的框架圖。樣本圖像來自CelebA數(shù)據(jù)集上的Asyrp

指令圖像編輯方法的通用框架。示例圖像來自InstructPix2Pix、InstructAny2Pix和MagicBrush。

測(cè)試時(shí)微調(diào)的方法

在圖像生成和編輯中，測(cè)試時(shí)微調(diào)代表著精確性和控制性的重要一步。本節(jié)探討各種微調(diào)策略（見圖5）來增強(qiáng)圖像編輯能力。這些方法，如圖6所示，范圍從微調(diào)整個(gè)去噪模型到專注于特定層或嵌入。

我們研究微調(diào)整個(gè)模型、針對(duì)特定參數(shù)的方法以及優(yōu)化基于文本的嵌入。此外，我們還討論了超網(wǎng)絡(luò)的集成和直接圖像表示優(yōu)化。這些方法共同展示了圖像編輯中微調(diào)技術(shù)的不斷復(fù)雜化和有效性，滿足廣泛的編輯需求和用戶意圖。

使用不同微調(diào)組件的微調(diào)框架。樣本圖像來自Custom-Edit。

免訓(xùn)練和微調(diào)方法

在圖像編輯領(lǐng)域，無需訓(xùn)練和微調(diào)的方法起點(diǎn)是它們快速且成本低，因?yàn)樵谡麄€(gè)編輯過程中不需要任何形式的訓(xùn)練（在數(shù)據(jù)集上）或微調(diào)（在源圖像上）。

本節(jié)根據(jù)它們修改的內(nèi)容將它們分類為五個(gè)類別，如圖7和8所示。它們巧妙地利用擴(kuò)散模型內(nèi)在的原則來實(shí)現(xiàn)編輯目標(biāo)。

免訓(xùn)練方法的通用框架，其中指出了不同部分中描述的修改。樣本圖片來自LEDITS++

圖像inpainting（補(bǔ)全）和outpainting（外擴(kuò)）

圖像補(bǔ)全和外擴(kuò)通常被視為圖像編輯的子任務(wù)，在具有不同目標(biāo)和挑戰(zhàn)的獨(dú)特位置上占據(jù)一席之地。為了更好地解釋，我們將它們分為兩大類型（見圖9），詳細(xì)內(nèi)容分別在第7.1節(jié)和第7.2節(jié)中介紹。

在視覺對(duì)比中，傳統(tǒng)的上下文驅(qū)動(dòng)的補(bǔ)全（上排）與多模態(tài)條件補(bǔ)全（下排）之間存在顯著差異。上下兩排的樣本分別來自于Palette和Imagen Editor。

基準(zhǔn)

在前面的章節(jié)中，我們深入探討了基于擴(kuò)散模型的圖像編輯方法的方法學(xué)方面。除了這些分析之外，評(píng)估這些方法、檢查它們?cè)诓煌庉嬋蝿?wù)中的能力至關(guān)重要。然而，現(xiàn)有的圖像編輯基準(zhǔn)測(cè)試有限，沒有完全滿足我們調(diào)查中確定的需求。

例如，EditBench主要針對(duì)文本和掩碼引導(dǎo)的補(bǔ)全，并忽略了涉及全局編輯如風(fēng)格轉(zhuǎn)換的更廣泛任務(wù)。TedBench雖然擴(kuò)展了任務(wù)范圍，但缺乏詳細(xì)指導(dǎo)，這對(duì)于評(píng)估依賴于文本指令而非描述的方法至關(guān)重要。

此外，盡管EditVal基準(zhǔn)試圖提供更全面的任務(wù)和方法覆蓋范圍，但受到其從MS-COCO數(shù)據(jù)集中獲取的圖像質(zhì)量限制，這些圖像通常分辨率低且模糊。

為了解決這些問題，我們引入了EditEval，一個(gè)旨在評(píng)估通用擴(kuò)散模型基礎(chǔ)圖像編輯方法的基準(zhǔn)。EditEval包括一個(gè)精心策劃的50張高質(zhì)量圖像的數(shù)據(jù)集，每張圖像都附有文本提示。EditEval評(píng)估表1中選出的7個(gè)常見編輯任務(wù)的性能。

此外，我們提出了LMM分?jǐn)?shù)，這是一個(gè)定量評(píng)估指標(biāo)，利用大型多模態(tài)模型（LMMs）的能力來評(píng)估不同任務(wù)上的編輯性能。除了LMM分?jǐn)?shù)提供的客觀評(píng)估外，我們還進(jìn)行了用戶研究以納入主觀評(píng)估。EditEval的構(gòu)建和應(yīng)用的詳細(xì)信息如下所述。

LMM Score與用戶研究的皮爾遜相關(guān)系數(shù)。

LMM Score/CLIPScore與用戶研究的皮爾遜相關(guān)系數(shù)比較。

對(duì)7種選定的編輯類型進(jìn)行直觀比較。

挑戰(zhàn)和未來方向

盡管在使用擴(kuò)散模型進(jìn)行圖像編輯方面取得了成功，但仍有一些limitation需要在未來的工作中加以解決。

更少步驟的模型推理

大多數(shù)基于擴(kuò)散的模型在推理過程中需要大量的步驟來獲取最終圖像，這既耗時(shí)又耗費(fèi)計(jì)算資源，給模型部署和用戶體驗(yàn)帶來挑戰(zhàn)。為了提高推理效率，已經(jīng)研究了少步驟或一步生成的擴(kuò)散模型。

近期的方法通過從預(yù)訓(xùn)練的強(qiáng)擴(kuò)散模型中提取知識(shí)來減少步驟數(shù)，以便少步驟模型能夠模仿強(qiáng)模型的行為。一個(gè)更有趣但更具挑戰(zhàn)性的方向是直接開發(fā)少步驟模型，而不依賴于預(yù)訓(xùn)練的模型，例如一致性模型。

高效模型

訓(xùn)練一個(gè)能夠生成逼真結(jié)果的擴(kuò)散模型在計(jì)算上是密集的，需要大量的高質(zhì)量數(shù)據(jù)。這種復(fù)雜性使得開發(fā)用于圖像編輯的擴(kuò)散模型非常具有挑戰(zhàn)性。為了降低訓(xùn)練成本，近期的工作設(shè)計(jì)了更高效的網(wǎng)絡(luò)架構(gòu)作為擴(kuò)散模型的骨干。

此外，另一個(gè)重要方向是只訓(xùn)練部分參數(shù)，或者凍結(jié)原始參數(shù)并在預(yù)訓(xùn)練的擴(kuò)散模型之上添加一些新層。

復(fù)雜對(duì)象結(jié)構(gòu)編輯

現(xiàn)有的工作可以在編輯圖像時(shí)合成逼真的顏色、風(fēng)格或紋理。然而，當(dāng)處理復(fù)雜結(jié)構(gòu)時(shí)，它們?nèi)匀粫?huì)產(chǎn)生明顯的人為痕跡，例如手指、標(biāo)志和場景文字。已經(jīng)嘗試解決這些問題。

以前的方法通常使用負(fù)面提示，如“六個(gè)手指、壞腿等”，以使模型避免生成此類圖像，這在某些情況下是有效的，但不夠穩(wěn)健。近期的工作開始使用布局、邊緣或密集標(biāo)簽作為指導(dǎo)，編輯圖像的全局或局部結(jié)構(gòu)。

復(fù)雜的光照和陰影編輯

編輯對(duì)象的光照或陰影仍然是一個(gè)挑戰(zhàn)，這需要準(zhǔn)確估計(jì)場景中的光照條件。以前的工作如Total Relighting使用網(wǎng)絡(luò)組合來估計(jì)前景對(duì)象的法線、反照率和陰影，以獲得逼真的重新照明效果。

最近，基于擴(kuò)散的模型被提議用于編輯面部的光照（DiFaReli）。然而，利用預(yù)訓(xùn)練擴(kuò)散模型強(qiáng)大的光照先驗(yàn)來編輯肖像或通用對(duì)象的光照仍然是一個(gè)開放領(lǐng)域。

同樣，ShadowDiffusion探索了基于擴(kuò)散的陰影合成，可以生成視覺上令人愉悅的對(duì)象陰影。然而，使用擴(kuò)散模型在不同背景條件下準(zhǔn)確編輯對(duì)象的陰影仍然是一個(gè)未解決的問題。

圖像編輯的非魯棒性

現(xiàn)有基于擴(kuò)散的圖像編輯模型能夠?yàn)榻o定的一部分條件合成逼真的視覺內(nèi)容。然而，它們?cè)谠S多現(xiàn)實(shí)世界場景中仍然會(huì)失敗。這個(gè)問題的根本原因在于模型無法準(zhǔn)確地對(duì)所有可能的樣本在條件分布空間中進(jìn)行建模。

如何改進(jìn)模型以始終生成無瑕疵的內(nèi)容仍然是一個(gè)挑戰(zhàn)。解決這個(gè)問題有幾種方法。

首先，擴(kuò)大模型訓(xùn)練的數(shù)據(jù)規(guī)模以覆蓋具有挑戰(zhàn)性的場景。這是一種有效但成本較高的方法。

在某些情況下，甚至很難收集到足夠數(shù)量的數(shù)據(jù)，如醫(yī)學(xué)圖像、視覺檢測(cè)數(shù)據(jù)等。

第二，調(diào)整模型以接受更多條件，如結(jié)構(gòu)引導(dǎo)、3D感知引導(dǎo)和文本引導(dǎo)，以實(shí)現(xiàn)更可控和確定性的內(nèi)容創(chuàng)作。

第三，采用迭代細(xì)化或多階段訓(xùn)練以逐步改進(jìn)模型的初始結(jié)果。

忠實(shí)的評(píng)估指標(biāo)

對(duì)圖像編輯進(jìn)行準(zhǔn)確評(píng)估對(duì)于確保編輯內(nèi)容與給定條件良好對(duì)齊至關(guān)重要。然而，盡管一些定量指標(biāo)如FID、KID、LPIPS、CLIP得分、PSNR和SSIM已被用作該任務(wù)的參考，但大多數(shù)現(xiàn)有工作仍然嚴(yán)重依賴于用戶研究來為視覺結(jié)果提供相對(duì)準(zhǔn)確的感知評(píng)估，這既不高效也不可擴(kuò)展。

忠實(shí)的定量評(píng)估指標(biāo)仍然是一個(gè)開放的問題。最近，已經(jīng)提出了更準(zhǔn)確的指標(biāo)來量化對(duì)象的感知相似性。

DreamSim測(cè)量了兩幅圖像的中等級(jí)別相似性，考慮了布局、姿態(tài)和語義內(nèi)容，并且優(yōu)于LPIPS。

類似地，前景特征平均（FFA）提供了一種簡單而有效的方法，用于測(cè)量對(duì)象的相似性，盡管其姿態(tài)、視點(diǎn)、光照條件或背景不同。在本文中，我們還提出了一種有效的圖像編輯度量LMM score，借助LMM實(shí)現(xiàn)。

總結(jié)

我們廣泛回顧了基于擴(kuò)散模型的圖像編輯方法，從多個(gè)角度審視了這一領(lǐng)域。

我們的分析首先根據(jù)學(xué)習(xí)策略將100多種方法分類為三個(gè)主要組別：基于訓(xùn)練、測(cè)試時(shí)微調(diào)和無需訓(xùn)練及微調(diào)的方法。

然后，我們將圖像編輯任務(wù)分為三個(gè)獨(dú)特的類別：語義編輯、風(fēng)格編輯和結(jié)構(gòu)編輯，總共包含12種具體類型。

我們探索了這些方法及其對(duì)提高編輯性能的貢獻(xiàn)。在我們的圖像編輯基準(zhǔn)EditEval中，對(duì)7個(gè)任務(wù)以及最新的先進(jìn)方法進(jìn)行了評(píng)估。

此外，引入了一種新的度量標(biāo)準(zhǔn)LMM分?jǐn)?shù)，用于這些方法的比較分析。在我們的綜述中，我們強(qiáng)調(diào)了圖像編輯領(lǐng)域內(nèi)廣泛的潛力，并建議了未來研究的方向。