文章地址：https://arxiv.org/abs/2505.23758

開源地址：https://lorashop.github.io/ （待開源）

亮點(diǎn)直擊

• 首創(chuàng)多概念LoRA編輯框架：首次實(shí)現(xiàn)無需重新訓(xùn)練/微調(diào)，直接在給定圖片中無縫插入多個(gè)由LoRA定義的定制化概念（物體、人物、風(fēng)格）。
• 解耦掩碼自動(dòng)提取技術(shù):創(chuàng)新性利用模型內(nèi)部特征圖，自動(dòng)生成每個(gè)LoRA概念的空間影響區(qū)域掩碼，精準(zhǔn)定位編輯位置。
• 免訓(xùn)練動(dòng)態(tài)融合機(jī)制:在推理階段動(dòng)態(tài)混合多個(gè)LoRA權(quán)重，僅在其對(duì)應(yīng)掩碼區(qū)域內(nèi)激活特定概念，避免概念間干擾（LoRA串?dāng)_）。

更多結(jié)果

方法

LoRAShop，這是一種無需訓(xùn)練的新流程，通過目標(biāo)特征混合方案實(shí)現(xiàn)多主體生成和編輯的多LoRA適配器使用。方法——多主體殘差混合（MSRB）包含兩個(gè)基本階段：

• 提取有效突出每個(gè)主體預(yù)期出現(xiàn)空間區(qū)域的主體先驗(yàn)；
• 在擴(kuò)散Transformer中應(yīng)用殘差特征混合方案，選擇性合并不同LoRA適配器的輸出。

能夠在空間上組合對(duì)應(yīng)不同概念的特征，實(shí)現(xiàn)無需額外訓(xùn)練的連貫且解耦的多主體生成和編輯。LoRAShop僅干預(yù)整流流Transformer的特征空間：既不修改噪聲計(jì)劃，也不改變?nèi)魏文Ｐ蜋?quán)重。在反向擴(kuò)散過程中，僅覆蓋由主體先驗(yàn)指示的token位置的殘差特征，保持其他所有token不變。由于此操作是局部且線性的，全局去噪軌跡（因而整體場景布局）保持不變。相同機(jī)制可與反轉(zhuǎn)無縫集成。采用[41]的RF-Solver流程，使用二階求解器恢復(fù)目標(biāo)圖像對(duì)應(yīng)的隱空間噪聲。在重建隱空間后，利用LoRAShop編輯反轉(zhuǎn)隱空間。如圖1和圖3所示，這實(shí)現(xiàn)了將多個(gè)個(gè)性化概念區(qū)域控制插入真實(shí)圖像，同時(shí)忠實(shí)保留輸入屬性。

實(shí)驗(yàn)

在圖像生成和圖像編輯任務(wù)上評(píng)估LoRAShop。對(duì)于生成，測量方法渲染單個(gè)個(gè)性化主體的優(yōu)劣，以及在一個(gè)場景中組合多個(gè)個(gè)性化主體的可靠性。對(duì)于編輯，評(píng)估真實(shí)圖像上的身份替換，用LoRA適配器編碼的外觀替換人物外觀。

實(shí)驗(yàn)設(shè)置 

使用FLUX.1-dev作為構(gòu)建方法的整流流Transformer。本方法基于利用預(yù)訓(xùn)練LoRA適配器完成單/多概念生成和編輯任務(wù)。所有實(shí)驗(yàn)使用diffusers庫提供的LoRA。補(bǔ)充材料提供完整實(shí)驗(yàn)用LoRA列表及視覺表示。除非另有說明，設(shè)置編輯時(shí)間步t=0.90，γ=0.94，τ=0.7，在反向過程中從時(shí)間步t開始應(yīng)用提出的混合方案。LoRAShop方法無需對(duì)預(yù)訓(xùn)練適配器進(jìn)行訓(xùn)練，可在推理時(shí)完成上述個(gè)性化任務(wù)。實(shí)驗(yàn)使用NVIDIA L40S GPU。

LoRAShop生成含兩個(gè)概念的圖像約需50秒，而FLUX.1-dev手動(dòng)推理每圖需30秒。此外，由于LoRAShop可順序應(yīng)用每個(gè)概念，對(duì)單圖應(yīng)用概念數(shù)量無內(nèi)存限制。

定性分析

對(duì)三個(gè)主流任務(wù)進(jìn)行了定性比較：單主體生成、多主體生成和換臉。在所有基準(zhǔn)任務(wù)中，LoRAShop提供了優(yōu)于競爭方法的性能：

多合成方法的定性比較。LoRAShop與運(yùn)行在多個(gè) LoRA 適配器上的多合成方法進(jìn)行比較，LoRAShop 在不依賴姿勢輸入的情況下表現(xiàn)優(yōu)于其他競爭方法，從而產(chǎn)生具有不同設(shè)置的合成效果。

定量比較

單主體生成的定量比較。在整體性能方面，LoRAShop優(yōu)于競爭對(duì)手基于 FLUX 的方法，這是通過身份相似性、快速對(duì)齊和視覺質(zhì)量來衡量的：

多主體生成的定量比較。與基于FLUX和SDXL的方法進(jìn)行了基準(zhǔn)測試。LoRAShop在多個(gè)主體上實(shí)現(xiàn)了卓越的身份保護(hù)，同時(shí)保持了基礎(chǔ)模型的快速對(duì)齊和視覺質(zhì)量：

用戶研究。展示了關(guān)于身份保留（Q1）和多主體生成任務(wù)的快速對(duì)齊（Q2）的用戶研究結(jié)果：

換臉的定量比較。將LoRAShop與REFace進(jìn)行基準(zhǔn)測試。雖然LoRAShop在輸入保存方面表現(xiàn)平平，但它在身份保存方面做出了重大改進(jìn)：

討論

局限性與廣泛影響 由于提取的掩碼繼承了底層擴(kuò)散模型的潛在偏差（如更關(guān)注面部、刻板性別特征或飽和顏色），有時(shí)可能錯(cuò)誤定位或低估某些區(qū)域，導(dǎo)致不連貫或不平衡的編輯，特別是對(duì)模型預(yù)訓(xùn)練數(shù)據(jù)中代表性不足的概念。我們的掩碼提取利用了Flux架構(gòu)獨(dú)有的注意力模式；其他擴(kuò)散主干（如SDXL-Turbo）可能需要重新調(diào)整閾值參數(shù)或產(chǎn)生較不連貫的掩碼。這限制了在所有T2I模型中的即時(shí)可移植性。與其他強(qiáng)大編輯工具一樣，LoRAShop可用于制作非自愿內(nèi)容。盡管如此，LoRAShop首次展示了無需訓(xùn)練、區(qū)域控制的多概念LoRA編輯，為組合式圖像操作開啟了新創(chuàng)意工作流和研究方向。

結(jié)論

LoRAShop，首個(gè)無需訓(xùn)練的框架，可實(shí)現(xiàn)現(xiàn)成LoRA模塊的區(qū)域控制多概念圖像編輯。通過發(fā)現(xiàn)并利用Flux擴(kuò)散Transformer內(nèi)部空間相干的激活模式，我們?cè)O(shè)計(jì)了解耦潛在掩碼提取流程，使每個(gè)LoRA僅在其目標(biāo)區(qū)域生效，消除跨概念干擾。在無需額外優(yōu)化、分割或輔助引導(dǎo)的情況下，LoRAShop將多個(gè)個(gè)性化主體或風(fēng)格無縫混合到輸入圖像中，同時(shí)保留全局上下文和精細(xì)局部細(xì)節(jié)。除了推動(dòng)個(gè)性化圖像編輯的技術(shù)發(fā)展，LoRAShop將擴(kuò)散模型轉(zhuǎn)化為直觀的"LoRA版Photoshop"，為協(xié)作敘事、產(chǎn)品可視化和快速創(chuàng)意迭代開辟了新可能性。

本文轉(zhuǎn)自AI生成未來 ，作者：AI生成未來

原文鏈接:??https://mp.weixin.qq.com/s/QO3sD4SH1aQDYX9wn-rHWA??