Seaweed-7B: Cost-Effective Training of Video Generation Foundation Model

2025-04-11｜ByteDance, ByteDance Seed|??83

??http://arxiv.org/abs/2504.08685v1???
???https://huggingface.co/papers/2504.08685???
???https://seaweed.video/??

研究背景與意義

Seaweed-7B 是一種中等規(guī)模的視頻生成基礎(chǔ)模型，參數(shù)量約為 70 億。該研究的核心目標是探索一種成本高效的訓(xùn)練策略，在計算資源有限的情況下實現(xiàn)與大規(guī)模模型相媲美的性能。視頻生成領(lǐng)域近年來發(fā)展迅速，但其高計算成本和推理開銷成為主要瓶頸。Seaweed-7B 的提出旨在通過優(yōu)化架構(gòu)設(shè)計和訓(xùn)練策略，降低訓(xùn)練和推理成本，同時保持高性能。

背景意義簡述

1. 研究動機：當前視頻生成模型通常需要大量 GPU 資源進行訓(xùn)練和推理，這限制了創(chuàng)新的速度和應(yīng)用范圍。Seaweed-7B 的研究試圖證明中等規(guī)模模型在特定設(shè)計下的潛力。
2. 研究意義：通過減少對昂貴硬件的依賴，Seaweed-7B 可以更廣泛地應(yīng)用于社交媒體、數(shù)字娛樂等領(lǐng)域，尤其是在對 GPU 內(nèi)存和推理成本敏感的應(yīng)用場景中。
3. 潛在影響：這項研究不僅為視頻生成領(lǐng)域提供了新的思路，還可能推動其他模態(tài)（如語言和圖像）中等規(guī)模模型的發(fā)展。

研究方法與創(chuàng)新

Seaweed-7B 的成功得益于一系列精心設(shè)計的技術(shù)選擇。以下從 VAE 設(shè)計、擴散模型架構(gòu)、多階段訓(xùn)練策略等方面詳細解析其方法論和創(chuàng)新點。

方法創(chuàng)新詳解

VAE 設(shè)計與優(yōu)化

• 壓縮比與重建質(zhì)量：VAE 的核心在于平衡壓縮比和重建質(zhì)量。研究發(fā)現(xiàn)，64 倍壓縮率的 VAE 在相同計算資源下收斂更快，并達到更高的重建質(zhì)量。相比 DiT 中的 patchification 方法，VAE 內(nèi)部壓縮信息的效果更優(yōu)。
• 混合分辨率訓(xùn)練：為了提升高分辨率和長時序視頻的重建能力，研究團隊引入了混合分辨率訓(xùn)練方法。這種方法顯著提高了模型對未見過分辨率的泛化能力。
• 穩(wěn)定性改進：通過使用 SpectralNorm 替代 BatchNorm，VAE 的訓(xùn)練過程更加穩(wěn)定，盡管早期可能會犧牲一些定量指標，但最終重建性能更佳。

擴散模型架構(gòu)

• Full-Attention 在充分計算資源支持下表現(xiàn)最佳，但在高分辨率視頻訓(xùn)練中計算負擔(dān)較大。
• Sparse Window Attention 是一種折中方案，適合預(yù)算受限的情況。實驗表明，隨著訓(xùn)練步數(shù)增加，F(xiàn)ull-Attention 最終超越 Window Attention。
• Hybrid-Stream 結(jié)構(gòu)：與傳統(tǒng)的 Dual-Stream 相比，Hybrid-Stream 結(jié)構(gòu)通過共享部分 FFN 參數(shù)和 AdaSingle 時間步調(diào)制，實現(xiàn)了更快的收斂速度和更低的內(nèi)存消耗。
• 注意力機制優(yōu)化：
• MM-RoPE 編碼：通過引入 3D MM-RoPE 編碼，模型能夠更好地捕捉視頻中的位置信息，從而改善生成質(zhì)量和運動一致性。

多階段訓(xùn)練策略

• 預(yù)訓(xùn)練階段：從低分辨率圖像開始，逐步過渡到圖像-視頻聯(lián)合訓(xùn)練。這種策略有助于模型建立文本提示與視覺概念之間的對齊關(guān)系。
• 微調(diào)階段：采用監(jiān)督微調(diào)（SFT）和基于人類反饋的強化學(xué)習(xí)（RLHF），進一步提升生成視頻的美學(xué)質(zhì)量、運動一致性和結(jié)構(gòu)連貫性。
• 任務(wù)分配：在不同階段合理分配 GPU 資源，確保整體質(zhì)量的提升。例如，Text-to-Video 任務(wù)成本較低，而 Image-to-Video 則需要更多關(guān)注。

基礎(chǔ)設(shè)施優(yōu)化

• 并行化策略：利用 3D 并行化（數(shù)據(jù)并行、上下文并行、模型分片）和 FSDP 技術(shù)，有效減少通信開銷，提高分布式訓(xùn)練效率。
• Runtime Balance：通過構(gòu)建離線查找表，動態(tài)調(diào)整每批次樣本的分布，緩解圖像-視頻聯(lián)合訓(xùn)練中的負載不平衡問題。
• MLAC 激活檢查點：多級激活檢查點技術(shù)顯著降低了 GPU 內(nèi)存占用和重計算開銷，使得模型能夠在長上下文中高效訓(xùn)練。

實驗設(shè)計與結(jié)果分析

為了驗證 Seaweed-7B 的性能，研究團隊設(shè)計了一系列實驗，涵蓋文本到視頻、圖像到視頻等多個任務(wù)。

實驗結(jié)果簡述

生成質(zhì)量評估：

• 在 Text-to-Video 和 Image-to-Video 任務(wù)中，Seaweed-7B 的表現(xiàn)與許多更大規(guī)模的模型相當甚至更優(yōu)。
• 具體指標包括保真度、美學(xué)、運動質(zhì)量、提示對齊和推理效率。

下游任務(wù)泛化能力：

• Seaweed-7B 可以通過輕量級微調(diào)或繼續(xù)訓(xùn)練，適應(yīng)多種下游視頻生成任務(wù)，展現(xiàn)出強大的泛化能力。

對比基準：

• 與 Sora、Wan-2.1 等模型相比，Seaweed-7B 在多個關(guān)鍵指標上表現(xiàn)出色，尤其是在運動質(zhì)量和提示跟隨方面。
• 盡管在視覺質(zhì)量上略遜于 Kling 1.6（HD），但考慮到其分辨率差異（480p/720p vs. 1080p），這一差距是可以接受的。

統(tǒng)計顯著性：

• 在 MagicArena 的 Elo 評分系統(tǒng)中，Seaweed-7B 在 Image-to-Video 任務(wù)中排名第二，僅次于 Kling 1.6（HD）。
• 在 Text-to-Video 任務(wù)中，Seaweed-7B 排名前二至三名，勝過多個大規(guī)模模型。

結(jié)論與展望

結(jié)論展望簡述

總結(jié)貢獻：

• 提出了成本高效的視頻生成模型訓(xùn)練策略，證明中等規(guī)模模型在特定設(shè)計下的潛力。
• 在多個生成任務(wù)中展現(xiàn)了高度競爭力，尤其在運動質(zhì)量和提示跟隨方面表現(xiàn)突出。

分析局限：

• 當前模型在高分辨率視頻生成上的表現(xiàn)仍有提升空間。
• Rephraser 模塊可能會影響較長輸入提示的語義準確性。

方法展望：

• 進一步優(yōu)化 VAE 和擴散模型的設(shè)計，探索更高分辨率視頻生成的可能性。
• 開發(fā)更高效的推理加速技術(shù)，如 diffusion distillation 和 adversarial training。
• 擴展模型的應(yīng)用范圍，探索其在實時交互場景中的潛力。

GigaTok: Scaling Visual Tokenizers to 3 Billion Parameters for Autoregressive Image Generation

2025-04-11｜HKU, ByteDance|??32

??http://arxiv.org/abs/2504.08736v1???
???https://huggingface.co/papers/2504.08736???
???https://silentview.github.io/GigaTok??

研究背景與意義

研究背景在于自回歸（AR）圖像生成框架中，視覺分詞器將圖像壓縮為離散的潛碼符號，從而實現(xiàn)高效的下游模型訓(xùn)練。然而，隨著分詞器規(guī)模的擴大，雖然圖像重建質(zhì)量有所提升，但下游生成質(zhì)量卻顯著下降，形成了“重建-生成困境”。這一問題在現(xiàn)有文獻中尚未得到充分解決。GigaTok旨在通過引入語義正則化等方法，同時改善圖像重建和生成性能。

• 核心問題：大規(guī)模視覺分詞器擴展時，如何平衡重建質(zhì)量和生成性能。
• 創(chuàng)新意義：首次提出語義正則化方法，有效緩解了重建-生成困境，并探索了三種關(guān)鍵實踐策略以優(yōu)化分詞器擴展。

研究方法與創(chuàng)新

本文提出了GigaTok，一種能夠同時改進圖像重建、生成和表示學(xué)習(xí)的大規(guī)模視覺分詞器。其核心創(chuàng)新點包括：

語義正則化：

• 通過語義正則化約束分詞器特征與預(yù)訓(xùn)練視覺編碼器的一致性，防止?jié)摯a空間復(fù)雜度過高。
• 具體做法是在分詞器訓(xùn)練過程中加入語義正則化損失項，鼓勵分詞器特征與預(yù)訓(xùn)練模型特征的高度相似性。

三種擴展實踐：

• 一維分詞器：相較于二維分詞器，一維分詞器展現(xiàn)出更好的可擴展性。
• 非對稱擴展：優(yōu)先擴展解碼器而非編碼器，證明更有效果。
• 熵損失：引入熵損失以穩(wěn)定十億級參數(shù)分詞器的訓(xùn)練過程。

技術(shù)優(yōu)勢：

• GigaTok通過上述方法成功擴展至30億參數(shù)，實現(xiàn)了最先進的重建、下游生成和表示學(xué)習(xí)性能。
• 實驗表明，語義正則化顯著降低了潛碼空間復(fù)雜度，使得更大規(guī)模的分詞器仍能保持良好的生成能力。

對比分析：

• 與傳統(tǒng)方法相比，GigaTok不僅提升了重建質(zhì)量，還解決了生成性能下降的問題。
• 特別是通過語義正則化，GigaTok能夠引導(dǎo)分詞器編碼更具語義一致性的潛碼空間。

實驗設(shè)計與結(jié)果分析

實驗部分驗證了GigaTok的有效性和優(yōu)越性，主要從以下幾個方面展開：

實驗設(shè)置：

• 使用不同規(guī)模的分詞器進行實驗，涵蓋小規(guī)模到超大規(guī)模。
• 比較指標包括重建質(zhì)量（rFID）、生成性能（gFID）和線性探測精度（LinAcc.）。

結(jié)果分析：

• 重建質(zhì)量：GigaTok在所有規(guī)模下均表現(xiàn)出更高的重建質(zhì)量。
• 生成性能：語義正則化顯著改善了生成性能，解決了傳統(tǒng)方法中的“重建-生成困境”。
• 表示學(xué)習(xí)：通過線性探測精度驗證，GigaTok提升了下游模型的學(xué)習(xí)能力。

對比基準：

• 與現(xiàn)有方法相比，GigaTok在重建和生成性能上均達到或超越了SOTA水平。
• 特別是一維分詞器在擴展性上優(yōu)于二維分詞器，展現(xiàn)出更強的適應(yīng)能力。

多場景表現(xiàn)：

• 在不同分辨率和數(shù)據(jù)集上的實驗進一步驗證了GigaTok的魯棒性和泛化能力。

結(jié)論與展望

總結(jié)來看，GigaTok通過語義正則化和三種擴展策略，成功解決了大規(guī)模視覺分詞器擴展中的重建-生成困境，實現(xiàn)了卓越的重建、生成和表示學(xué)習(xí)性能。

• 貢獻總結(jié)：

a.首次將視覺分詞器擴展至30億參數(shù)，取得了SOTA的重建、生成和表示學(xué)習(xí)性能。

b.提出了語義正則化方法，顯著降低了潛碼空間復(fù)雜度。

c.探索并驗證了三種擴展實踐策略的有效性。

• 局限分析：
• 當前方法在極端大尺度下的表現(xiàn)仍有待進一步驗證。
• 訓(xùn)練成本較高，可能限制實際應(yīng)用范圍。
• 未來展望：
• 進一步優(yōu)化語義正則化方法，探索更多潛在應(yīng)用場景。
• 研究如何降低訓(xùn)練成本，提升模型的實際可用性。
• 擴展至更多模態(tài)，如視頻生成等領(lǐng)域，推動多模態(tài)生成技術(shù)的發(fā)展。

ZipIR: Latent Pyramid Diffusion Transformer for High-Resolution Image Restoration

2025-04-11｜U Rochester, Adobe Research|??13

??http://arxiv.org/abs/2504.08591v1???
???https://huggingface.co/papers/2504.08591??

研究背景與意義

ZipIR的提出旨在解決高分辨率圖像恢復(fù)（IR）領(lǐng)域中質(zhì)量與效率之間的根本權(quán)衡問題。近年來，生成模型特別是擴散模型在圖像恢復(fù)方面取得了顯著進展，能夠有效恢復(fù)語義細節(jié)和局部保真度。然而，在超高分辨率下部署這些模型時，由于長距離注意力機制帶來的計算需求，面臨著質(zhì)量和效率之間的關(guān)鍵權(quán)衡?，F(xiàn)有方法如基于UNet的擴散模型雖然有效，但在處理超高清輸出時面臨效率挑戰(zhàn)。

ZipIR通過引入一種高度壓縮的潛在表示，將圖像壓縮32倍，從而減少空間標記數(shù)量，使高性能模型如擴散變壓器（DiT）得以應(yīng)用。這種方法不僅提高了處理速度，還增強了對嚴重退化輸入的恢復(fù)能力。研究的意義在于為高分辨率圖像恢復(fù)提供了更高效、更可擴展的解決方案，推動了圖像恢復(fù)技術(shù)的發(fā)展。

研究方法與創(chuàng)新

ZipIR的核心創(chuàng)新在于其獨特的Latent Pyramid VAE（LP-VAE）設(shè)計和基于DiT的架構(gòu)優(yōu)化。以下從多個角度深入解析其方法論與創(chuàng)新點：

1. LP-VAE的設(shè)計與優(yōu)勢

• LP-VAE通過子帶分解將高階圖像結(jié)構(gòu)與低階細節(jié)分離，確保低級退化主要影響精細潛在特征，而粗級代碼保持一致，從而簡化擴散模型的學(xué)習(xí)過程。
• 該設(shè)計采用金字塔式編碼器，逐層捕獲不同分辨率下的信息，最終形成一個高度壓縮的64通道潛在表示。這種分層結(jié)構(gòu)不僅減少了標記數(shù)量，還提升了潛在空間的結(jié)構(gòu)化程度。
• LP-VAE解決了傳統(tǒng)VAE在高分辨率任務(wù)中的兩大挑戰(zhàn)：對微小擾動的敏感性和解碼過程中低級細節(jié)的失真。

2. 擴散模型的擴展與優(yōu)化

• ZipIR利用LP-VAE的潛在表示訓(xùn)練了一個參數(shù)量達30億的大規(guī)模擴散變壓器（DiT），使其能夠在全分辨率圖像上進行訓(xùn)練，提升全局建模能力。
• 進一步引入Pyramid Cascade Encoders，通過多級金字塔結(jié)構(gòu)捕捉細粒度細節(jié)、低分辨率結(jié)構(gòu)和宏觀語義，顯著增強了模型的表達能力。
• 在訓(xùn)練過程中，采用了漸進式訓(xùn)練策略，逐步優(yōu)化粗級和細級編碼器，避免了直接訓(xùn)練復(fù)雜模型可能帶來的不穩(wěn)定性。

3. 像素感知解碼器與文本引導(dǎo)

• 像素感知解碼器通過跳過連接添加空間信息，進一步增強從高度壓縮的潛在空間重建高質(zhì)量圖像的能力。
• 文本嵌入模塊通過交叉注意力層整合語義信息，支持無分類器引導(dǎo)，使模型能夠根據(jù)文本提示生成更符合預(yù)期的恢復(fù)結(jié)果。

創(chuàng)新總結(jié)ZipIR的創(chuàng)新之處在于其系統(tǒng)性地解決了高分辨率圖像恢復(fù)中的效率與質(zhì)量矛盾。通過LP-VAE實現(xiàn)潛在空間的高度壓縮，結(jié)合大規(guī)模擴散模型和漸進式訓(xùn)練策略，實現(xiàn)了在2K分辨率下的快速、高質(zhì)量恢復(fù)。此外，文本引導(dǎo)和像素感知解碼器的設(shè)計進一步提升了模型的靈活性和魯棒性。

實驗設(shè)計與結(jié)果分析

實驗部分驗證了ZipIR在多種場景下的性能表現(xiàn)，包括超分辨率、去模糊、降噪和JPEG偽影去除等任務(wù)。

實驗設(shè)置

• 數(shù)據(jù)集：使用3000張2K分辨率的Pexels照片作為訓(xùn)練集，并在RealPhoto60等真實低質(zhì)量數(shù)據(jù)集上進行測試。
• 比較方法：與Real-ESRGAN、StableSR、DiffBIR、SeeSR和SUPIR等先進方法對比。
• 評估指標：采用PSNR、LPIPS、FID、pFID和KID等多維度指標。

結(jié)果分析

• 超分辨率任務(wù)：在16×和8×超分辨率場景下，ZipIR分別取得最低的FID（3.24）和最佳的LPIPS（0.3374），表明其在感知質(zhì)量和保真度方面的優(yōu)越性。
• 混合退化恢復(fù)：面對8×下采樣、高斯模糊（σ=2）、噪聲（σ=40）和JPEG偽影（p=50）的復(fù)合退化，ZipIR表現(xiàn)出更強的分布一致性（KID=11.23×103）和感知質(zhì)量（LPIPS=0.5791）。
• 效率對比：相比SeeSR（73.7秒）和SUPIR（52.99秒），ZipIR僅需6.92秒即可完成2K分辨率圖像的處理，展示了其卓越的效率。

消融實驗

• 高分辨率訓(xùn)練：實驗證明，高分辨率訓(xùn)練顯著提升了局部細節(jié)的清晰度和準確性。
• 像素感知解碼器：引入像素感知解碼器后，F(xiàn)ID和pFID分別下降至20.95和38.73，表明其在空間信息恢復(fù)中的重要作用。

結(jié)論與展望

總結(jié)貢獻ZipIR通過引入LP-VAE和大規(guī)模擴散模型，成功解決了高分辨率圖像恢復(fù)中的效率與質(zhì)量矛盾。其主要貢獻包括：

1. 提出了一種高效的潛在表示壓縮方法（LP-VAE），顯著降低了計算復(fù)雜度。
2. 設(shè)計了漸進式訓(xùn)練策略和多級金字塔編碼器，提升了模型的表達能力和訓(xùn)練穩(wěn)定性。
3. 引入像素感知解碼器和文本引導(dǎo)模塊，增強了模型的空間信息恢復(fù)能力和語義理解能力。

分析局限盡管ZipIR在多項指標上表現(xiàn)出色，但仍存在一些局限性：

• 對極端退化（如極高倍率下采樣或嚴重噪聲）的恢復(fù)能力仍有提升空間。
• 模型訓(xùn)練需要大量高質(zhì)量數(shù)據(jù)，可能限制其在特定領(lǐng)域的應(yīng)用。

方法展望未來工作可以從以下幾個方向展開：

1. 探索更高的壓縮率和更大容量的擴散模型，進一步提升高分辨率圖像恢復(fù)效果。
2. 研究自監(jiān)督學(xué)習(xí)方法，降低對標注數(shù)據(jù)的依賴。
3. 將ZipIR擴展到視頻恢復(fù)等更多應(yīng)用場景，推動相關(guān)技術(shù)的發(fā)展。

PixelFlow: Pixel-Space Generative Models with Flow

2025-04-10｜HKU, Adobe|??10

??http://arxiv.org/abs/2504.07963v1???
???https://huggingface.co/papers/2504.07963???
???https://github.com/ShoufaChen/PixelFlow??

研究背景與意義

PixelFlow 提出了一種全新的圖像生成范式，直接在像素空間中進行生成，而無需依賴預(yù)訓(xùn)練的變分自編碼器（VAE）或上采樣器。這一方法簡化了圖像生成過程，避免了傳統(tǒng)潛在空間模型中VAE和擴散組件解耦的問題，從而實現(xiàn)了端到端的優(yōu)化。研究的意義在于挑戰(zhàn)了當前以潛在空間模型為主導(dǎo)的生成范式，為高分辨率圖像生成提供了一種更高效、更靈活的解決方案。

• 現(xiàn)狀概述：目前主流的生成模型多基于潛在空間，如LDMs（Latent Diffusion Models），通過壓縮原始數(shù)據(jù)到低維潛在空間來降低計算需求。然而，這種做法限制了端到端優(yōu)化的可能性，并可能損失高頻細節(jié)。
• 問題洞察：盡管潛在空間模型取得了巨大成功，但其復(fù)雜的兩階段設(shè)計（先訓(xùn)練VAE，再訓(xùn)練擴散模型）導(dǎo)致了優(yōu)化困難和診斷復(fù)雜性。此外，像素空間中的直接生成雖然直觀，但在高分辨率下計算成本高昂。
• 目標闡明：PixelFlow旨在通過直接在像素空間中操作，結(jié)合高效的級聯(lián)流建模，實現(xiàn)高質(zhì)量圖像生成的同時保持較低的計算成本。

研究方法與創(chuàng)新

PixelFlow的核心創(chuàng)新在于其獨特的架構(gòu)設(shè)計和訓(xùn)練策略，具體體現(xiàn)在以下幾個方面：

端到端可訓(xùn)練性：

• 通過放棄對預(yù)訓(xùn)練VAE的依賴，PixelFlow實現(xiàn)了從噪聲到清晰圖像的完全端到端訓(xùn)練。這種方法不僅簡化了模型設(shè)計，還允許全局優(yōu)化，避免了潛在空間模型中常見的信息丟失問題。

級聯(lián)流建模：

• PixelFlow采用漸進式的分辨率提升策略，在不同分辨率階段逐步去噪。早期階段處理低分辨率樣本，隨著去噪過程的推進逐漸增加分辨率，最終達到目標分辨率。這種方法顯著降低了全分辨率下的計算負擔(dān)。
• 具體實現(xiàn)上，PixelFlow利用Flow Matching算法將樣本從先驗分布逐步轉(zhuǎn)換為目標數(shù)據(jù)分布。通過定義一系列線性路徑連接先驗分布和目標分布的樣本，確保了生成過程的平滑性和可控性。

Transformer架構(gòu)的適配：

• Patchify：將輸入圖像劃分為token序列，直接對原始像素進行操作，而非依賴VAE編碼的潛在表示。
• RoPE：用二維相對位置編碼（2D-RoPE）替代傳統(tǒng)的正弦余弦位置編碼，增強了對不同分辨率圖像的支持能力。
• Resolution Embedding：引入分辨率嵌入作為條件信號，使模型能夠區(qū)分不同分辨率的輸入。
• PixelFlow基于Transformer構(gòu)建生成模型，使用XL規(guī)模配置以支持高分辨率生成任務(wù)。為了更好地適應(yīng)像素空間生成，PixelFlow引入了多項改進：

靈活性與效率：

• PixelFlow支持靈活的推理配置，例如根據(jù)不同分辨率階段分配不同的采樣步數(shù)，以及選擇不同的ODE求解器（如Euler或Dopri5）。這些設(shè)計使得模型能夠在性能和效率之間找到最佳平衡點。

實驗設(shè)計與結(jié)果分析

實驗部分驗證了PixelFlow在多個生成任務(wù)上的有效性，包括類別條件圖像生成和文本到圖像生成。

實驗設(shè)置：

• 數(shù)據(jù)集：ImageNet-1K用于類別條件生成；LAION子集用于文本到圖像生成。
• 訓(xùn)練細節(jié)：采用AdamW優(yōu)化器，學(xué)習(xí)率固定為1×10??。生成過程中使用分類器自由引導(dǎo)（CFG）增強生成質(zhì)量。

結(jié)果對比：

• 在256×256類別條件生成任務(wù)中，PixelFlow達到了1.98的FID分數(shù)，優(yōu)于多個潛在空間模型（如LDM-4-G FID 3.60，DiT-XL/2 FID 2.27）。
• 文本到圖像生成方面，PixelFlow在GenEval、T2I-CompBench和DPG-Bench等基準測試中表現(xiàn)出色，分別取得0.64、77.93的成績。

消融實驗：

• Kickoff Sequence Length：實驗表明，從適當?shù)男》直媛剩ㄈ?×8）開始生成可以兼顧質(zhì)量和效率，而過低的分辨率（如2×2）會導(dǎo)致性能下降。
• Patch Size：使用4×4的patch size在大多數(shù)評價指標上優(yōu)于2×2，同時提高了計算效率。
• ODE Solver：Dopri5求解器相比Euler求解器能更準確地捕捉生成動態(tài)，但計算成本略高。
• CFG Schedule：提出的分階段CFG策略進一步提升了生成質(zhì)量，F(xiàn)ID從2.43降低至1.98。

結(jié)論與展望

PixelFlow通過直接在像素空間中操作，成功挑戰(zhàn)了潛在空間模型的主導(dǎo)地位，展現(xiàn)了強大的生成能力和靈活性。其主要貢獻包括：

• 建立了一個端到端可訓(xùn)練的像素空間生成模型。
• 通過級聯(lián)流建模實現(xiàn)了高效且高質(zhì)量的圖像生成。
• 在類別條件生成和文本到圖像生成任務(wù)中均取得了具有競爭力的結(jié)果。

局限性：

• 盡管PixelFlow避免了全分辨率計算，但最終階段仍需進行全分辨率注意力操作，占用了約80%的推理時間。
• 隨著序列長度增加，訓(xùn)練收斂速度變慢，影響了模型的大規(guī)模擴展能力。

未來方向：

• 探索更高效的注意力機制以減少計算開銷。
• 優(yōu)化訓(xùn)練策略以加速長序列收斂。
• 將PixelFlow應(yīng)用于更多模態(tài)的生成任務(wù)，如視頻生成和3D內(nèi)容生成。

FlexIP: Dynamic Control of Preservation and Personality for Customized Image Generation

2025-04-10｜Tencent AI Lab|??7

??http://arxiv.org/abs/2504.07405v1???
???https://huggingface.co/papers/2504.07405???
???https://flexip-tech.github.io/flexip/??

研究背景與意義

個性化圖像生成是當前計算機視覺領(lǐng)域的熱點研究方向之一，其核心挑戰(zhàn)在于如何在保持主體身份一致性的前提下實現(xiàn)多樣化的編輯效果?，F(xiàn)有方法通常在身份保留和個性化編輯之間存在固有的權(quán)衡，難以同時滿足高保真度的身份保留和靈活的編輯需求。論文《FlexIP: Dynamic Control of Preservation and Personality for Customized Image Generation》提出了一種全新的框架FlexIP，旨在通過顯式解耦身份保留和個性化編輯目標來解決這一問題。

FlexIP通過引入雙適配器架構(gòu)（Preservation Adapter 和 Personalization Adapter）以及動態(tài)權(quán)重門控機制（Dynamic Weight Gating），實現(xiàn)了對這兩項目標的獨立控制。這種方法不僅突破了傳統(tǒng)方法的性能限制，還為個性化圖像生成提供了更靈活、更精確的解決方案。此外，F(xiàn)lexIP的設(shè)計理念強調(diào)了跨模態(tài)信息的有效分離和互補性利用，為未來的研究提供了新的思路。

研究方法與創(chuàng)新

FlexIP的核心創(chuàng)新點在于其獨特的架構(gòu)設(shè)計和工作機制：

1. 雙適配器架構(gòu)：FlexIP采用雙適配器架構(gòu)，分別處理身份保留和個性化編輯任務(wù)。Preservation Adapter通過結(jié)合高維語義概念和低維空間細節(jié)捕捉主體身份特征，而Personalization Adapter則專注于風(fēng)格化操作和文本指令的融合。這種設(shè)計避免了特征競爭，顯著提高了編輯的保真度和靈活性。
2. 動態(tài)權(quán)重門控機制：為了平衡身份保留和個性化編輯之間的權(quán)衡，F(xiàn)lexIP引入了動態(tài)權(quán)重門控機制。該機制根據(jù)輸入數(shù)據(jù)類型自適應(yīng)調(diào)整兩個適配器的貢獻比例。例如，對于靜態(tài)圖像數(shù)據(jù)，系統(tǒng)會優(yōu)先增強身份保留能力；而對于視頻數(shù)據(jù)，則更注重風(fēng)格化自由度。這種連續(xù)參數(shù)化控制表面的設(shè)計使得用戶能夠在推理階段平滑地調(diào)節(jié)身份保留與編輯靈活性之間的平衡。
3. 細粒度控制與全局一致性結(jié)合：FlexIP通過學(xué)習(xí)查詢嵌入（Learnable Queries）和CLIP [CLS]嵌入的協(xié)同作用，實現(xiàn)了細粒度局部細節(jié)與全局語義的一致性整合。具體而言，Resampler模塊通過多層感知交叉注意力（Perceiver Cross-Attention, PSA）提取身份相關(guān)特征，并將這些特征與文本嵌入相結(jié)合，從而確保生成結(jié)果既符合文本指令又保留主體身份。
4. 零樣本風(fēng)格遷移擴展：FlexIP不僅適用于常規(guī)的個性化圖像生成任務(wù)，還能擴展到零樣本風(fēng)格遷移場景。其雙適配器架構(gòu)能夠有效提取詳細信息并維持指令編輯的平衡集成，展現(xiàn)出強大的泛化能力。

綜上所述，F(xiàn)lexIP通過明確分解視覺和文本信息流，解決了現(xiàn)有方法中身份保留與個性化編輯之間的隱式權(quán)衡問題，提供了一種連續(xù)、精確的平衡控制方案。這種方法不僅提升了模型的性能，還為個性化圖像生成領(lǐng)域開辟了新的研究方向。

實驗設(shè)計與結(jié)果分析

為了驗證FlexIP的有效性，作者設(shè)計了一系列實驗，涵蓋了定量評估和定性比較兩個方面：

1. 定量評估：實驗使用DreamBench+和MSBench兩個數(shù)據(jù)集進行評估，包含187個獨特主體及其對應(yīng)的9組文本提示，共計生成16,830張定制化圖像。評估指標包括身份保留（DINO-I, CLIP-I）、個性化程度（CLIP-T）、圖像質(zhì)量（CLIP-IQA, Aesthetic）等多個維度。結(jié)果顯示，F(xiàn)lexIP在所有評價指標上均優(yōu)于現(xiàn)有方法，特別是在mRank、個性化（CLIP-T）、身份保留（CLIP-I和DINO-I）以及圖像質(zhì)量（CLIP-IQA和Aesthetic）等方面表現(xiàn)突出。
2. 定性比較：定性實驗展示了FlexIP在不同任務(wù)中的優(yōu)越性。例如，在相同的文本指令下，F(xiàn)lexIP能夠同時保持主體身份的一致性和編輯的多樣性。此外，通過調(diào)整動態(tài)權(quán)重門控機制的參數(shù)，用戶可以平滑地在身份保留和編輯靈活性之間切換，體現(xiàn)了該方法的高度可控性。
3. 消融研究：消融實驗進一步驗證了動態(tài)權(quán)重門控機制的重要性。實驗表明，去除該機制會導(dǎo)致模型性能顯著下降，尤其是在需要精細調(diào)節(jié)身份保留與編輯靈活性的場景中。

結(jié)論與展望

FlexIP作為一種新穎的框架，成功解決了個性化圖像生成中身份保留與個性化編輯之間的權(quán)衡問題。其主要貢獻包括：

• 提出了一種雙適配器架構(gòu)，實現(xiàn)了對身份保留和個性化編輯目標的獨立控制。
• 設(shè)計了動態(tài)權(quán)重門控機制，將傳統(tǒng)的二元權(quán)衡轉(zhuǎn)化為連續(xù)參數(shù)化控制表面，提升了模型的靈活性和可控性。
• 在多個評價指標上顯著超越現(xiàn)有方法，展現(xiàn)了強大的性能優(yōu)勢。

然而，F(xiàn)lexIP也存在一定的局限性。例如，其訓(xùn)練過程可能需要更多的計算資源，且在極端編輯場景下的表現(xiàn)仍有提升空間。未來工作可以圍繞以下幾個方向展開：

• 探索更高效的訓(xùn)練策略以降低計算成本。
• 進一步優(yōu)化模型在復(fù)雜編輯任務(wù)中的表現(xiàn)。
• 將FlexIP擴展到更多模態(tài)的數(shù)據(jù)處理任務(wù)中，如三維建?；蛞曨l生成。

總之，F(xiàn)lexIP為個性化圖像生成領(lǐng)域帶來了重要的理論和技術(shù)突破，具有廣泛的應(yīng)用前景。

本文轉(zhuǎn)載自??AI研究前瞻??，作者：胡耀淇