香港大學和Adobe聯(lián)合提出了一種直接在原始像素空間中運行的圖像生成模型PixelFlow，這種方法簡化了圖像生成過程，無需預先訓練的變分自編碼器 (VAE)，并使整個模型能夠端到端訓練。通過高效的級聯(lián)流建模，PixelFlow 在像素空間中實現(xiàn)了可承受的計算成本。它在 256x256 ImageNet 類條件圖像生成基準上實現(xiàn)了 1.98 的 FID。

• 論文：https://arxiv.org/pdf/2504.07963
• 代碼：https://gihub.com/ShoufaChen/PixelFlow
• 試用：https://huggingface.co/spaces/ShoufaChen/PixelFlow

論文介紹

PixelFlow是一系列直接在原始像素空間中運行的圖像生成模型，與主流的潛在空間模型形成對比。這種方法簡化了圖像生成過程，無需預先訓練的變分自編碼器 (VAE)，并使整個模型能夠端到端訓練。通過高效的級聯(lián)流建模，PixelFlow 在像素空間中實現(xiàn)了可承受的計算成本。它在 256x256 ImageNet 類條件圖像生成基準上實現(xiàn)了 1.98 的 FID。定性的文本轉圖像結果顯示，PixelFlow 在圖像質量、藝術性和語義控制方面表現(xiàn)出色。

方法概述

基于潛伏層的擴散模型 (LDM)、基于像素的擴散模型 (PDM) 和 PixelFlow 的設計范式比較：(a) LDM 將訓練分為兩個獨立的階段——首先獨立訓練現(xiàn)成的 VAE，然后基于從預訓練 VAE 中提取的 token 訓練擴散模型；(b) 之前的 PDM 通常訓練兩個獨立的模型：一個用于低分辨率圖像的擴散模型和一個用于高分辨率合成的上采樣器；(c) 相比之下，PixelFlow 為基于像素的生成提供了端到端的解決方案，兼具高效率和強大的生成性能。

PixelFlow 用于從像素空間進行級聯(lián)圖像生成。將整個生成過程劃分為一系列分辨率階段。在每個分辨率階段開始時，我們都會將前一階段中相對嘈雜的結果進行放大，并將其作為當前階段的起點。因此，隨著分辨率的提高，可以獲得更精細的樣本。

級聯(lián)階段中間結果的可視化。從四個階段中提取中間結果進行直接可視化。我們在各個分辨率階段觀察到清晰的去噪過程。

實驗結果

PixelFlow 類條件圖像生成的定性結果。所有圖像均為 256×256 分辨率。

PixelFlow 文本條件生成的定性結果。所有圖像均為 512×512 分辨率。題目的關鍵部分以紅色突出顯示。

PixelFlow 的定性樣本。展示了 1024×1024 分辨率的生成圖像。關鍵詞以紅色突出顯示。

結論

論文推出了一種全新的圖像生成模型 PixelFlow，它通過直接在原始像素空間上進行操作，重新思考了基于潛在空間的模型的優(yōu)勢。通過直接在不同分辨率階段之間進行轉換，該模型在簡潔性和端到端可訓練性方面展現(xiàn)出顯著優(yōu)勢。在類條件圖像生成和文本到圖像生成基準測試中，PixelFlow 已被證明能夠比主流的基于潛在空間的方法展現(xiàn)出更強大的圖像生成能力。