超低成本圖像生成預訓練方案來了——

僅需8張GPU訓練，就能實現(xiàn)近SOTA的高質(zhì)量圖像生成效果。

劃重點：開源。

圖片

模型名為LightGen，由港科大Harry Yang團隊聯(lián)合Everlyn AI等機構(gòu)打造，借助知識蒸餾（KD）和直接偏好優(yōu)化（DPO）策略，有效壓縮了大規(guī)模圖像生成模型的訓練流程。

LightGen不僅顯著降低了數(shù)據(jù)規(guī)模與計算資源需求，而且在高質(zhì)量圖像生成任務上展現(xiàn)了與SOTA模型相媲美的性能。

圖片

圖像inpainting效果belike：

圖片

LightGen相較于現(xiàn)有的生成模型，盡管參數(shù)量更小、預訓練數(shù)據(jù)規(guī)模更精簡，卻在geneval圖像生成任務的基準評測中甚至超出了部分最先進SOTA模型。

此外，LightGen在效率與性能之間實現(xiàn)了良好的平衡，成功地將傳統(tǒng)上需要數(shù)千GPU days的預訓練過程縮短至僅88個GPU days，即可完成高質(zhì)量圖像生成模型的訓練。

以下是更多細節(jié)。

LightGen長啥樣？

文本到圖像（Text-to-Image, T2I）生成任務近年來取得了飛速進展，其中以擴散模型（如Stable Diffusion、DiT等）和自回歸（AR）模型為代表的方法取得了顯著成果。

然而，這些主流的生成模型通常依賴于超大規(guī)模的數(shù)據(jù)集和巨大的參數(shù)量，導致計算成本高昂、落地困難，難以高效地應用于實際生產(chǎn)環(huán)境。

為了解決這一難題，香港科技大學Harry Yang教授團隊聯(lián)合Everlyn AI和UCF，提出了LightGen這一新型高效圖像生成模型，致力于在有限的數(shù)據(jù)和計算資源下，快速實現(xiàn)高質(zhì)量圖像的生成，推動自回歸模型在視覺生成領(lǐng)域更高效、更務實地發(fā)展與應用。

圖片

LightGen采用的訓練流程主要包括以下關(guān)鍵步驟：

一、數(shù)據(jù)KD

利用當前SOTA的T2I模型，生成包含豐富語義的高質(zhì)量合成圖像數(shù)據(jù)集。

這一數(shù)據(jù)集的圖像具有較高的視覺多樣性，同時包含由最先進的大型多模態(tài)語言模型（如GPT-4o）生成的豐富多樣的文本標注，從而確保訓練數(shù)據(jù)在文本和圖像兩個維度上的多樣性。

二、DPO后處理

由于合成數(shù)據(jù)在高頻細節(jié)和空間位置捕獲上的不足，作者引入了直接偏好優(yōu)化技術(shù)作為后處理手段，通過微調(diào)模型參數(shù)優(yōu)化生成圖像與參考圖像之間的差異，有效提升圖像細節(jié)和空間關(guān)系的準確性，增強了生成圖像的質(zhì)量與魯棒性。

通過以上方法，LightGen顯著降低了圖像生成模型的訓練成本與計算需求，展現(xiàn)了在資源受限環(huán)境下獲取高效、高質(zhì)量圖像生成模型的潛力。

實驗效果如何？

作者通過實驗對比了LightGen與現(xiàn)有的多種SOTA的T2I生成模型，使用GenEval作為benchmark來驗證LightGen模型和其它開源模型的性能。

結(jié)果表明，LightGen模型在模型參數(shù)和訓練數(shù)量都小于其它模型的的前提下，在256×256和512×512分辨率下的圖像生成任務中的表現(xiàn)均接近或超過現(xiàn)有的SOTA模型。

圖片

LightGen在單物體、雙物體以及顏色合成任務上明顯優(yōu)于擴散模型和自回歸模型，在不使用DPO方法的情況下，分別達到0.49（80k步訓練）和0.53的整體性能分數(shù)。

在更高的512×512分辨率上，LightGen達到了可比肩當前SOTA模型的成績，整體性能分數(shù)達到0.62，幾乎超過所有現(xiàn)有方法。

特別地，加入DPO方法后，模型在位置準確性和高頻細節(jié)方面的表現(xiàn)始終穩(wěn)定提升，這體現(xiàn)了DPO在解決合成數(shù)據(jù)缺陷上的有效性。

除此之外，消融實驗結(jié)果顯示，當數(shù)據(jù)規(guī)模達到約100萬張圖像時，性能提升會遇到瓶頸，進一步增加數(shù)據(jù)規(guī)模帶來的收益很有限。因此，作者最終選擇了200萬張圖像作為最優(yōu)的預訓練數(shù)據(jù)規(guī)模。

圖片

上圖(b)探討了不同訓練迭代次數(shù)對GenEval在256與512分辨率下性能的影響。

值得注意的是，在256像素階段，僅經(jīng)過80k訓練步數(shù)便能達到相當不錯的性能，這突顯了數(shù)據(jù)蒸餾方法在訓練效率上的優(yōu)勢。

團隊表示，未來研究可進一步探索該方法在其他生成任務（如視頻生成）上的應用，推動高效、低資源需求的生成模型進一步發(fā)展。

論文鏈接：https://arxiv.org/abs/2503.08619
模型鏈接：https://huggingface.co/Beckham808/LightGen
項目鏈接：https://github.com/XianfengWu01/LightGen