新一代視覺生成范式「VAR: Visual Auto Regressive」視覺自回歸來了！使 GPT 風(fēng)格的自回歸模型在圖像生成首次超越擴(kuò)散模型，并觀察到與大語言模型相似的 Scaling Laws 縮放定律、Zero-shot Task Generalization 泛化能力：

論文標(biāo)題：Visual Autoregressive Modeling: Scalable Image Generation via Next-Scale Prediction

這項(xiàng)名為 VAR 的新工作由北京大學(xué)和字節(jié)跳動的研究者提出，登上了 GitHub 和 Paperwithcode 熱度榜單，并得到大量同行關(guān)注：

目前體驗(yàn)網(wǎng)站、論文、代碼、模型已放出：

• 體驗(yàn)網(wǎng)站：https://var.vision/
• 論文鏈接：https://arxiv.org/abs/2404.02905
• 開源代碼：https://github.com/FoundationVision/VAR
• 開源模型：https://huggingface.co/FoundationVision/var

背景介紹

在自然語言處理中，以 GPT、LLaMa 系列等大語言模型為例的 Autoregressive 自回歸模型已經(jīng)取得了較大的成功，尤其 Scaling Law 縮放定律和 Zero-shot Task Generalizability 零樣本任務(wù)泛化能力十分亮眼，初步展示出通往「通用人工智能 AGI」的潛力。

然而在圖像生成領(lǐng)域中，自回歸模型卻廣泛落后于擴(kuò)散（Diffusion）模型：近期持續(xù)刷屏的 DALL-E3、Stable Diffusion3、SORA 等模型均屬于 Diffusion 家族。此外，對于視覺生成領(lǐng)域是否存在「Scaling Law 縮放定律」仍未知，即測試集的交叉熵?fù)p失是否能夠隨著模型或訓(xùn)練開銷 而呈現(xiàn)出可預(yù)測的冪律（Power-law）下降趨勢 仍待探索。

GPT形式自回歸模型的強(qiáng)大能力與 Scaling Law，在圖像生成領(lǐng)域，似乎被「鎖」住了：

自回歸模型在生成效果榜單上落后于一眾 Diffusion 模型

劍指「解鎖」自回歸模型的能力和 Scaling Laws，研究團(tuán)隊(duì)從圖像模態(tài)內(nèi)在本質(zhì)出發(fā)，模仿人類處理圖像的邏輯順序，提出一套全新的「視覺自回歸」生成范式：VAR, Visual AutoRegressive Modeling，首次使得GPT風(fēng)格的自回歸視覺生成，在效果、速度、Scaling能力多方面超越 Diffusion，并迎來了視覺生成領(lǐng)域的 Scaling Laws：

VAR方法核心：模仿人類視覺，重新定義圖像自回歸順序

人類在感知圖像或進(jìn)行繪畫時(shí)，往往先概覽全局、再深入細(xì)節(jié)。這種由粗到細(xì)、從把握整體到精調(diào)局部的思想非常自然：

人類感知圖片（左）與創(chuàng)作畫作（右）由粗到細(xì)的邏輯順序

然而，傳統(tǒng)的圖像自回歸（AR）卻使用一種不符合人類直覺（但適合計(jì)算機(jī)處理）的順序，即自上而下、逐行掃描的光柵順序，來逐個(gè)預(yù)測圖像token：

VAR則「以人為本」，模仿人感知或人創(chuàng)造圖像的邏輯順序，使用從整體到細(xì)節(jié)的多尺度順序逐漸生成token map：

除了更自然、更符合人類直覺，VAR帶來的另一個(gè)顯著優(yōu)勢是大幅提高了生成速度：在自回歸的每一步（每一個(gè)尺度內(nèi)部），所有圖像token是一次性并行生成的；跨尺度則是自回歸的。這使得在模型參數(shù)和圖片尺寸相當(dāng)?shù)那闆r下，VAR能比傳統(tǒng)AR快數(shù)十倍。此外，在實(shí)驗(yàn)中作者也觀察到 VAR 相比 AR 展現(xiàn)出更強(qiáng)的性能和 Scaling 能力。

VAR方法細(xì)節(jié)：兩階段訓(xùn)練

VAR 在第一階段訓(xùn)練一個(gè)多尺度量化自動編碼器（Multi-scale VQVAE），在第二階段訓(xùn)練一個(gè)與 GPT-2 結(jié)構(gòu)一致（結(jié)合使用AdaLN）的自回歸 Transformer。

如左圖所示，VQVAE 的訓(xùn)練前傳細(xì)節(jié)如下：

• 離散編碼：編碼器將圖片轉(zhuǎn)化為離散 token map R=(r1, r2, ..., rk)，分辨率從小到大
• 連續(xù)化：r1至rk先通過嵌入層轉(zhuǎn)換為連續(xù) feature map，再統(tǒng)一插值到rk對應(yīng)最大分辨率，并求和
• 連續(xù)解碼：求和后的 feature map 經(jīng)過解碼器得到重建圖片，并通過重建+感知+對抗三個(gè)損失混合訓(xùn)練

如右圖所示，在 VQVAE 訓(xùn)練結(jié)束后，會進(jìn)行第二階段的自回歸 Transformer 訓(xùn)練：

• 自回歸第一步是通過起始 token [S] 預(yù)測最初的 1x1 token map
• 隨后每一步，VAR都基于歷史所有的 token map 去預(yù)測下一個(gè)更大尺度的 token map
• 訓(xùn)練階段，VAR 使用標(biāo)準(zhǔn)的交叉熵?fù)p失監(jiān)督這些 token map 的概率預(yù)測
• 測試階段，采樣得到的 token map 會借助 VQVAE decoder 進(jìn)行連續(xù)化、插值求和、解碼，從而得到最終生成的圖像

作者表示，VAR 的自回歸框架是全新的，而具體技術(shù)方面則吸收了 RQ-VAE 的殘差VAE、StyleGAN與DiT的AdaLN、PGGAN的progressive training等一系列經(jīng)典技術(shù)的長處。VAR 實(shí)際是站在巨人的肩膀上，聚焦于自回歸算法本身的創(chuàng)新。

實(shí)驗(yàn)效果對比

VAR 在 Conditional ImageNet 256x256 和 512x512 上進(jìn)行實(shí)驗(yàn)：

• VAR 大幅提升了 AR 的效果，一轉(zhuǎn) AR 落后于 Diffusion 的局面
• VAR 僅需 10 步自回歸步驟，生成速度大幅超過AR、Diffusion，甚至逼近 GAN 的高效率
• 通過 Scale up VAR 直至 2B/3B，VAR 達(dá)到了 SOTA 水平，展現(xiàn)出一個(gè)全新的、有潛力的生成模型家族。

令人關(guān)注的是，通過與 SORA、Stable Diffusion 3 的基石模型 Diffusion Transformer（DiT）對比，VAR 展現(xiàn)出了：

• 更好效果：經(jīng)過 scale up，VAR最終達(dá)到 FID=1.80，逼近理論上的 FID 下限 1.78（ImageNet validation set），顯著優(yōu)于 DiT最優(yōu)的 2.10
• 更快速度：VAR只需不到0.3秒即可生成一張256圖像，速度是DiT的45倍；在512上更是DiT的81倍
• 更好 Scaling 能力：如左圖所示，DiT 大模型在增長至 3B、7B 后體現(xiàn)出飽和現(xiàn)象，無法更靠近 FID 下限；而 VAR 經(jīng)過縮放到20億參數(shù)，性能不斷提升，最終觸及 FID 下限
• 更高效的數(shù)據(jù)利用：VAR僅需350 epoch訓(xùn)練即超過 DiT 1400 epoch 訓(xùn)練

這些比 DiT 更高效、更高速、更可擴(kuò)放的證據(jù)為新一代視覺生成的基礎(chǔ)架構(gòu)路徑帶來了更多可能性。

Scaling Law 實(shí)驗(yàn)

Scaling law 可謂是大語言模型的「皇冠明珠」。相關(guān)研究已經(jīng)確定，在 Scale up 自回歸大型語言模型過程中，測試集上的交叉熵?fù)p失 L，會隨著模型參數(shù)量 N、訓(xùn)練token個(gè)數(shù) T，以及計(jì)算開銷 Cmin 進(jìn)行可預(yù)測的降低，呈現(xiàn)出冪律（Power-law）關(guān)系。

Scaling law 不僅使根據(jù)小模型預(yù)測大模型性能成為可能，節(jié)省了計(jì)算開銷和資源分配，也體現(xiàn)出自回歸 AR 模型強(qiáng)大的學(xué)習(xí)能力，測試集性能隨著 N、T、Cmin 增長。

通過實(shí)驗(yàn)，研究者觀察到了 VAR 展現(xiàn)出與 LLM 幾乎完全一致的冪律 Scaling Law：研究者訓(xùn)練了 12 種大小的模型，縮放模型參數(shù)量從1800萬到20億，總計(jì)算量橫跨 6 個(gè)數(shù)量級，最大總 token 數(shù)達(dá)到3050億，并觀察到測試集損失 L 或測試集錯(cuò)誤率 與 N 之間、L 與 Cmin 之間展現(xiàn)出平滑的的冪律關(guān)系，并擬合良好：

在 scale-up 模型參數(shù)和計(jì)算量過程中，模型的生成能力可見得到逐步提升（例如下方示波器條紋）：

Zero-shot 實(shí)驗(yàn)

得益于自回歸模型能夠使用 Teacher-forcing 機(jī)制強(qiáng)行指定部分 token 不變的這一優(yōu)良性質(zhì)，VAR 也展現(xiàn)出一定的零樣本任務(wù)泛化能力。在條件生成任務(wù)上訓(xùn)練好的 VAR Transformer，不通過任何微調(diào)即可零樣本泛化到一些生成式任務(wù)中，例如圖像補(bǔ)全（inpainting）、圖像外插（outpainting）、圖像編輯（class-condition editing），并取得一定效果：

結(jié)論

VAR 為如何定義圖像的自回歸順序提供了一個(gè)全新的視角，即由粗到細(xì)、由全局輪廓到局部精調(diào)的順序。在符合直覺的同時(shí)，這樣的自回歸算法帶來了很好的效果：VAR 顯著提升自回歸模型的速度和生成質(zhì)量，在多方面使得自回歸模型首次超越擴(kuò)散模型。同時(shí) VAR 展現(xiàn)出類似 LLM 的 Scaling Laws、Zero-shot Generalizability。作者們希望 VAR 的思想、實(shí)驗(yàn)結(jié)論、開源，能夠貢獻(xiàn)社區(qū)探索自回歸范式在圖像生成領(lǐng)域的使用，并促進(jìn)未來基于自回歸的統(tǒng)一多模態(tài)算法的發(fā)展。