ChatGPT、Midjourney的火爆，讓其背后技術(shù)擴(kuò)散模型成為「生成式AI」革命的基礎(chǔ)。

甚至，還受到業(yè)內(nèi)研究者極力追捧，其風(fēng)頭遠(yuǎn)遠(yuǎn)蓋過(guò)曾經(jīng)逆襲天下的GAN。

就在擴(kuò)散模型最能打的時(shí)候，竟有網(wǎng)友突然高調(diào)宣布：

Diffusion models時(shí)代終結(jié)！Consistency models加冕為王！

這究竟是怎么回事？？？

原來(lái)，OpenAI曾在3月發(fā)布了一篇重磅、且含金量十足的論文「Consistency Models」，并在今天在GitHub上公開(kāi)了模型權(quán)重。

論文地址：https://arxiv.org/abs/2303.01469

項(xiàng)目地址：https://github.com/openai/consistency_models

「一致性模型」在訓(xùn)練速度上顛覆了擴(kuò)散模型，能夠『一步生成』，比擴(kuò)散模型更快一個(gè)數(shù)量級(jí)完成簡(jiǎn)單任務(wù)，而且用到的計(jì)算量還要少10-2000倍。

那么，這到底有多快呢？

有網(wǎng)友表示，相當(dāng)于在大約3.5秒內(nèi)生成64張分辨率為256x256的圖像，也就是每秒18張！

而且，最新模型最主要優(yōu)勢(shì)之一，就是不需要「對(duì)抗訓(xùn)練」就能實(shí)現(xiàn)高質(zhì)量樣本。

這篇研究由圖靈三巨頭之一Hinton學(xué)生，AlexNet的主要推動(dòng)者Ilya Sutskever親筆撰寫(xiě)，還有研發(fā)DALL-E 2的華人學(xué)者M(jìn)ark Chen、Prafulla Dhariwal，研究?jī)?nèi)容有多硬核可想而知。

甚至還有網(wǎng)友稱，「一致性模型」才是未來(lái)的研究方向，相信我們未來(lái)一定會(huì)嘲笑擴(kuò)散模型。

所以，擴(kuò)散模型也要不存在了？

更快，更強(qiáng)，無(wú)需對(duì)抗

目前，這篇論文還是未定稿版本，研究還在繼續(xù)中。

2021年，OpenAI首席執(zhí)行官Sam Altman曾撰寫(xiě)了一篇博客，討論摩爾定律應(yīng)該如何應(yīng)用于所有領(lǐng)域。

Altman前段時(shí)間又在推特上公開(kāi)談到了人工智能正在實(shí)現(xiàn)「蛙跳」。他表示，「新版摩爾定律可能很快就會(huì)出現(xiàn)，宇宙中的智能數(shù)量每18個(gè)月翻一番?！?/span>

對(duì)于其他人來(lái)說(shuō)，Altman的樂(lè)觀可能看起來(lái)毫無(wú)根據(jù)。

但OpenAI的首席科學(xué)家Ilya Sutskever帶領(lǐng)團(tuán)隊(duì)做出的最新研究，恰恰為Altman的主張?zhí)峁┝藦?qiáng)有力的支撐。

都說(shuō)2022年是AIGC元年，是因?yàn)樵S多模型的泉涌背后都是基于擴(kuò)散模型。

擴(kuò)散模型的大紅大紫逐漸取代了GAN，并成為當(dāng)前業(yè)界最有效的圖像生成模型，就比如DALL.E 2、谷歌Imagen都是擴(kuò)散模型。

然而，最新提出的「一致性模型」已被證明可以在更短的時(shí)間內(nèi)，輸出與擴(kuò)散模型相同質(zhì)量的內(nèi)容。

這是因?yàn)?，這種「一致性模型」采用了類似GAN的單步生成的過(guò)程。

相比之下，擴(kuò)散模型采用了一種反復(fù)采樣的過(guò)程，逐步消除圖像中的噪聲。

這種方法雖然讓人印象深刻，但需要依賴執(zhí)行一百到數(shù)千步的步驟才能取得良好的結(jié)果，不僅操作成本高，而且速度慢。

擴(kuò)散模型的持續(xù)迭代生成過(guò)程，比「一致性模型」消耗的計(jì)算量要多10-2000倍，甚至減慢了訓(xùn)練過(guò)程中的推理速度。

「一致性模型」強(qiáng)大之處在于，必要時(shí)能夠在樣本質(zhì)量和計(jì)算資源兩者間進(jìn)行權(quán)衡。

此外，這個(gè)模型還能夠執(zhí)行零樣本的數(shù)據(jù)編輯任務(wù)，比如圖像修補(bǔ)，著色或筆觸引導(dǎo)的圖像編輯。

使用在LSUN Bedroom 256^256上通過(guò)蒸餾訓(xùn)練的一致性模型進(jìn)行零樣本圖像編輯

「一致性模型」還能在使用數(shù)學(xué)方程時(shí)將數(shù)據(jù)轉(zhuǎn)換成噪聲，并確保結(jié)果輸出對(duì)于相似數(shù)據(jù)點(diǎn)是一致的，從而實(shí)現(xiàn)它們之間的平滑過(guò)渡。

這類方程稱為「概率流常微分方程」（Probability Flow ODE）。

這項(xiàng)研究將這類模型命名為「一致性」，因?yàn)樗鼈冊(cè)谳斎霐?shù)據(jù)和輸出數(shù)據(jù)之間保持了這種自洽性。

這些模型既可以在蒸餾模式（distillation mode）下訓(xùn)練，也可以在分離模式（isolation mode）下訓(xùn)練。

在蒸餾模式中，模型能夠從預(yù)訓(xùn)練的擴(kuò)散模型中提取數(shù)據(jù)，使其能夠在單個(gè)步驟中執(zhí)行。

在分離模式下，模型完全不依賴于擴(kuò)散模型，從而使其成為一種完全獨(dú)立的模型。

值得注意的是，這兩種訓(xùn)練方法都將「對(duì)抗訓(xùn)練」從中刪除。

不得不承認(rèn)，對(duì)抗訓(xùn)練確實(shí)會(huì)產(chǎn)生更強(qiáng)大的神經(jīng)網(wǎng)絡(luò)，但其過(guò)程是較為迂回。即它引入一組被錯(cuò)誤分類的對(duì)抗性樣本，然后用正確的標(biāo)簽重新訓(xùn)練目標(biāo)神經(jīng)網(wǎng)絡(luò)。

因此，對(duì)抗訓(xùn)練這種方式也會(huì)導(dǎo)致深度學(xué)習(xí)模型預(yù)測(cè)的準(zhǔn)確性略有下降，甚至它可能在機(jī)器人應(yīng)用中帶來(lái)意想不到的副作用。

實(shí)驗(yàn)結(jié)果表明，用于訓(xùn)練「一致性模型」的蒸餾技術(shù)優(yōu)于用于擴(kuò)散模型的。

「一致性模型」在 CIFAR10圖像集和 ImageNet 64x64數(shù)據(jù)集上，分別獲得了3.55和6.20的最新最先進(jìn)的FID分?jǐn)?shù)。

這簡(jiǎn)直就是實(shí)現(xiàn)了，擴(kuò)散模型的質(zhì)量 + GAN的速度，雙重完美。

2月份，Sutskever曾發(fā)布了一條推文暗示，

許多人認(rèn)為偉大的AI進(jìn)步必須包含一個(gè)新的「想法」。但事實(shí)并非如此：許多AI的最偉大進(jìn)步都是以這樣的形式出現(xiàn)的，嗯，原來(lái)這個(gè)熟悉的不起眼的想法，如果做得好，會(huì)變得令人難以置信。

最新研究正好證明了這一點(diǎn)，基于舊概念的微調(diào)可以改變一切。

作者介紹

作為OpenAI的聯(lián)合創(chuàng)始人兼首席科學(xué)家，Ilya Sutskever無(wú)須贅述，看看這張「頂級(jí)扛把子」大合照就夠了。

（圖片最右）

Yang Song（宋飏）

論文一作宋飏，是OpenAI的研究科學(xué)家。

此前，他在清華大學(xué)獲得數(shù)學(xué)和物理學(xué)學(xué)士學(xué)位，并在斯坦福大學(xué)獲得了計(jì)算機(jī)科學(xué)碩士和博士學(xué)位。此外，他還在谷歌大腦、Uber ATG和微軟研究院做過(guò)實(shí)習(xí)。

作為一名機(jī)器學(xué)習(xí)的研究人員，他專注于開(kāi)發(fā)可擴(kuò)展的方法來(lái)建模、分析和生成復(fù)雜的高維數(shù)據(jù)。他的興趣橫跨多個(gè)領(lǐng)域，包括生成建模、表征學(xué)習(xí)、概率推理、人工智能安全和AI for science。

Mark Chen

Mark Chen是OpenAI多模態(tài)和前沿研究部門的負(fù)責(zé)人，同時(shí)也是美國(guó)計(jì)算機(jī)奧林匹克隊(duì)的教練。

此前，他在麻省理工學(xué)院獲得了數(shù)學(xué)與計(jì)算機(jī)科學(xué)學(xué)士學(xué)位，并曾在幾家自營(yíng)交易公司（包括Jane Street Capital）擔(dān)任量化交易員。

加入OpenAI后，他帶領(lǐng)團(tuán)隊(duì)開(kāi)發(fā)了DALL-E 2，并將視覺(jué)引入到GPT-4中。此外，他還領(lǐng)導(dǎo)了Codex的開(kāi)發(fā)，參與了GPT-3項(xiàng)目，并創(chuàng)建了Image GPT。

Prafulla Dhariwal

Prafulla Dhariwal是OpenAI的一名研究科學(xué)家，從事生成模型和無(wú)監(jiān)督學(xué)習(xí)。在此之前，他是麻省理工學(xué)院的一名本科生，學(xué)習(xí)計(jì)算機(jī)、數(shù)學(xué)和物理學(xué)。

有趣的是，擴(kuò)散模型可以在圖像生成領(lǐng)域吊打GAN，正是他在2021年的NeurIPS論文中提出的。

網(wǎng)友：終于做了回Open AI

OpenAI今天開(kāi)放了一致性模型源代碼。

終于做回了Open AI。

面對(duì)每天太多瘋狂突破和宣布。網(wǎng)友發(fā)問(wèn)：我們是稍作休息，還是加速前進(jìn)？

與擴(kuò)散模型相比，這將大大節(jié)約研究人員訓(xùn)練模型的節(jié)約成本。

還有網(wǎng)友給出了「一致性模型」的未來(lái)用例：實(shí)時(shí)編輯、NeRF渲染、實(shí)時(shí)游戲渲染。

目前倒是沒(méi)有demo演示，但值得確定的能夠?qū)崿F(xiàn)圖像生成的速度大幅提升總是贏家。

我們直接從撥號(hào)升級(jí)到寬帶了。

腦機(jī)接口，外加幾乎實(shí)時(shí)生成的超逼真圖像。