字節(jié)整活!1.58比特FLUX:手機(jī)也能流暢運(yùn)行的頂尖AI畫(huà)圖神器來(lái)了
自字節(jié)跳動(dòng)和POSTECH的研究團(tuán)隊(duì)發(fā)布了一項(xiàng)名為“1.58-bit FLUX”的突破性研究成果,該成果成功將最先進(jìn)的文本到圖像(T2I)生成模型FLUX.1-dev的權(quán)重參數(shù)量化至1.58比特,同時(shí)保持了生成1024x1024圖像的質(zhì)量,為在資源受限的移動(dòng)設(shè)備上部署大型T2I模型開(kāi)辟了新的道路,這項(xiàng)研究成果已發(fā)布在arXiv上,并配有開(kāi)源代碼庫(kù)(代碼目前還沒(méi)有上傳)
AI畫(huà)圖模型也能“減肥”?
簡(jiǎn)單來(lái)說(shuō),就是把 FLUX(由Stable Diffusion作者團(tuán)隊(duì)成立的黑森林實(shí)驗(yàn)室Black Forest Lab推出) 的超強(qiáng)AI畫(huà)圖模型進(jìn)行了“壓縮”。大家都知道,現(xiàn)在的AI畫(huà)圖模型,像DALLE 3、Stable Diffusion 3、Midjourney等,展現(xiàn)出強(qiáng)大的圖像生成能力,在現(xiàn)實(shí)應(yīng)用中潛力巨大。然而,這些模型動(dòng)輒數(shù)十億的參數(shù)量和高昂的推理內(nèi)存需求,使其難以在手機(jī)等移動(dòng)端設(shè)備上部署
這就好比,你想用手機(jī)拍個(gè)8K超清電影,結(jié)果手機(jī)內(nèi)存直接爆了,這不就尷尬了?
而 FLUX 這個(gè)模型,本來(lái)就已經(jīng)很厲害了,現(xiàn)在又被“壓縮”成了 1.58-bit FLUX,體積直接縮小了 7.7倍!這意味著,以后在手機(jī)上跑這些超強(qiáng)AI畫(huà)圖模型,不再是夢(mèng)!
1.58-bit是啥?聽(tīng)起來(lái)很高端的樣子
研究團(tuán)隊(duì)選擇了開(kāi)源且性能優(yōu)異的FLUX.1-dev模型作為量化目標(biāo),探索了極低比特量化方案。通過(guò)將模型中99.5%的視覺(jué)Transformer參數(shù)量化至1.58比特,即限制參數(shù)值為{-1, 0, +1},并開(kāi)發(fā)了專(zhuān)門(mén)針對(duì)1.58比特運(yùn)算的定制化內(nèi)核,1.58-bit FLUX在模型大小、推理內(nèi)存和推理速度上都取得了顯著的提升
其實(shí),“1.58-bit”可以理解為一種超級(jí)高效的“打包”方式。你可以把AI模型的參數(shù)想象成一個(gè)個(gè)小積木,原本這些積木可能有很多種顏色、很多種形狀。而“1.58-bit”就像是一個(gè)神奇的收納盒,它把這些積木簡(jiǎn)化成了只有三種:“-1”、“0”和“+1”。
這樣一來(lái),原本需要很大空間才能存放的積木,現(xiàn)在用一個(gè)小小的盒子就能裝下,而且這些積木還能拼出和原來(lái)幾乎一樣的圖案!這波操作,是不是很像你平時(shí)用的壓縮軟件?只不過(guò),這是針對(duì)AI模型做的超級(jí)壓縮!
核心技術(shù)及創(chuàng)新
1. 數(shù)據(jù)無(wú)關(guān)的1.58比特量化: 與以往需要圖像數(shù)據(jù)或混合精度方案的量化方法不同,1.58-bit FLUX的量化過(guò)程完全不依賴圖像數(shù)據(jù),僅通過(guò)對(duì)FLUX.1-dev模型進(jìn)行自監(jiān)督即可完成。這大大簡(jiǎn)化了量化流程,使其更具普適性
2. 定制化1.58比特運(yùn)算內(nèi)核: 為了進(jìn)一步提升推理效率,研究團(tuán)隊(duì)開(kāi)發(fā)了針對(duì)1.58比特運(yùn)算優(yōu)化的內(nèi)核。該內(nèi)核顯著降低了推理時(shí)的內(nèi)存占用,并提升了推理速度
實(shí)驗(yàn)結(jié)果及分析
實(shí)驗(yàn)結(jié)果表明,1.58-bit FLUX實(shí)現(xiàn)了以下顯著提升:
? 模型存儲(chǔ)減少7.7倍: 由于權(quán)重被量化為2比特有符號(hào)整數(shù),模型存儲(chǔ)空間大幅下降
? 推理內(nèi)存減少5.1倍: 在各種GPU類(lèi)型上,推理內(nèi)存使用量均有顯著降低,在A10-24G等資源受限的設(shè)備上尤為明顯
? 推理速度提升: 特別是在L20和A10等性能較低的GPU上,推理速度提升高達(dá)13.2%
“壓縮”過(guò)的模型,畫(huà)質(zhì)會(huì)打折嗎?
這可能是大家最關(guān)心的問(wèn)題了。畢竟,如果畫(huà)質(zhì)變差了,那“瘦身”還有啥意義呢?
放心,研究團(tuán)隊(duì)早就想到了這一點(diǎn)!他們?cè)?GenEval 和 T2I Compbench 這兩個(gè)超權(quán)威的測(cè)試平臺(tái)上,對(duì)“壓縮”前后的模型進(jìn)行了嚴(yán)格的對(duì)比測(cè)試。結(jié)果表明,1.58-bit FLUX 的畫(huà)質(zhì),和原來(lái)幾乎一模一樣!
論文里還放出了大量的對(duì)比圖,比如“一只在圖書(shū)館里行走的海水貓”、“一條在城市上空盤(pán)旋的火龍”等等,這些天馬行空的畫(huà)面,1.58-bit FLUX 都能輕松駕馭,細(xì)節(jié)滿滿,效果驚艷!
這黑科技,到底有什么用?
這項(xiàng)技術(shù),最大的意義在于,它讓我們看到了 在手機(jī)上運(yùn)行大型AI畫(huà)圖模型的可能性! 以前,我們只能在電腦上,甚至是用專(zhuān)業(yè)的服務(wù)器才能體驗(yàn)到AI畫(huà)圖的樂(lè)趣。現(xiàn)在,隨著 1.58-bit FLUX 的出現(xiàn),未來(lái)我們也許只需要一部手機(jī),就能隨時(shí)隨地進(jìn)行AI創(chuàng)作!