自字節(jié)跳動(dòng)和POSTECH的研究團(tuán)隊(duì)發(fā)布了一項(xiàng)名為“1.58-bit FLUX”的突破性研究成果，該成果成功將最先進(jìn)的文本到圖像（T2I）生成模型FLUX.1-dev的權(quán)重參數(shù)量化至1.58比特，同時(shí)保持了生成1024x1024圖像的質(zhì)量，為在資源受限的移動(dòng)設(shè)備上部署大型T2I模型開(kāi)辟了新的道路，這項(xiàng)研究成果已發(fā)布在arXiv上，并配有開(kāi)源代碼庫(kù)（代碼目前還沒(méi)有上傳）

AI畫(huà)圖模型也能“減肥”？

簡(jiǎn)單來(lái)說(shuō)，就是把 FLUX(由Stable Diffusion作者團(tuán)隊(duì)成立的黑森林實(shí)驗(yàn)室Black Forest Lab推出) 的超強(qiáng)AI畫(huà)圖模型進(jìn)行了“壓縮”。大家都知道，現(xiàn)在的AI畫(huà)圖模型，像DALLE 3、Stable Diffusion 3、Midjourney等，展現(xiàn)出強(qiáng)大的圖像生成能力，在現(xiàn)實(shí)應(yīng)用中潛力巨大。然而，這些模型動(dòng)輒數(shù)十億的參數(shù)量和高昂的推理內(nèi)存需求，使其難以在手機(jī)等移動(dòng)端設(shè)備上部署

這就好比，你想用手機(jī)拍個(gè)8K超清電影，結(jié)果手機(jī)內(nèi)存直接爆了，這不就尷尬了？

而 FLUX 這個(gè)模型，本來(lái)就已經(jīng)很厲害了，現(xiàn)在又被“壓縮”成了 1.58-bit FLUX，體積直接縮小了 7.7倍！這意味著，以后在手機(jī)上跑這些超強(qiáng)AI畫(huà)圖模型，不再是夢(mèng)！

1.58-bit是啥？聽(tīng)起來(lái)很高端的樣子

研究團(tuán)隊(duì)選擇了開(kāi)源且性能優(yōu)異的FLUX.1-dev模型作為量化目標(biāo)，探索了極低比特量化方案。通過(guò)將模型中99.5%的視覺(jué)Transformer參數(shù)量化至1.58比特，即限制參數(shù)值為{-1, 0, +1}，并開(kāi)發(fā)了專(zhuān)門(mén)針對(duì)1.58比特運(yùn)算的定制化內(nèi)核，1.58-bit FLUX在模型大小、推理內(nèi)存和推理速度上都取得了顯著的提升

其實(shí)，“1.58-bit”可以理解為一種超級(jí)高效的“打包”方式。你可以把AI模型的參數(shù)想象成一個(gè)個(gè)小積木，原本這些積木可能有很多種顏色、很多種形狀。而“1.58-bit”就像是一個(gè)神奇的收納盒，它把這些積木簡(jiǎn)化成了只有三種：“-1”、“0”和“+1”。

這樣一來(lái)，原本需要很大空間才能存放的積木，現(xiàn)在用一個(gè)小小的盒子就能裝下，而且這些積木還能拼出和原來(lái)幾乎一樣的圖案！這波操作，是不是很像你平時(shí)用的壓縮軟件？只不過(guò)，這是針對(duì)AI模型做的超級(jí)壓縮！

核心技術(shù)及創(chuàng)新

1. 數(shù)據(jù)無(wú)關(guān)的1.58比特量化: 與以往需要圖像數(shù)據(jù)或混合精度方案的量化方法不同，1.58-bit FLUX的量化過(guò)程完全不依賴圖像數(shù)據(jù)，僅通過(guò)對(duì)FLUX.1-dev模型進(jìn)行自監(jiān)督即可完成。這大大簡(jiǎn)化了量化流程，使其更具普適性

2. 定制化1.58比特運(yùn)算內(nèi)核: 為了進(jìn)一步提升推理效率，研究團(tuán)隊(duì)開(kāi)發(fā)了針對(duì)1.58比特運(yùn)算優(yōu)化的內(nèi)核。該內(nèi)核顯著降低了推理時(shí)的內(nèi)存占用，并提升了推理速度

實(shí)驗(yàn)結(jié)果及分析

實(shí)驗(yàn)結(jié)果表明，1.58-bit FLUX實(shí)現(xiàn)了以下顯著提升：

? 模型存儲(chǔ)減少7.7倍: 由于權(quán)重被量化為2比特有符號(hào)整數(shù)，模型存儲(chǔ)空間大幅下降

? 推理內(nèi)存減少5.1倍: 在各種GPU類(lèi)型上，推理內(nèi)存使用量均有顯著降低，在A10-24G等資源受限的設(shè)備上尤為明顯

? 推理速度提升: 特別是在L20和A10等性能較低的GPU上，推理速度提升高達(dá)13.2%

“壓縮”過(guò)的模型，畫(huà)質(zhì)會(huì)打折嗎？

這可能是大家最關(guān)心的問(wèn)題了。畢竟，如果畫(huà)質(zhì)變差了，那“瘦身”還有啥意義呢？

放心，研究團(tuán)隊(duì)早就想到了這一點(diǎn)！他們?cè)?GenEval 和 T2I Compbench 這兩個(gè)超權(quán)威的測(cè)試平臺(tái)上，對(duì)“壓縮”前后的模型進(jìn)行了嚴(yán)格的對(duì)比測(cè)試。結(jié)果表明，1.58-bit FLUX 的畫(huà)質(zhì)，和原來(lái)幾乎一模一樣！

論文里還放出了大量的對(duì)比圖，比如“一只在圖書(shū)館里行走的海水貓”、“一條在城市上空盤(pán)旋的火龍”等等，這些天馬行空的畫(huà)面，1.58-bit FLUX 都能輕松駕馭，細(xì)節(jié)滿滿，效果驚艷！

這黑科技，到底有什么用？

這項(xiàng)技術(shù)，最大的意義在于，它讓我們看到了 在手機(jī)上運(yùn)行大型AI畫(huà)圖模型的可能性！ 以前，我們只能在電腦上，甚至是用專(zhuān)業(yè)的服務(wù)器才能體驗(yàn)到AI畫(huà)圖的樂(lè)趣。現(xiàn)在，隨著 1.58-bit FLUX 的出現(xiàn)，未來(lái)我們也許只需要一部手機(jī)，就能隨時(shí)隨地進(jìn)行AI創(chuàng)作！