自字節(jié)跳動和POSTECH的研究團隊發(fā)布了一項名為“1.58-bit FLUX”的突破性研究成果，該成果成功將最先進的文本到圖像（T2I）生成模型FLUX.1-dev的權重參數(shù)量化至1.58比特，同時保持了生成1024x1024圖像的質量，為在資源受限的移動設備上部署大型T2I模型開辟了新的道路，這項研究成果已發(fā)布在arXiv上，并配有開源代碼庫（代碼目前還沒有上傳）

AI畫圖模型也能“減肥”？

簡單來說，就是把 FLUX(由Stable Diffusion作者團隊成立的黑森林實驗室Black Forest Lab推出) 的超強AI畫圖模型進行了“壓縮”。大家都知道，現(xiàn)在的AI畫圖模型，像DALLE 3、Stable Diffusion 3、Midjourney等，展現(xiàn)出強大的圖像生成能力，在現(xiàn)實應用中潛力巨大。然而，這些模型動輒數(shù)十億的參數(shù)量和高昂的推理內存需求，使其難以在手機等移動端設備上部署

這就好比，你想用手機拍個8K超清電影，結果手機內存直接爆了，這不就尷尬了？

而 FLUX 這個模型，本來就已經(jīng)很厲害了，現(xiàn)在又被“壓縮”成了 1.58-bit FLUX，體積直接縮小了 7.7倍！這意味著，以后在手機上跑這些超強AI畫圖模型，不再是夢！

1.58-bit是啥？聽起來很高端的樣子

研究團隊選擇了開源且性能優(yōu)異的FLUX.1-dev模型作為量化目標，探索了極低比特量化方案。通過將模型中99.5%的視覺Transformer參數(shù)量化至1.58比特，即限制參數(shù)值為{-1, 0, +1}，并開發(fā)了專門針對1.58比特運算的定制化內核，1.58-bit FLUX在模型大小、推理內存和推理速度上都取得了顯著的提升

其實，“1.58-bit”可以理解為一種超級高效的“打包”方式。你可以把AI模型的參數(shù)想象成一個個小積木，原本這些積木可能有很多種顏色、很多種形狀。而“1.58-bit”就像是一個神奇的收納盒，它把這些積木簡化成了只有三種：“-1”、“0”和“+1”。

這樣一來，原本需要很大空間才能存放的積木，現(xiàn)在用一個小小的盒子就能裝下，而且這些積木還能拼出和原來幾乎一樣的圖案！這波操作，是不是很像你平時用的壓縮軟件？只不過，這是針對AI模型做的超級壓縮！

核心技術及創(chuàng)新

1. 數(shù)據(jù)無關的1.58比特量化: 與以往需要圖像數(shù)據(jù)或混合精度方案的量化方法不同，1.58-bit FLUX的量化過程完全不依賴圖像數(shù)據(jù)，僅通過對FLUX.1-dev模型進行自監(jiān)督即可完成。這大大簡化了量化流程，使其更具普適性

2. 定制化1.58比特運算內核: 為了進一步提升推理效率，研究團隊開發(fā)了針對1.58比特運算優(yōu)化的內核。該內核顯著降低了推理時的內存占用，并提升了推理速度

實驗結果及分析

實驗結果表明，1.58-bit FLUX實現(xiàn)了以下顯著提升：

? 模型存儲減少7.7倍: 由于權重被量化為2比特有符號整數(shù)，模型存儲空間大幅下降

? 推理內存減少5.1倍: 在各種GPU類型上，推理內存使用量均有顯著降低，在A10-24G等資源受限的設備上尤為明顯

? 推理速度提升: 特別是在L20和A10等性能較低的GPU上，推理速度提升高達13.2%

“壓縮”過的模型，畫質會打折嗎？

這可能是大家最關心的問題了。畢竟，如果畫質變差了，那“瘦身”還有啥意義呢？

放心，研究團隊早就想到了這一點！他們在 GenEval 和 T2I Compbench 這兩個超權威的測試平臺上，對“壓縮”前后的模型進行了嚴格的對比測試。結果表明，1.58-bit FLUX 的畫質，和原來幾乎一模一樣！

論文里還放出了大量的對比圖，比如“一只在圖書館里行走的海水貓”、“一條在城市上空盤旋的火龍”等等，這些天馬行空的畫面，1.58-bit FLUX 都能輕松駕馭，細節(jié)滿滿，效果驚艷！

這黑科技，到底有什么用？

這項技術，最大的意義在于，它讓我們看到了 在手機上運行大型AI畫圖模型的可能性！ 以前，我們只能在電腦上，甚至是用專業(yè)的服務器才能體驗到AI畫圖的樂趣?，F(xiàn)在，隨著 1.58-bit FLUX 的出現(xiàn)，未來我們也許只需要一部手機，就能隨時隨地進行AI創(chuàng)作！