8x7B MoE與Flash Attention 2結(jié)合,不到10行代碼實現(xiàn)快速推理
前段時間,Mistral AI 公布的 Mixtral 8x7B 模型爆火整個開源社區(qū),其架構(gòu)與 GPT-4 非常相似,很多人將其形容為 GPT-4 的「縮小版」。
我們都知道,OpenAI 團隊一直對 GPT-4 的參數(shù)量和訓(xùn)練細節(jié)守口如瓶。Mistral 8x7B 的放出,無疑給廣大開發(fā)者提供了一種「非常接近 GPT-4」的開源選項。
在基準測試中,Mistral 8x7B 的表現(xiàn)優(yōu)于 Llama 2 70B,在大多數(shù)標準基準測試上與 GPT-3.5 不相上下,甚至略勝一籌。
圖源:https://mistral.ai/news/mixtral-of-experts/
隨著這項研究的出現(xiàn),很多人表示:「閉源大模型已經(jīng)走到了結(jié)局?!?/span>
短短幾周的時間,機器學(xué)習(xí)愛好者 Vaibhav (VB) Srivastav 表示:隨著 AutoAWQ(支持 Mixtral、LLaVa 等模型的量化)最新版本的發(fā)布,現(xiàn)在用戶可以將 Mixtral 8x7B Instruct 與 Flash Attention 2 結(jié)合使用,達到快速推理的目的,實現(xiàn)這一功能大約只需 24GB GPU VRAM、不到十行代碼。
圖源:https://twitter.com/reach_vb/status/1741175347821883502
AutoAWQ 地址:https://github.com/casper-hansen/AutoAWQ
操作過程是這樣的:
首先是安裝 AutoAWQ 以及 transformers:
pip install autoawq git+https://github. com/huggingface/transformers.git
第二步是初始化 tokenizer 和模型:
第三步是初始化 TextStreamer:
第四步對輸入進行 Token 化:
第五步生成:
當你配置好項目后,就可以與 Mixtral 進行對話,例如對于用戶要求「如何做出最好的美式咖啡?通過簡單的步驟完成」,Mixtral 會按照 1、2、3 等步驟進行回答。
項目中使用的代碼:
Srivastav 表示上述實現(xiàn)也意味著用戶可以使用 AWQ 運行所有的 Mixtral 微調(diào),并使用 Flash Attention 2 來提升它們。
看到這項研究后,網(wǎng)友不禁表示:真的很酷。
更多相關(guān)鏈接,請參考:
模型地址:https://huggingface.co/models?search=mixtral%20awq
Transformer 中量化技術(shù):https://huggingface.co/docs/transformers/main/en/quantization