偷偷摘套内射激情视频,久久精品99国产国产精,中文字幕无线乱码人妻,中文在线中文a,性爽19p

8x7B MoE與Flash Attention 2結(jié)合,不到10行代碼實現(xiàn)快速推理

人工智能 新聞
在基準測試中,Mistral 8x7B 的表現(xiàn)優(yōu)于 Llama 2 70B,在大多數(shù)標準基準測試上與 GPT-3.5 不相上下,甚至略勝一籌。

前段時間,Mistral AI 公布的 Mixtral 8x7B 模型爆火整個開源社區(qū),其架構(gòu)與 GPT-4 非常相似,很多人將其形容為 GPT-4 的「縮小版」。

我們都知道,OpenAI 團隊一直對 GPT-4 的參數(shù)量和訓(xùn)練細節(jié)守口如瓶。Mistral 8x7B 的放出,無疑給廣大開發(fā)者提供了一種「非常接近 GPT-4」的開源選項。

在基準測試中,Mistral 8x7B 的表現(xiàn)優(yōu)于 Llama 2 70B,在大多數(shù)標準基準測試上與 GPT-3.5 不相上下,甚至略勝一籌。

圖片

圖片

圖源:https://mistral.ai/news/mixtral-of-experts/

隨著這項研究的出現(xiàn),很多人表示:「閉源大模型已經(jīng)走到了結(jié)局?!?/span>

短短幾周的時間,機器學(xué)習(xí)愛好者 Vaibhav (VB) Srivastav 表示:隨著 AutoAWQ(支持 Mixtral、LLaVa 等模型的量化)最新版本的發(fā)布,現(xiàn)在用戶可以將 Mixtral 8x7B Instruct 與 Flash Attention 2 結(jié)合使用,達到快速推理的目的,實現(xiàn)這一功能大約只需 24GB GPU VRAM、不到十行代碼。

圖源:https://twitter.com/reach_vb/status/1741175347821883502

AutoAWQ 地址:https://github.com/casper-hansen/AutoAWQ

操作過程是這樣的:

首先是安裝 AutoAWQ 以及 transformers:

pip install autoawq git+https://github. com/huggingface/transformers.git

第二步是初始化 tokenizer 和模型:

圖片

第三步是初始化 TextStreamer:

圖片

第四步對輸入進行 Token 化:

圖片

第五步生成:

圖片

當你配置好項目后,就可以與 Mixtral 進行對話,例如對于用戶要求「如何做出最好的美式咖啡?通過簡單的步驟完成」,Mixtral 會按照 1、2、3 等步驟進行回答。

圖片

項目中使用的代碼:

圖片

Srivastav 表示上述實現(xiàn)也意味著用戶可以使用 AWQ 運行所有的 Mixtral 微調(diào),并使用 Flash Attention 2 來提升它們。

看到這項研究后,網(wǎng)友不禁表示:真的很酷。

更多相關(guān)鏈接,請參考:

模型地址:https://huggingface.co/models?search=mixtral%20awq

Transformer 中量化技術(shù):https://huggingface.co/docs/transformers/main/en/quantization

責任編輯:張燕妮 來源: 機器之心
相關(guān)推薦

2023-12-11 09:23:00

AI模型

2023-12-11 19:16:25

2024-01-16 12:10:33

模型數(shù)據(jù)

2024-01-10 17:10:53

數(shù)據(jù)訓(xùn)練

2025-03-12 09:35:45

2025-07-03 09:05:40

2024-09-05 14:25:00

訓(xùn)練代碼

2025-04-11 09:10:00

模型開源AI

2023-12-12 13:16:00

模型訓(xùn)練

2024-04-10 13:37:05

2020-07-22 08:30:02

代碼開發(fā)工具

2020-05-26 08:32:56

Python代碼開發(fā)

2024-01-12 17:25:45

MoE模型開源人工智能

2024-07-17 12:13:11

2025-02-17 03:00:00

LLMsMoELLM

2015-07-15 10:19:16

Java代碼使用緩存

2021-02-06 14:27:00

SQL優(yōu)化運維

2011-06-13 09:04:39

QT Flash 交互

2011-10-13 10:39:23

FlashMac OS X木馬
點贊
收藏

51CTO技術(shù)棧公眾號