“Transformer的挑戰(zhàn)者”Mamba，用MacBook也能跑了！

有大佬在GitHub上共享了一份筆記，讓人們可以用最簡單的方式運行Mamba。

這份共享中，算上說明書一共只有三個文件，而且發(fā)布不到一天，就斬獲了500+星標(biāo)。

圖片

Mamba是一種新的大模型架構(gòu)，在語言任務(wù)上的表現(xiàn)可以與兩倍規(guī)模的Transformer一決雌雄。

但官方給出的只有模型文件，需要一定專業(yè)知識才能部署使用，而且要Linux+N卡才能運行。

圖片

有了這份筆記，Mamba的運行步驟大大簡化，而且也不再要求N卡，M系列的MacBook也能跑了。

從事相關(guān)專業(yè)的網(wǎng)友看了表示，這種簡單化的模型實在是太棒了，希望自己的工作也能朝著這個方向進展。

圖片

原版Mamba的作者Tri Dao和Albert Gu也轉(zhuǎn)發(fā)了這份筆記，并對它的簡潔性和易讀性給予了肯定。

圖片

那么，這份筆記該如何使用呢？

兩個文件即可運行

首先，打開一個能運行PyTorch筆記的工具，比如Jupyter、VSCode，或者在線的谷歌Colab等。

然后下載作者的筆記和Python腳本，用Colab的話也可以使用GitHub導(dǎo)入功能。

如果在本地運行，需要把兩個文件放到同一個目錄；如果用Colab，則需要在連接成功后把model.py上傳。

如果不上傳，會出現(xiàn)“找不到‘model’”的報錯

之后是安裝所需的依賴環(huán)境，Colab需要手動安裝的是einops，其他工具可以根據(jù)報錯信息判斷缺少的依賴。

!pip install 需要安裝的依賴名稱

圖片

解決好依賴問題后，就可以點擊筆記第一組中的運行按鈕了，這里可以對模型規(guī)模進行選擇，默認370M。

圖片

接下來是初始化，直接點擊運行按鈕即可。

這里也可以對輸出token的數(shù)量進行調(diào)節(jié)，默認是50。

圖片

接著，筆記中給出了一些實例，我們也可以修改單引號之間的prompt內(nèi)容（換行用\n表示），然后點擊運行。

不過需要注意的是，這里的prompt和我們平時用ChatGPT等bot型應(yīng)用的方式有所區(qū)別。

圖片

這里可以借用一下Hugging Face中Llama 2的系統(tǒng)提示詞：

Below are a series of dialogues between various people and an AI assistant. The AI tries to be helpful, polite, honest, sophisticated, emotionally aware, and humble-but-knowledgeable. The assistant is happy to help with almost anything, and will do its best to understand exactly what is needed. It also tries to avoid giving false or misleading information, and it caveats when it isn’t entirely sure about the right answer. That said, the assistant is practical and really does its best, and doesn’t let caution get too much in the way of being useful.User: 想問的問題Assistant:

圖片

性能上，在默認的規(guī)模和輸出長度（370M，50token）下，輸入Once Upon a time，在純CPU版Colab中需用時約1分鐘，在TPU上的用時則約為30秒，內(nèi)存消耗在3到4GB之間。

圖片

在M1芯片的Mac上，以相同設(shè)置處理同樣的內(nèi)容，則需花費1分半左右。

圖片

不過作者也解釋道，出于易讀性的考慮，去掉了原版Mamba中的一些加速指令。

圖片

參考鏈接：https://news.ycombinator.com/item?id=38708730