自從 OpenAI 發(fā)布 ChatGPT 后，最近幾個月聊天機(jī)器人熱度不減。

雖然 ChatGPT 功能強(qiáng)大，但 OpenAI 幾乎不可能將其開源。不少人都在做開源方面的努力，比如前段時間 Meta 開源的 LLaMA。其是一系列模型的總稱，參數(shù)量從 70 億到 650 億不等，其中，130 億參數(shù)的 LLaMA 模型「在大多數(shù)基準(zhǔn)上」可以勝過參數(shù)量達(dá) 1750 億的 GPT-3。

LLaMA 的開源可是利好眾多研究者，比如斯坦福在 LLaMA 的基礎(chǔ)上加入指令微調(diào)（instruct tuning），訓(xùn)練了一個名為 Alpaca（羊駝）的 70 億參數(shù)新模型（基于 LLaMA 7B）。結(jié)果顯示，只有 7B 參數(shù)的輕量級模型 Alpaca 性能可媲美 GPT-3.5 這樣的超大規(guī)模語言模型。

又比如，我們接下來要介紹的這個模型 GPT4All，也是一種基于 LLaMA 的新型 7B 語言模型。項目上線兩天，Star 量已經(jīng)突破 7.8k。

項目地址：https://github.com/nomic-ai/gpt4all

簡單來講，GPT4All 在 GPT-3.5-Turbo 的 800k 條數(shù)據(jù)上進(jìn)行訓(xùn)練，包括文字問題、故事描述、多輪對話和代碼。

根據(jù)項目顯示，M1 Mac、Windows 等環(huán)境都能運(yùn)行。

我們先來看看效果。如下圖所示，用戶可以和 GPT4All 進(jìn)行無障礙交流，比如詢問該模型：「我可以在筆記本上運(yùn)行大型語言模型嗎？」GPT4All 回答是：「是的，你可以使用筆記本來訓(xùn)練和測試神經(jīng)網(wǎng)絡(luò)或其他自然語言（如英語或中文）的機(jī)器學(xué)習(xí)模型。重要的是，你需要足夠可用的內(nèi)存 （RAM） 來適應(yīng)這些模型的大小……」

接下來，如果你不清楚到底需要多少內(nèi)存，你還可以繼續(xù)詢問 GPT4All，然后它給出回答。從結(jié)果來看，GPT4All 進(jìn)行多輪對話的能力還是很強(qiáng)的。 

在 M1 Mac 上的實時采樣

有人將這項研究稱為「改變游戲規(guī)則，有了 GPT4All 的加持，現(xiàn)在在 MacBook 上本地就能運(yùn)行 GPT?！?/span>

與 GPT-4 相似的是，GPT4All 也提供了一份「技術(shù)報告」。

技術(shù)報告地址：https://s3.amazonaws.com/static.nomic.ai/gpt4all/2023_GPT4All_Technical_Report.pdf

這份初步的技術(shù)報告簡要描述了 GPT4All 的搭建細(xì)節(jié)。研究者公開了收集的數(shù)據(jù)、數(shù)據(jù)整理程序、訓(xùn)練代碼和最終的模型權(quán)重，以促進(jìn)開放研究和可重復(fù)性，此外還發(fā)布了模型的量化 4 位（quantized 4-bit）版本，這意味著幾乎任何人都可以在 CPU 上運(yùn)行該模型。

接下來，讓我們看看這份報告中寫了什么。

GPT4All 技術(shù)報告

1、數(shù)據(jù)收集和整理

在 2023 年 3 月 20 日至 2023 年 3 月 26 日期間，研究者使用 GPT-3.5-Turbo OpenAI API 收集了大約 100 萬對 prompt 回答。

首先，研究者通過利用三個公開可用的數(shù)據(jù)集來收集不同的問題 /prompt 樣本：

• LAION OIG 的統(tǒng)一 chip2 子集
• Stackoverflow Questions 的一個隨機(jī)子樣本集 Coding questions
• Bigscience/P3 子樣本集進(jìn)行指令調(diào)優(yōu)

參考斯坦福大學(xué) Alpaca 項目 (Taori et al., 2023)，研究者對數(shù)據(jù)準(zhǔn)備和整理給予了大量關(guān)注。在收集了最初的 prompt 生成對的數(shù)據(jù)集后，他們將數(shù)據(jù)加載到 Atlas 進(jìn)行整理和清理，刪除了所有 GPT-3.5-Turbo 未能響應(yīng) prompt 并產(chǎn)生畸形輸出的樣本。這使得樣本總數(shù)減少到 806199 個高質(zhì)量的 prompt - 生成對。接下來，研究者從最終的訓(xùn)練數(shù)據(jù)集中刪除了整個 Bigscience/P3 子集，因為它的輸出多樣性非常低。P3 包含許多同質(zhì)化的 prompt，這些 prompt 從 GPT-3.5-Turbo 中產(chǎn)生了簡短而同質(zhì)化的反應(yīng)。

這種排除法產(chǎn)生了一個包含 437,605 個 prompt - 生成對的最終子集，如圖 2 所示。

模型訓(xùn)練

研究者在 LLaMA 7B (Touvron et al., 2023) 的一個實例中將幾個模型進(jìn)行微調(diào)。他們最初的公開版本相關(guān)的模型是用 LoRA (Hu et al., 2021) 在 437605 個后處理的例子上以 4 個 epoch 訓(xùn)練的。詳細(xì)的模型超參數(shù)和訓(xùn)練代碼可以在相關(guān)的資源庫和模型訓(xùn)練日志中找到。

可重復(fù)性

研究者發(fā)布了所有的數(shù)據(jù)（包括未使用的 P3 generations）、訓(xùn)練代碼和模型權(quán)重，供社區(qū)進(jìn)行復(fù)現(xiàn)。感興趣的研究者可以在 Git 存儲庫中找到最新的數(shù)據(jù)、訓(xùn)練細(xì)節(jié)和檢查點。

成本

研究者大概用了四天的時間制作這些模型，GPU 成本為 800 美元（從 Lambda 實驗室和 Paperspace 租的，其中包括幾次失敗的訓(xùn)練），此外還有 500 美元的 OpenAI API 費用。

最終發(fā)布的模型 gpt4all-lora 可以在 Lambda 實驗室的 DGX A100 8x 80GB 上用大約 8 小時訓(xùn)練完成，總成本為 100 美元。

這個模型可以在普通筆記本上運(yùn)行，真就像網(wǎng)友說的「除了電費之外，沒有任何成本?！?/span>

評估

研究者使用 SelfInstruct 論文 (Wang et al., 2022) 中的人類評估數(shù)據(jù)對該模型進(jìn)行了初步評估。報告還對比了該模型與已知最好的公開的 alpaca-lora 模型（該模型由 huggingface 的用戶 chainyo 提供）的 ground truth 困惑度。他們發(fā)現(xiàn)，所有的模型在少數(shù)任務(wù)上都有非常大的困惑度，并且報告的困惑度最大為 100。與 Alpaca 相比，在這個收集的數(shù)據(jù)集上進(jìn)行微調(diào)的模型在 Self-Instruct 評估中表現(xiàn)出了更低的困惑度。研究者表示，這個評估不是詳盡的，仍存在進(jìn)一步的評估空間 —— 他們歡迎讀者在本地 CPU 上運(yùn)行該模型（文件見 Github），并對它的能力有一個定性的認(rèn)識。

最后，需要注意的是，作者公布了數(shù)據(jù)和訓(xùn)練細(xì)節(jié)，希望它能加速開放的 LLM 研究，特別是在對齊和可解釋性領(lǐng)域。GPT4All 模型的權(quán)重和數(shù)據(jù)僅用于研究目的，并獲得許可，禁止任何商業(yè)使用。GPT4All 是基于 LLaMA 的，LLaMA 具有非商業(yè)許可。助理數(shù)據(jù)是從 OpenAI 的 GPT-3.5-Turbo 收集的，其使用條款禁止開發(fā)與 OpenAI 進(jìn)行商業(yè)競爭的模型。