今天我們提到大型語言模型（LLM），第一個想到的就是 OpenAI 的 ChatGPT。一年來，ChatGPT 因其強大的性能，廣泛的應(yīng)用前景而爆火出圈。但談到大型語言模型，ChatGPT 并不是第一個。

一年前，也就是 OpenAI 發(fā)布 ChatGPT 的前兩周，Meta 發(fā)布了一個名為 Galactica 的試用版模型。作為一個大型語言模型，Galactica 是在大量的論文、參考資料、知識庫和許多其他來源的科學(xué)語料庫上進(jìn)行訓(xùn)練的，包括超過 4800 萬篇論文、教科書和講義、數(shù)百萬種化合物和蛋白質(zhì)知識、科學(xué)網(wǎng)站、百科全書等。

彼時，Meta 聲稱 Galactica 能夠總結(jié)學(xué)術(shù)文獻(xiàn)、解決數(shù)學(xué)問題、生成 Wiki 文章、編寫科學(xué)代碼，甚至可以執(zhí)行涉及化學(xué)公式和蛋白質(zhì)序列的多模態(tài)任務(wù)。

然而，上線不到三天，Galactica 就迅速下架了，原因是 Galactica 生成的文本不嚴(yán)謹(jǐn)，不負(fù)責(zé)任地胡編亂造。

當(dāng)時，「幻覺」這個詞還沒有成為機器學(xué)習(xí)領(lǐng)域的主流詞匯，但 Galactica 可以說是因為嚴(yán)重的幻覺問題而被下架。

圖靈獎得主、Meta 首席科學(xué)家 Yann LeCun 為 Galactica 的下架感到非常遺憾，并發(fā)布推文：「再也不能用它來找樂子了。你們都開心了嗎？」顯然，LeCun 認(rèn)為大家對 Galactica 的指責(zé)有些過分。

有趣的是，就在同一周，關(guān)于 GPT-4 即將發(fā)布的傳言不脛而走。11 月 30 日，當(dāng)許多 AI 研究人員正在 NeurIPS 上討論 OpenAI 可能要推出 GPT-4 時，ChatGPT 突然就發(fā)布了。

當(dāng)然， ChatGPT 很快也被發(fā)現(xiàn)有幻覺問題，這與 Galactica 和其他生成式 AI 一樣。ChatGPT 會「滔滔不絕」，自信滿滿，但它的回答又是似是而非的。但值得注意的是，OpenAI 在發(fā)布 ChatGPT 的博客中明確指出了它這一弱點，并解釋稱：「解決這一問題極具挑戰(zhàn)性?！?/span>

接下來的事情大家都看到了，ChatGPT 迅速成為 LLM 「頂流」。在過去的一年里，它已經(jīng)成為有史以來增長最快的服務(wù)之一。推出兩個月后，月活用戶就突破了 1 億，現(xiàn)在每周用戶也有約 1 億。

現(xiàn)在，Galactica 的故事又一次被提起。外媒 VentureBeat 資深撰稿人 Sharon Goldman 發(fā)布了一篇新文章，講述了 Galactica 給 Meta 帶來的經(jīng)驗教訓(xùn)。

文章鏈接：https://venturebeat.com/ai/what-meta-learned-from-galactica-the-doomed-model-launched-two-weeks-before-chatgpt/

關(guān)于 Galactica，Meta 公司 AI 研究副總裁 Joelle Pineau 在采訪時向 VentureBeat 講道：「我們學(xué)到了很多好的經(jīng)驗。這是一個很好的模型，我仍然收到很多人想要這個模型的請求。」

「人們對產(chǎn)品會有一種期望，就像是你想要用它來撰寫論文。但這并不是我們的初衷。」Pineau 強調(diào)說：「Galactica 從來就不是一個產(chǎn)品，而是一個研究項目。我們是抱著這樣的目的發(fā)布的，我們做了一個低調(diào)的發(fā)布，把它放在 GitHub 上，研究人員在推特上發(fā)布了它，但是期望與研究之間的差距太大了?！?/span>

當(dāng)時的人們顯然對模型幻覺十分驚訝，而幻覺這件事在一年后將變得稀松平常。其實，Galactica 的幻覺水平實際上低于其他模型，因為它是根據(jù)科學(xué)文獻(xiàn)進(jìn)行微調(diào)的。

此外，在 VentureBeat 的文章中，作者 Sharon Goldman 也提到：令人慶幸的是，Galactica 的教訓(xùn)給 Llama 的發(fā)布上了一課。

Meta 公司撤下了 Galactica 演示版，以確保人們不會被誤導(dǎo)使用它。Pineau 表示：「如果讓我今天來做這件事，我們會對發(fā)布進(jìn)行管理?！巩?dāng)時，Meta 很可能錯誤地估計了人們對 Galactica 的期待，但 「我們已經(jīng)將從中吸取的教訓(xùn)融入到下一代模型中了?！?/span>

Meta 的下一代大型語言模型就是 LLaMA，它于 2023 年 2 月在 AI 研究領(lǐng)域掀起了一場風(fēng)暴，隨后在 7 月推出了商用的 LLaMA 2，8 月又推出了 Code LLaMA。隨著 LLaMA 成為第一個主要的免費開源 LLM，開源 AI 開始嶄露頭角，并引發(fā)了一場熱火朝天的討論。

LLaMA 于 2 月 24 日發(fā)布時，Meta 非常謹(jǐn)慎。Yann LeCun 在分享 LLaMA 論文時表示：「Meta 致力于開放研究，將在 GPL v3 許可證下向研究社區(qū)發(fā)布所有模型?！?/span>

當(dāng)被問及為什么研究人員必須填寫表格才能訪問 LLaMA 時，LeCun 回答道：「因為上次我們向所有人提供 LLM（ 旨在幫助科學(xué)家撰寫科學(xué)論文的 Galactica）時，人們對我們嗤之以鼻，并告訴我們這將破壞社會結(jié)構(gòu)?！?/span>

看起來，LeCun 對 Galactica 的下架一直抱有「怨氣」。

如今，LeCun 也是馬上就在推特上轉(zhuǎn)發(fā)了 Sharon Goldman 這篇文章，說道：「輿論稱我們現(xiàn)在所說的 LLM 幻覺會摧毀科學(xué)出版系統(tǒng)。結(jié)果，一個對科學(xué)家來說非常有用的工具被毀了。」最后他還表示：「以人工智能道德為幌子的誤導(dǎo)性觀點可能會適得其反?！惯@不得不讓人聯(lián)想到最近 LeCun 與另一位圖靈獎得主 Geoffrey Hinton 關(guān)于「AI 監(jiān)管」的辯論。

Galactica 的第一作者 Ross Taylor 也在推特上發(fā)文表示：Galactica 在發(fā)布時因人手稀缺而沒有對基礎(chǔ)模型進(jìn)行充分的檢查，這導(dǎo)致了一些問題。他們原本希望通過公開演示來收集科學(xué)查詢的數(shù)據(jù)，但這反而引起了誤解和批評。但他們的研究仍然是有價值的，并且從這次經(jīng)歷中學(xué)到的教訓(xùn)已經(jīng)用到了后續(xù)的 LLaMA 2 項目中。

LeCun 更是用開源應(yīng)「盡早發(fā)布，經(jīng)常發(fā)布（release early, release often）」為 Galactica 再鳴不平。

無論如何，掀起大模型浪潮的是 OpenAI 的 ChatGPT，在開源領(lǐng)域?qū)崿F(xiàn)突破的是 LLaMA，Galactica 的故事已成過去。