?譯者 | 李睿

審校 | 孫淑娟

BigScience研究項(xiàng)目日前發(fā)布了一個(gè)大型語言模型BLOOM，乍一看，它看起來像是復(fù)制OpenAI的GPT-3的又一次嘗試。  

但BLOOM與其他大型自然語言模型(LLM)的不同之處在于，它在研究、開發(fā)、培訓(xùn)和發(fā)布機(jī)器學(xué)習(xí)模型方面所做的努力。

近年來，大型科技公司將大型自然語言模型(LLM)就像嚴(yán)守商業(yè)機(jī)密一樣隱藏起來，而BigScience團(tuán)隊(duì)從項(xiàng)目一開始就把透明與開放放在了BLOOM的中心。  

其結(jié)果是一個(gè)大型語言模型，可以供研究和學(xué)習(xí)，并可供所有人使用。BLOOM所建立的開源和開放合作示例對(duì)大型自然語言模型(LLM)和其他人工智能領(lǐng)域的未來研究非常有益。但仍有一些需要解決的大型語言模型固有的一些挑戰(zhàn)。

什么是BLOOM?

BLOOM是“BigScience大型開放科學(xué)開放獲取多語言模型”的簡(jiǎn)稱。從數(shù)據(jù)來看，它與GPT-3和OPT-175B并沒有太大的區(qū)別。它是一個(gè)非常大的Transformer 模型，擁有1760億個(gè)參數(shù)，使用1.6TB的數(shù)據(jù)進(jìn)行訓(xùn)練，其中包括自然語言和軟件源代碼。  

與GPT-3一樣，它可以通過零鏡頭或少鏡頭學(xué)習(xí)執(zhí)行許多任務(wù)，其中包括文本生成、摘要、問題回答和編程等。  

但BLOOM的重要性在于其背后的組織和構(gòu)建過程。

BigScience是一個(gè)研究項(xiàng)目，由機(jī)器學(xué)習(xí)模型中心“Hugging Face”于2021年啟動(dòng)。根據(jù)其網(wǎng)站的描述，該項(xiàng)目“旨在展示在人工智能/自然語言處理研究社區(qū)內(nèi)創(chuàng)建、學(xué)習(xí)和共享大型語言模型和大型研究工件的另一種方式。”

在這方面，BigScience從歐洲核子研究中心（CERN）和大型強(qiáng)子對(duì)撞機(jī)（LHC）等科學(xué)創(chuàng)造計(jì)劃中獲得了靈感，在這些計(jì)劃中，開放的科學(xué)合作促進(jìn)了對(duì)整個(gè)研究社區(qū)有用的大規(guī)模人工制品的創(chuàng)造。

從2021年5月以來的一年時(shí)間里，來自60個(gè)國(guó)家和250多個(gè)機(jī)構(gòu)的1000多名研究人員在BigScience共同創(chuàng)造了BLOOM。

透明度、開放性和包容性

雖然大多數(shù)主要的大型自然語言模型(LLM)都只接受英語文本的訓(xùn)練，但BLOOM的訓(xùn)練語料庫(kù)包括46種自然語言和13種編程語言。這對(duì)于主要語言不是英語的許多地區(qū)都很有用。

BLOOM也打破了對(duì)大型科技訓(xùn)練公司模型的實(shí)際依賴。大型自然語言模型(LLM)的主要問題之一是訓(xùn)練和調(diào)整成本過高。這一障礙使得具有1000億個(gè)參數(shù)大型自然語言模型(LLM)成為擁有雄厚資金的大型科技公司的專屬領(lǐng)域。近年來，人工智能實(shí)驗(yàn)室被大型科技公司吸引，以獲得補(bǔ)貼的云計(jì)算資源，并為其研究提供資金。  

相比之下，BigScience研究團(tuán)隊(duì)獲得了法國(guó)國(guó)家科學(xué)研究中心的300萬歐元資助，用于在超級(jí)計(jì)算機(jī)Jean Zay上訓(xùn)練BLOOM。而沒有任何協(xié)議授予商業(yè)公司這項(xiàng)技術(shù)的獨(dú)家許可，也沒有承諾將該模型實(shí)現(xiàn)商業(yè)化，并將其轉(zhuǎn)化為可盈利的產(chǎn)品。  

此外，BigScience團(tuán)隊(duì)對(duì)模型訓(xùn)練的整個(gè)過程是完全透明的。他們發(fā)布了數(shù)據(jù)集、會(huì)議記錄、討論和代碼，以及訓(xùn)練模型的日志和技術(shù)細(xì)節(jié)。  

研究人員正在研究該模型的數(shù)據(jù)和元數(shù)據(jù)，并發(fā)布有趣的發(fā)現(xiàn)。  

例如，研究人中David McClure于2022年7月12日在推特上表示，“我一直在研究來自Bigscience和Hugging Face的非?？岬腂LOOM模型背后的訓(xùn)練數(shù)據(jù)集。其中有來自英語語料庫(kù)的1000萬塊樣本，大約占總數(shù)的1.25%、用'all-distilroberta-v1'編碼，然后從UMAP到2d。”

當(dāng)然，經(jīng)過訓(xùn)練的模型本身可以在Hugging Face的平臺(tái)上下載，這減輕了研究人員花費(fèi)數(shù)百萬美元進(jìn)行訓(xùn)練的痛苦。

Facebook公上個(gè)月在一些限制下開源了其中一個(gè)大型自然語言模型(LLM)。然而，BLOOM帶來的透明度是前所未有的，并有望為該行業(yè)設(shè)立一個(gè)新的標(biāo)準(zhǔn)。  

BLOOM訓(xùn)練聯(lián)合負(fù)責(zé)人Teven LeScao表示，“與工業(yè)人工智能研究實(shí)驗(yàn)室的保密性相比，BLOOM證明了最強(qiáng)大的人工智能模型可以由更廣泛的研究社區(qū)以負(fù)責(zé)和開放的方式進(jìn)行訓(xùn)練和發(fā)布?！? 

挑戰(zhàn)依然存在  

雖然BigScience為人工智能研究和大型語言模型帶來開放性和透明度的努力值得稱贊，但該領(lǐng)域固有的挑戰(zhàn)仍然沒有改變。

大型自然語言模型(LLM)研究正朝著越來越大的模型發(fā)展，這將進(jìn)一步增加訓(xùn)練和運(yùn)行成本。BLOOM使用384個(gè)Nvidia Tesla A100 GPU (每個(gè)價(jià)格約為約3.2萬美元)進(jìn)行訓(xùn)練。而更大的模型將需要更大的計(jì)算集群。BigScience團(tuán)隊(duì)已經(jīng)宣布將繼續(xù)創(chuàng)建其他開源大型自然語言模型(LLM)，但該團(tuán)隊(duì)將如何為其日益昂貴的研究提供資金還有待觀察。例如，OpenAI最初是一家非盈利組織，后來變成了一家銷售產(chǎn)品、依賴微軟資金的盈利性組織。

另一個(gè)有待解決的問題是運(yùn)行這些模型的巨大成本。壓縮后的BLOOM模型的大小為227GB，運(yùn)行它需要擁有數(shù)百GB內(nèi)存的專用硬件。作為比較，GPT-3需要的計(jì)算集群相當(dāng)于Nvidia DGX 2，其價(jià)格約為40萬美元?！癏ugging Face”計(jì)劃推出一個(gè)API平臺(tái)，使研究人員能夠以每小時(shí)40美元左右的價(jià)格使用該模型，這是一筆不小的成本。

運(yùn)行BLOOM的成本還將影響希望構(gòu)建由大型自然語言模型(LLM)支持的產(chǎn)品的應(yīng)用機(jī)器學(xué)習(xí)社區(qū)、初創(chuàng)公司和組織。目前，OpenAI提供的GPT-3API更適合產(chǎn)品開發(fā)。而了解BigScience和Hugging Face將朝哪個(gè)方向發(fā)展，使開發(fā)者能夠在其有價(jià)值的研究基礎(chǔ)上開發(fā)產(chǎn)品，這將成為一件有趣的事情。

在這方面，人們期待BigScience在未來發(fā)布的模型中有更小的版本。與媒體經(jīng)常描述的相反，大型自然語言模型(LLM)仍然遵循“沒有免費(fèi)的午餐”的原則。這意味著在應(yīng)用機(jī)器學(xué)習(xí)時(shí)，一個(gè)針對(duì)特定任務(wù)進(jìn)行微調(diào)的更緊湊的模型比一個(gè)在許多任務(wù)上具有平均性能的非常大的模型更有效。例如，Codex是GPT-3的一個(gè)修改版本，它以GPT-3的一小部分規(guī)模和成本為編程提供了很好的幫助。GitHub目前提供基于Codex的產(chǎn)品Copilot，每月收費(fèi)10美元。

隨著BLOOM希望建立的新文化，而研究未來學(xué)術(shù)和應(yīng)用人工智能走向何方將是一件有趣的事情。

原文標(biāo)題：??BLOOM can set a new culture for AI research—but challenges remain???，作者：Ben Dickson?