本文經(jīng)AI新媒體量子位（公眾號(hào)ID:QbitAI）授權(quán)轉(zhuǎn)載，轉(zhuǎn)載請(qǐng)聯(lián)系出處。

一直以來(lái)，很多大模型都由造它們出來(lái)的大型私營(yíng)科技公司壟斷著。

比如GPT-3等，對(duì)于普通人來(lái)說(shuō)，再香也只能眼巴巴看著。

不過(guò)現(xiàn)在，為了給你解饞，由近1000名科學(xué)家聯(lián)合發(fā)起的一個(gè)志愿項(xiàng)目，耗時(shí)一年多煉出了一個(gè)號(hào)稱和GPT-3一樣強(qiáng)大的語(yǔ)言模型。

它的名字叫BLOOM，參數(shù)1760億，不光支持英文或者中文，連西班牙語(yǔ)、法語(yǔ)等59種語(yǔ)言都支持，是目前最大的多語(yǔ)言開(kāi)源語(yǔ)言模型。

是的，從現(xiàn)在起，從代碼到數(shù)據(jù)集，BLOOM全部對(duì)外開(kāi)放，所有人都可使用。

動(dòng)用法國(guó)超算、花費(fèi)384塊A100

BLOOM是一個(gè)BigScience項(xiàng)目，去年5月啟動(dòng)，由Hugging Face主導(dǎo)，收到了700萬(wàn)美元的公共捐款。

共有來(lái)自全球60個(gè)國(guó)家、超過(guò)250個(gè)機(jī)構(gòu)，以及超過(guò)1000名研究人員參與其中，其中包括以個(gè)人名義參加的Meta、谷歌等大廠員工。

它的訓(xùn)練在法國(guó)超級(jí)計(jì)算機(jī)Jean Zay上進(jìn)行，共花費(fèi)了384塊A100 GPU，其中每塊有80 GB內(nèi)存，訓(xùn)練吞吐量約150 TFLOP（該超算由低碳的核能提供動(dòng)力，釋放的熱量還用來(lái)給學(xué)校供暖）。

相關(guān)推特賬號(hào)從3月14日起，每天記錄BLOOM的進(jìn)度。

隨著進(jìn)度條漸漸拉滿，每天去點(diǎn)贊的人數(shù)也越來(lái)越多。

不過(guò)，到了102%它才正式停下——

7月2號(hào)，耗時(shí)117天的BLOOM宣告完成，恰好在預(yù)期計(jì)劃時(shí)間內(nèi)。

最終，BLOOM：

• 擁有1760億參數(shù)，比GPT-3還多10億
• 包含70層，每層112個(gè)注意力頭
• token序列長(zhǎng)度為2048
• 采用GeLU激活函數(shù)
• 數(shù)據(jù)集共計(jì)3416億條token（1.5TB文本數(shù)據(jù)）
• 支持13種編程語(yǔ)言、46種語(yǔ)言

其中，對(duì)于很多語(yǔ)言來(lái)說(shuō)，比如法語(yǔ)、西班牙語(yǔ)和阿拉伯語(yǔ)等，都是首次有了自己的開(kāi)源模型（有網(wǎng)友發(fā)現(xiàn)日語(yǔ)目前還不支持）。

此外，為了讓BLOOM最后的生成結(jié)果盡可能地減少偏見(jiàn)，參與人員還費(fèi)了不少功夫抓取到的數(shù)據(jù)還進(jìn)行了一遍人工過(guò)濾。

目前，BLOOM的訓(xùn)練對(duì)硬件也還是有一些要求：

為了保證效果，最好是準(zhǔn)備8塊80GB或者16塊40GB的的A100。

這導(dǎo)致只有稍微大點(diǎn)的團(tuán)隊(duì)才能用。

當(dāng)然也可以選擇在云上訓(xùn)練，最高每小時(shí)40美元。

最后，BLOOM表示還會(huì)降低使用門檻，并準(zhǔn)備開(kāi)發(fā)一個(gè)分布式系統(tǒng)，允許實(shí)驗(yàn)室在其服務(wù)器之間共享模型。

它聲稱自己將會(huì)成為一個(gè)模型家族，不會(huì)一勞永逸。

Hugging Face地址：https://huggingface.co/bigscience/bloom