馬斯克確實(shí)以其高效率和大膽的行動(dòng)著稱(chēng)，最近他旗下的AI初創(chuàng)企業(yè)xAI宣布了一項(xiàng)引人注目的舉措：開(kāi)源了一個(gè)名為Grok-1[1]的混合專(zhuān)家模型。

這個(gè)模型擁有3140億個(gè)參數(shù)，是目前參數(shù)量最大的開(kāi)源大型語(yǔ)言模型之一，而允許商用、可修改和分發(fā)，對(duì)各種自研大模型是一個(gè)很大的利好！這一行為不僅展示了馬斯克對(duì)開(kāi)放源代碼和共享技術(shù)的一貫支持，也表明了他希望推動(dòng)AI領(lǐng)域快速發(fā)展的決心截至目前，Grok-1已經(jīng)在 GitHub 上斬獲獲 28k 顆 Star。

項(xiàng)目介紹

讓我們先看下在Github的下載地址上，它的開(kāi)源聲明都說(shuō)了什么：

1.模型介紹

Grok-1模型擁有高達(dá)314億個(gè)參數(shù)，采用了混合專(zhuān)家（MoE）層結(jié)構(gòu)。MoE層的實(shí)現(xiàn)，在效率上存在局限，但這種結(jié)構(gòu)設(shè)計(jì)選擇是刻意為之，主要目的是為了簡(jiǎn)化模型驗(yàn)證流程，避免自定義內(nèi)核的需求。Grok-1 的模型細(xì)節(jié)包括如下：

• 基礎(chǔ)模型基于大量文本數(shù)據(jù)進(jìn)行訓(xùn)練，沒(méi)有針對(duì)任何具體任務(wù)進(jìn)行微調(diào)；
• 3140 億參數(shù)的 MoE 模型，在給定 token 上的激活權(quán)重為 25%；
• 2023 年 10 月，xAI 使用 JAX 庫(kù)和 Rust 語(yǔ)言組成的自定義訓(xùn)練堆棧從頭開(kāi)始訓(xùn)練。

2.許可協(xié)議

Grok-1遵循Apache 2.0許可證，賦予用戶(hù)以下權(quán)利：

• 「商業(yè)使用自由：」用戶(hù)有權(quán)將Grok-1用于商業(yè)用途，無(wú)需支付任何許可費(fèi)用。
• 「源代碼修改及再分發(fā)：」用戶(hù)可以對(duì)源代碼進(jìn)行修改，并且可以在相同的許可證下對(duì)修改后的版本進(jìn)行分發(fā)
• 「專(zhuān)利權(quán)授予：」該許可證自動(dòng)授予用戶(hù)對(duì)軟件的所有專(zhuān)利權(quán)利，確保貢獻(xiàn)者無(wú)法基于專(zhuān)利對(duì)用戶(hù)提起訴訟。
• 「版權(quán)和許可聲明保留：」在分發(fā)軟件或其衍生版本時(shí)，必須包含原始的版權(quán)和許可聲明。
• 「責(zé)任限制：」雖然提供一定程度的保障，但軟件的作者或貢獻(xiàn)者不對(duì)因使用軟件可能產(chǎn)生的任何損害承擔(dān)責(zé)任。

看到這，有網(wǎng)友開(kāi)始好奇 314B 參數(shù)的 Grok-1 到底需要怎樣的配置才能運(yùn)行。對(duì)此有人給出答案：可能需要一臺(tái)擁有 628 GB GPU 內(nèi)存的機(jī)器（每個(gè)參數(shù) 2 字節(jié)）。這么算下來(lái)，8xH100（每個(gè) 80GB）就可以了。

因此基本上個(gè)人是沒(méi)辦法用的，這個(gè)模型開(kāi)源就是為了便于各種企業(yè)使用的，同時(shí)模型還提供了權(quán)重下載。

相關(guān)領(lǐng)域影響

Grok-1的開(kāi)源對(duì)中小型企業(yè)在特定領(lǐng)域微調(diào)模型是一大利好。通過(guò)下載Grok進(jìn)行微調(diào)，可以為基于該模型的各種有趣應(yīng)用鋪平道路。

與之前開(kāi)源的大型模型相比，Grok-1的參數(shù)規(guī)模更大。根據(jù)理論，模型的參數(shù)量越大，其潛在智能水平也應(yīng)該更高。正如OpenAI已經(jīng)驗(yàn)證的那樣，巨大的參數(shù)量可能帶來(lái)意想不到的結(jié)果。

就像Stable Diffusion的開(kāi)源對(duì)國(guó)內(nèi)各種AI繪畫(huà)工具軟件產(chǎn)生了影響一樣，Grok-1的開(kāi)源可能會(huì)在各種垂直領(lǐng)域應(yīng)用中產(chǎn)生啟發(fā)作用，特別是在國(guó)內(nèi)應(yīng)用方面可能會(huì)迎來(lái)一波爆發(fā)。

網(wǎng)友分析

知名機(jī)器學(xué)習(xí)研究者、《Python 機(jī)器學(xué)習(xí)》暢銷(xiāo)書(shū)作者 Sebastian Raschka 評(píng)價(jià)道：「Grok-1 比其他通常帶有使用限制的開(kāi)放權(quán)重模型更加開(kāi)源，但是它的開(kāi)源程度不如 Pythia、Bloom 和 OLMo，后者附帶訓(xùn)練代碼和可復(fù)現(xiàn)的數(shù)據(jù)集。」

DeepMind 研究工程師 Aleksa Gordié 則預(yù)測(cè)，Grok-1 的能力應(yīng)該比 LLaMA-2 要強(qiáng)，但目前尚不清楚有多少數(shù)據(jù)受到了污染。另外，二者的參數(shù)量也不是一個(gè)量級(jí)。

Grok-1的信息

Grok-1是由xAI公司開(kāi)發(fā)的人工智能模型，擁有高達(dá)314億個(gè)參數(shù)。該模型采用了一種稱(chēng)為混合專(zhuān)家（MoE）的技術(shù)。用人類(lèi)團(tuán)隊(duì)的比喻來(lái)說(shuō)，這就像是一個(gè)團(tuán)隊(duì)中有多位專(zhuān)家共同合作，每位專(zhuān)家都在自己擅長(zhǎng)的領(lǐng)域發(fā)揮作用。

Grok-1的訓(xùn)練是從頭開(kāi)始的，沒(méi)有專(zhuān)門(mén)針對(duì)任何特定任務(wù)進(jìn)行優(yōu)化或調(diào)整。整個(gè)研發(fā)過(guò)程歷時(shí)四個(gè)月，期間經(jīng)歷了多次迭代。使用了JAX和Rust兩種編程語(yǔ)言，這兩者共同構(gòu)建了一個(gè)強(qiáng)大的訓(xùn)練基礎(chǔ)設(shè)施。為了訓(xùn)練Grok-1，xAI公司投入了大量資源，動(dòng)用了上千塊GPU，并花費(fèi)了數(shù)月時(shí)間。在訓(xùn)練過(guò)程中，還特別關(guān)注提高模型的容錯(cuò)能力。

各界反應(yīng)

先看看ChatGPT如何回復(fù)馬斯克的嘲諷吧：

隨后山姆奧特曼也回復(fù)了這件事情：

Reference：[1]Grok-1:https://github.com/xai-org/grok-1.git