埃隆·馬斯克（Elon Musk）的初創(chuàng)公司xAI開(kāi)源了其第一個(gè)大型語(yǔ)言模型（LLM）Grok。

現(xiàn)在使任何其他企業(yè)家、程序員、公司或個(gè)人能夠接受Grok的權(quán)重——模型的人工“神經(jīng)元”或軟件模塊之間的連接強(qiáng)度，允許模型做出決策并接受輸入并以文本形式提供輸出——以及其他相關(guān)文檔，并將模型的副本用于他們想要的任何內(nèi)容，包括用于商業(yè)應(yīng)用。

“我們正在發(fā)布我們的大型語(yǔ)言模型Grok-1的基本模型和網(wǎng)絡(luò)架構(gòu)，”該公司在一篇博客文章中宣布?！癎rok-1 是一個(gè) 3140 億參數(shù)的專家混合模型，由 xAI 從頭開(kāi)始訓(xùn)練。”

有興趣的人可以在 Grok 的 Github 頁(yè)面上或通過(guò) torrent 鏈接下載代碼。Hugging Face 還在這里添加了一個(gè)快速下載實(shí)例。

Grok 的開(kāi)源意味著什么

參數(shù)是指控制模型的權(quán)重和偏差——參數(shù)越多，通常模型越先進(jìn)、越復(fù)雜、性能越好。Grok 擁有 3140 億個(gè)參數(shù)，遠(yuǎn)遠(yuǎn)領(lǐng)先于 Meta 的 Llama 2（700 億個(gè)參數(shù)）和 Mistral 8x7B（120 億個(gè)參數(shù)）等開(kāi)源競(jìng)爭(zhēng)對(duì)手。

Grok 是在 Apache 許可證 2.0 下開(kāi)源的，該許可證允許商業(yè)使用、修改和分發(fā)，盡管它不能被注冊(cè)為商標(biāo)，并且用戶不會(huì)因此而獲得任何責(zé)任或保證。此外，他們必須復(fù)制原始許可證和版權(quán)聲明，并說(shuō)明他們所做的更改。

Grok 的架構(gòu)于 2023 年 10 月使用 JAX 和 Rust 上的自定義訓(xùn)練堆棧開(kāi)發(fā)，融合了神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)的創(chuàng)新方法。該模型將 25% 的權(quán)重用于給定的token，這是一種提高其效率和有效性的策略。

Grok 最初于 2023 年 11 月作為專有或“閉源”模型發(fā)布，到目前為止，它只能在馬斯克獨(dú)立但相關(guān)的社交網(wǎng)絡(luò) X（前身為 Twitter）上訪問(wèn)，特別是通過(guò) X Premium+ 付費(fèi)訂閱服務(wù)，每月收費(fèi) 16 美元或每年 168 美元。

但是，Grok 的發(fā)布并未包含其訓(xùn)練數(shù)據(jù)的完整語(yǔ)料庫(kù)。這對(duì)使用模型來(lái)說(shuō)并不重要，因?yàn)樗呀?jīng)被訓(xùn)練過(guò)了，但它不允許用戶看到它從中學(xué)到了什么——大概是用戶在 X 上的文本帖子（xAI 博客文章不透明地將其描述為“在大量文本數(shù)據(jù)上訓(xùn)練的基本模型，未針對(duì)任何特定任務(wù)進(jìn)行微調(diào)。

它也不包括與X上可用的實(shí)時(shí)信息的任何連接，馬斯克最初將其吹捧為Grok相對(duì)于其他LLM的主要屬性。為此，用戶仍然需要訂閱 X 上的付費(fèi)版本。

不僅僅是一項(xiàng)技術(shù)舉措，更是一項(xiàng)商業(yè)和公關(guān)策略

旨在與馬斯克于 2018 年共同創(chuàng)立并與之分道揚(yáng)鑣的 OpenAI 制造的 ChatGPT 相媲美，現(xiàn)在與之競(jìng)爭(zhēng)，Grok 以意為“理解”的俚語(yǔ)命名，并被描述為“以銀河系漫游指南為藍(lán)本的人工智能”，這是英國(guó)作家道格拉斯·亞當(dāng)斯 （Douglas Adams） 于 1970 年代開(kāi)創(chuàng)性的廣播劇和諷刺科幻系列叢書(shū)（2005 年被改編成一部主要電影）。

馬斯克將 Grok 定位為 ChatGPT 和其他領(lǐng)先的 LLM 的更幽默和未經(jīng)審查的版本，鑒于對(duì) AI 審查制度的抱怨和谷歌 Gemini 令人尷尬的種族混亂圖像生成和可疑的意識(shí)形態(tài)立場(chǎng)，這一立場(chǎng)在用戶中具有新的吸引力（Gemini 至少在一個(gè)例子中暗示，馬斯克的推文可能與納粹領(lǐng)導(dǎo)人阿道夫·希特勒一樣對(duì)社會(huì)有害).當(dāng)然，Gemini受到了馬斯克和其他有影響力的科技領(lǐng)袖的強(qiáng)烈批評(píng)，包括a16z聯(lián)合創(chuàng)始人和網(wǎng)絡(luò)先驅(qū)馬克·安德森（Marc Andreessen）。

Grok 的開(kāi)源顯然也是馬斯克在訴訟和對(duì) OpenAI 的一般批評(píng)中有用的意識(shí)形態(tài)立場(chǎng)，他最近起訴了 OpenAI，指責(zé)他的前公司放棄了其“創(chuàng)始協(xié)議”，以非營(yíng)利組織的形式運(yùn)營(yíng)。OpenAI至少在輿論法庭上發(fā)布了為其辯護(hù)的電子郵件，表明馬斯克意識(shí)到并可能支持其轉(zhuǎn)向?qū)Ｓ械臓I(yíng)利性技術(shù)。

X 上的 AI 社區(qū)已經(jīng)對(duì)這個(gè)版本做出了好奇和興奮的反應(yīng)。值得注意的是，技術(shù)界指出了該模型在前饋層中使用GeGLU及其歸一化方法，以致 OpenAI 的員工也發(fā)布了他們對(duì)該模型的興趣。

因此，Grok 的發(fā)布可能會(huì)給所有其他 LLM 提供商帶來(lái)壓力，尤其是其他競(jìng)爭(zhēng)對(duì)手的開(kāi)源提供商，要求他們向用戶證明他們的優(yōu)勢(shì)。

本文轉(zhuǎn)載自 ??AI技術(shù)和商業(yè)思維?? ，作者： 學(xué)習(xí)中的Leo

原文鏈接：??https://mp.weixin.qq.com/s/T4iQLt4mbS5CPpDHa38OAw??????