最近幾年，隨著大語言模型的飛速發(fā)展與迭代，科技巨頭們都競(jìng)相投入巨額財(cái)力打造超級(jí)計(jì)算機(jī)（或大規(guī)模 GPU 集群）。他們認(rèn)為，更強(qiáng)大的計(jì)算能力是實(shí)現(xiàn)更強(qiáng)大 AI 的關(guān)鍵。

早在 2022 年，Meta 即宣布與英偉達(dá)共同打造大型 AI 研究超級(jí)計(jì)算機(jī)「AI Research SuperCluster」（RSC），它由 760 個(gè)英偉達(dá) DGX A100 系統(tǒng)組成，共有 6080 塊 GPU，性能非常強(qiáng)大。

如今，馬斯克旗下人工智能初創(chuàng)公司 xAI 傳出了打造超級(jí)計(jì)算機(jī)的消息。

據(jù)外媒 The Information 報(bào)道，最近馬斯克向投資者透露，xAI 計(jì)劃建造超級(jí)算力工廠「Gigafactory of Compute」，為 AI 聊天機(jī)器人 Grok 的下一個(gè)版本提供算力支持。

據(jù)悉，xAI 計(jì)劃將 10 萬塊 H100 專用 GPU 串聯(lián)一臺(tái)超級(jí)計(jì)算機(jī)，其規(guī)模至少是當(dāng)前最大 AI 集群的四倍。如果 xAI 的計(jì)劃能夠順利完成，這臺(tái)超級(jí)計(jì)算機(jī)將耗費(fèi)數(shù)十億美元和大量電力。

不過，馬斯克似乎很有信心，他的目標(biāo)是在 2025 年秋季之前讓這臺(tái)超級(jí)計(jì)算機(jī)「跑」起來，并親自負(fù)責(zé)按時(shí)交付。

當(dāng)然，xAI 不想單打獨(dú)斗， 其有望與甲骨文公司（Oracle）合作建造超級(jí)計(jì)算機(jī)。我們知道，xAI 是 Oracle 最大的 H100 服務(wù)器芯片租賃客戶，已經(jīng)使用了后者超過 1.5 萬塊 H100 芯片。

屆時(shí)，xAI 超級(jí)算力工廠建成之后，10 萬塊 GPU 芯片集群將加速 Grok 聊天機(jī)器人的開發(fā)，減少語音限制。目前，Grok 的最新版本為 Grok 1.5，該版本實(shí)現(xiàn)了長上下文理解和高級(jí)推理能力，可以處理 128K token 的長上下文窗口。

而據(jù)馬斯克此前透露，xAI 正在訓(xùn)練的 Grok 2 已經(jīng)耗費(fèi)了約 2 萬塊 H100 GPU，未來進(jìn)階版本 Grok 3 可能需要高達(dá) 10 萬塊 H100 GPU。看來，馬斯克已經(jīng)在為 Grok 3 未雨綢繆了。

最后，對(duì)于超級(jí)算力工廠而言，最關(guān)鍵的找到一個(gè)電力充沛（可能需要 100MW）的位置。因此，AI 數(shù)據(jù)中心位置的選擇非常重要。

至于建成的意義是什么？這個(gè)規(guī)模龐大的超級(jí)算力工廠將幫助 xAI 追趕 OpenAI、微軟等資金更為雄厚的競(jìng)爭(zhēng)對(duì)手。

此前同樣據(jù) The Information 報(bào)道，微軟和 OpenAI 擬投入超 1000 億美元打造一個(gè)數(shù)據(jù)中心項(xiàng)目，其中包括一臺(tái)「星際之門」（Stargate）的 AI 超級(jí)計(jì)算機(jī)，配備了數(shù)百萬個(gè)專用服務(wù)器芯片，旨在為 OpenAI 實(shí)現(xiàn) AGI 提供動(dòng)力。

其實(shí)，這也不是馬斯克第一次投入超算項(xiàng)目。此前，特斯拉就被曝出到 2024 年底，投入遠(yuǎn)超 10 億美元打造一臺(tái)「Dojo 項(xiàng)目」的內(nèi)部超級(jí)計(jì)算機(jī)，用于處理數(shù)據(jù)和視頻，提高自動(dòng)駕駛能力并最終實(shí)現(xiàn)完全自動(dòng)駕駛。

此次， 馬斯克又在大語言模型領(lǐng)域斥巨資建造超級(jí)計(jì)算機(jī)。有人表示，如果消息屬實(shí)的話，這將成為游戲改變者。當(dāng)然，英偉達(dá)是最大的贏家。

參考鏈接：https://www.theinformation.com/articles/musk-plans-xai-supercomputer-dubbed-gigafactory-of-compute?rc=ks2jbm