馬斯克的xAI一路狂飆突進，把Sam Altman都整怕了！

就在9月3日，馬斯克在推上得意自曝：

團隊僅僅用了122天時間，就建成了有10萬張H100的Colossus集群，是世界上最強大的AI訓(xùn)練系統(tǒng)。

而且，未來幾個月規(guī)模還要翻一倍，擴展到15萬張H100+5萬張H200。

最后，馬斯克感謝了英偉達和許多其他合作伙伴、供應(yīng)商。據(jù)悉，是戴爾開發(fā)、組裝了Colossus系統(tǒng)。

馬斯克的xAI，已經(jīng)讓幾大AI巨頭感受到了強烈的威脅。

根據(jù)內(nèi)幕消息，Sam Altman就曾表示，自己是怕了馬斯克了！

如今的xAI，不光算力有超越OpenAI之勢，還對員工十分大方。有說法指出，對于xAI的研究者，馬老板曾承諾過價值2億美元的期權(quán)。

馬斯克，全力進軍超算

相信大家都已經(jīng)發(fā)現(xiàn)：馬斯克的超算野心，是愈發(fā)藏不住了！

隔三岔五的，就會有勁爆消息曝出。

7月底，xAI啟動了位于孟菲斯的超級AI集群的訓(xùn)練，該集群由十萬個液冷H100 GPU組成。

十萬個H100 GPU消耗的電力大約在70兆瓦，因此這個超算至少會消耗150兆瓦的電力。

8月底，特斯拉宣布了Cortex AI集群，包括5萬個英偉達H100 GPU，和2萬個特斯拉的Dojo AI晶圓級芯片。

如今看來，這些集群很可能都正式投入運行，甚至已經(jīng)在訓(xùn)練AI模型了。

不過，馬斯克真的有能力讓它們?nèi)吭诰€嗎？

首要問題是，要調(diào)試和優(yōu)化這些集群的設(shè)置，需要一定時間。

其次，xAI還得確保它們獲得足夠的電力。

我們知道，雖然馬斯克的公司一直在用14臺獨立發(fā)電機為其供電，但要為十萬塊H100 GPU供電，這些電力顯然不夠。

訓(xùn)練xAI的Grok 2，需要兩萬塊H100；而馬斯克預(yù)測，要訓(xùn)練Grok 3，可能會需要十萬塊H100。

所以，xAI的數(shù)據(jù)中心，建得怎么龐大都不過分。

建設(shè)速度太快，推測是「部分上線」

122天，也就是4個月的時間，建成10萬張H100組成的超算集群，這是個什么速度？

有業(yè)內(nèi)人士表示，通常完成這樣一個集群可能需要一年時間。

這個速度，這個規(guī)模，很馬斯克。

但也有人猜測，他可能有夸大其詞的傾向，高估了在單一集群中實際運行的GPU數(shù)量。

囤足10萬張芯片、放在一起共同運行，并不意味著就是單一集群。

論GPU數(shù)量，Meta在今年1月就已經(jīng)計劃采購35萬張H100，但實際運行時是分成了不同集群。

之所以還沒有其他公司能造出10萬GPU規(guī)模的集群，很難說是因為缺錢，更重要的因素是網(wǎng)絡(luò)解決方案。

串聯(lián)起所有GPU的網(wǎng)絡(luò)，需要保證足夠的高帶寬、低延遲和可靠性，才能讓10萬張芯片協(xié)同起來像一臺計算機一樣工作。

Colossus是二戰(zhàn)期間第一臺可編程計算機，也曾在科幻電影里登場

除了網(wǎng)絡(luò)，還有電力問題。

馬斯克此前表示，Colossus在6月底已經(jīng)啟動運行，當時，電力公司供應(yīng)的最高功率只有幾兆瓦，僅能供應(yīng)數(shù)千個GPU同時運行。

電力公司表示，到8月，xAI將獲得大約50兆瓦的電力，但這只能供應(yīng)大約5萬個芯片。

與此同時，現(xiàn)場即將建成的另一個發(fā)電站將提供另外150兆瓦，可以滿足10萬個或更多芯片的電力需求，但要到明年才能實現(xiàn)。

馬斯克似乎找到了一個短期解決方案：引入化石能源發(fā)電機。

Colossus所在地，田納西州孟菲斯的環(huán)保組織前幾天剛剛寫信控訴馬斯克，指責他在沒有許可的情況下安裝了至少18臺渦輪機（可能更多），加劇了當?shù)氐目諝馕廴尽?/span>

出于網(wǎng)絡(luò)和電力兩方面的限制因素，The Information指出，馬斯克的這個集群可能只是「部分完成」

除了Colossus和微軟在鳳凰城為OpenAI建造的超算集群，多個類似的集群也正處在研發(fā)和建設(shè)過程中。

奧特曼：微軟爸爸，我們的算力不夠了

盡管如此，馬斯克這個超大集群的進展，還是讓一些競爭對手極度擔心！

其中一位，就是OpenAI的CEO Sam Altman。

根據(jù)內(nèi)部消息，奧特曼已經(jīng)向一些微軟高管透露了自己的擔憂——

他十分擔心，xAI很快就擁有比OpenAI更多的算力！

雖然為OpenAI提供算力的微軟老大哥，資金實力非常雄厚，但作為上市公司，微軟在花費資金時，還需要對公眾股東負責。

但馬斯克則完全沒有這樣的限制，盡管他的資金不如微軟。

甭管馬斯克有多少吹牛的成分，即使能部分完成Colossus集群的建成，也是一件令人印象深刻的事。

外媒The Information猜測，馬斯克這種神奇的趕工速度，是否放棄了傳統(tǒng)的例行安全檢查？

畢竟，如果按例檢查的話，可能會讓數(shù)據(jù)中心項目的竣工延遲數(shù)月。

而且，The Information還發(fā)現(xiàn)了一個「華點」：Colossus位于以前的制造工廠內(nèi)，這可不是適合高性能計算的理想場所。

微軟和英偉達的高管透露，這是他們最不愿意放置昂貴硬件的地點之一。

因為這些地方很難改造，來適應(yīng)服務(wù)器耗費的巨大電量，和數(shù)據(jù)中心設(shè)備需要的冷卻技術(shù)。

咱們都知道，馬老板一向喜歡突破邊界，而在質(zhì)疑聲紛至沓來時，他又經(jīng)常被證明是正確的。

最近在xAI的姊妹公司X，馬斯克又有了一個驚人之舉：關(guān)閉了一個數(shù)據(jù)中心。

當時大家都擔心，X會因此而崩潰。結(jié)果誰也沒想到，X運行得很好，馬斯克居然有如此先見之明。

而這次，馬斯克在田納西州的超算，也同樣可能會對AI開發(fā)者振聾發(fā)聵——

或許他們會發(fā)現(xiàn)，傳統(tǒng)的做事方式如今已經(jīng)過時了。

兩家神秘AI巨頭，正計劃打造1250億美元超算

如今，數(shù)據(jù)中心之戰(zhàn)，競爭還在火熱加?。≈辽儆辛缶揞^，已經(jīng)下場了。

根據(jù)北達科他州官員的披露，除了微軟、OpenAI和xAI，還有兩家AI巨頭也正在醞釀建造「巨型AI數(shù)據(jù)中心」。

這兩家公司找到了商務(wù)專員Josh Teigen和州長Doug Burgum，商討建立巨型AI數(shù)據(jù)中心。

除了技術(shù)研發(fā)，這類數(shù)據(jù)中心也對資源和基礎(chǔ)設(shè)施提出了很高的要求。

不僅需要采購足夠的芯片和相關(guān)設(shè)備，還要留出數(shù)萬英畝的土地、建設(shè)新的發(fā)電設(shè)施。

馬斯克的Colossus要自建發(fā)電站才能弄出200兆瓦，而這兩家公司可能是因為直接找上了州長，他們的初始電力就能達到500～1000兆瓦，并計劃在幾年內(nèi)擴增至5k~1w兆瓦。

這些項目的規(guī)模將比現(xiàn)有的任何數(shù)據(jù)中心，包括Colossus都擴大幾個數(shù)量級。

100兆瓦可以為7萬至10萬個家庭供電；去年微軟Azure的全球數(shù)據(jù)中心總共使用了大約5吉瓦（5k兆瓦）的電力。

這就意味著，一個數(shù)據(jù)中心，可能和整個Azure云服務(wù)平臺的耗電量相當。

根據(jù)會議的音頻記錄，這類規(guī)模的項目耗資可能超過1250億美元。

在對外會議上，商務(wù)專員Teigen沒有透露這兩家神秘AI巨頭的名字，但他表示市值達到了「一萬億美元」。

這就將潛在名單縮小到了美國的大約6家公司，七巨頭之六——英偉達、亞馬遜、微軟、谷歌、Meta和蘋果。

微軟此前就和OpenAI討論過建造價值1000億美元的「星際之門」（Stargate），而且北達科他州長Doug Burgum曾是微軟的高管，在2001年以11億美元向微軟出售過自己的一家軟件公司。

但我們也知道，谷歌和亞馬遜等其他公司也在積極提升其AI計算能力。

揭開美國AI超算的神秘面紗

AI巨頭一向?qū)舛思夹g(shù)嚴格保密，但他們對開發(fā)數(shù)據(jù)中心所需的技術(shù)，保密程度有過之而無不及。

The Information列出了在美國7個州運營或計劃中的17個超算數(shù)據(jù)中心，涉及微軟、OpenAI、Meta和xAI等公司。

總的來說，仍在開發(fā)或計劃階段的設(shè)施建設(shè)成本可能超過500億美元，其中包括約350億美元的英偉達芯片，以及運營所需的額外數(shù)十億美元。

這些超算估計在數(shù)年時間內(nèi)落成，并需要大量的芯片、土地和電力。

在ChatGPT問世前，GPU集群通常只包含幾千個芯片。如今，一些最大的GPU集群擁有超過3萬個芯片，上面提到的這些超算更是達到了前所未有的規(guī)模。

要為所有計劃中的數(shù)據(jù)中心供電，美國能源部預(yù)計會出現(xiàn)電力不足的情況，因此最近提出了一些解決方案，例如資助研究使AI計算更高效。

爭奪「下一個高地」

現(xiàn)在，數(shù)據(jù)中心競賽的焦點，集中到了英偉達CEO黃仁勛的身上。

就在上周，老黃發(fā)表了以下言論，宛如在業(yè)內(nèi)投入一顆炸彈。

率先達到超算集群下一個高地的人，將實現(xiàn)革命性的AI水平。

此言一出，英偉達的GPU，誰敢不買？

即使已經(jīng)和博通共同設(shè)計出了TPU的谷歌，最近也為英偉達即將推出的Blackwell下了大單。

對GPU的爭奪，已經(jīng)引發(fā)了AI開發(fā)者及其云供應(yīng)商之間的緊張局勢，甚至，有時還會引發(fā)它們和英偉達的摩擦。

比如，馬斯克就曾考慮和甲骨文達成一項大規(guī)模協(xié)議，根據(jù)他的計劃，xAI將在未來幾年內(nèi)，花費超過100億美元租賃英偉達的GPU。

而這項談判最終破裂了，部分原因在于，馬斯克認為甲骨文無法足夠快地建起超算，而甲骨文則擔心，他會把GPU集群放在一個供電不足的地方。

芯片多多，問題多多

很多超大的GPU集群都位于土地遼闊、空間充裕且電力充足的地區(qū)。例如，馬斯克的Colossus特意選址在田納西州孟菲斯，亞馬遜、Meta和微軟都在亞利桑那州的鳳凰城地區(qū)運營AI服務(wù)器。

但隨著更大的GPU集群需要更多的電力，AI巨頭們正計劃在非傳統(tǒng)數(shù)據(jù)中心樞紐的地區(qū)建造這些集群。

例如，亞馬遜最近在賓夕法尼亞州中部的一座核電站旁邊購置了土地，計劃供應(yīng)約一吉瓦（1000兆瓦）的電力。

這足以為整個舊金山供電，或者構(gòu)建多達100萬張GPU的集群。

另一個挑戰(zhàn)是如何進行設(shè)備冷卻。

傳統(tǒng)上，數(shù)據(jù)中心一般采用風(fēng)冷，但GPU服務(wù)器產(chǎn)生的熱量遠遠超過傳統(tǒng)服務(wù)器。

為了更佳的冷卻效果，微軟在威斯康星州為OpenAI建設(shè)的數(shù)據(jù)中心預(yù)計將使用液冷而非風(fēng)冷。

雖然如今越來越多人懷疑，AI泡沫要接近臨界點了，但興建超算之風(fēng)，一時半會還不會冷卻。

畢竟，競家都All In了，你能不上嗎？

六巨頭割據(jù)，群雄逐鹿，誰將奪得下一個超算高地？