Grok-2測(cè)試版來(lái)的，讓人猝不及防。

剛剛，Xai官方丟出一篇博文，官宣Grok-2測(cè)試版正式發(fā)布。

而且，一發(fā)就是兩彈——Grok-2 + 輕量級(jí)Grok-2 mini。

馬斯克稱(chēng)，Grok進(jìn)展的速度驚人，只能用坐上火箭來(lái)形容。

相較于上一代Grok-1.5，Grok-2取得了顯著的進(jìn)步，在聊天、編碼、推理方面，再次刷新SOTA。

大模型競(jìng)技場(chǎng)LMSYS上，Grok-2早期版本sus-column-r在總榜上位列第三，可與GPT-4o抗衡，碾壓Claude 3.5 Sonnet。

此外，Grok-2在「編碼」和「數(shù)學(xué)」榜單位列第2，Hard Prompts位列第4。

網(wǎng)友：馬斯克的Grok已經(jīng)是榜上第五個(gè)GPT-4級(jí)模型了，保不齊最終版哪天就超到了TOP 1

目前，Grok-2和Grok-2 mini均在??上開(kāi)啟了測(cè)試。本月底，兩個(gè)模型的API將會(huì)放出。

值得一提的是，X平臺(tái)這次還融合了爆火的Flux AI生圖能力。

這一點(diǎn)，今早就有網(wǎng)友提前放出了預(yù)告。

就看Grok生成美女的能力，真有點(diǎn)TED演講者那味兒了。

下面這位網(wǎng)友用Luma和Grok 2.0結(jié)合后，大贊做出的視頻簡(jiǎn)直就像電影截圖一樣。

Grok-2能力如何？

Grok-2其實(shí)早就在我們身邊了，只是沒(méi)有人得知。

如前所述，早期版本sus-column-r在LMSYS平臺(tái)，接受了多種基準(zhǔn)的評(píng)測(cè)。

在LLM排行榜中，Grok-2整體Elo評(píng)分（1281分），優(yōu)于Claude 3.5和GPT-4。

就勝率來(lái)看，Grok-2遠(yuǎn)遠(yuǎn)領(lǐng)先DeepSeek V2、Claude 3 Opus，相較于指令微調(diào)版的Llama 3.1超大杯，勝率為58%。

與GPT-4o和GPT-4o mini幾乎打成平手。

在Xai內(nèi)部，研究人員采用了類(lèi)似的流程，以評(píng)估模型。

這里，他們訓(xùn)練了專(zhuān)門(mén)的AI系統(tǒng)——AI導(dǎo)師，在模擬Grok真實(shí)世界交互的任務(wù)中，與新模型進(jìn)行互動(dòng)。

每次互動(dòng)中，AI導(dǎo)師會(huì)收到Grok生成的2個(gè)響應(yīng)，并根據(jù)指南中列出的特定標(biāo)準(zhǔn)，選擇更優(yōu)的響應(yīng)。

實(shí)驗(yàn)過(guò)程中，研究團(tuán)隊(duì)重點(diǎn)評(píng)估了模型在兩個(gè)關(guān)鍵領(lǐng)域的能力：

一是遵循指令，二是提供準(zhǔn)確、事實(shí)性的信息。

結(jié)果發(fā)現(xiàn)，Grok-2利用檢索內(nèi)容進(jìn)行推理，以及工具使用方面，得到了大幅提升。

比如，它可以正確識(shí)別缺失信息、推理事件的順序，甚至剔除無(wú)關(guān)的帖子。

可以看得出，就AI導(dǎo)師的偏好來(lái)看，Grok-2勝券在握。

接下來(lái)，具體看看Grok-2在不同基準(zhǔn)上的表現(xiàn)吧。

性能評(píng)估

研究人員在一系列基準(zhǔn)測(cè)試中評(píng)估了Grok-2，包括推理、閱讀理解、數(shù)學(xué)、科學(xué)、寫(xiě)代碼。

宏觀講，相較于之前的Grok-1.5模型，Grok-2和Grok-2 mini都得到了顯著的改進(jìn)。

下圖中可以看出，Grok-2和Grok-2 mini在研究生級(jí)別科學(xué)知識(shí)（GPQA）、數(shù)學(xué)競(jìng)賽問(wèn)題（MATH），代碼（HumanEval）領(lǐng)域，顯著提分10%-20%。

而且，另一個(gè)值得關(guān)注的現(xiàn)象是，Grok-2 mini是小參數(shù)版本的Grok-2。

但是，Grok-2 mini的性能絲毫不輸，幾乎接近大模型的性能，可見(jiàn)并沒(méi)有因?yàn)閰?shù)減少，而縮減模型的性能。

與前沿模型相比，Grok-2在編碼、數(shù)學(xué)、通用知識(shí)領(lǐng)域，與GPT-4o、Llama 3 405B有一定的差距，但結(jié)果非常接近。

它遠(yuǎn)遠(yuǎn)超過(guò)了GPT-4 Turno、Claude 3 Opus基準(zhǔn)的性能。

另外，在視覺(jué)化任務(wù)中，比如視覺(jué)化數(shù)學(xué)推理（MathVista）和基于文檔的問(wèn)題回答（DocVQA）上，Grok-2表現(xiàn)出色。

令人驚喜的是，經(jīng)典的「strawberry難題」，也被Grok 2.0一舉攻克。

在??上的體驗(yàn)

當(dāng)然了，Grok模型的每次迭代，就是為了更好地服務(wù)??。

經(jīng)過(guò)幾個(gè)月的不斷改進(jìn)，全面升級(jí)之后的Grok，也有了新的界面和功能。

所有的Premium和Premium+用戶(hù)，都可以訪問(wèn)這次新推出的Grok-2和Grok-2 mini。

作為??上最強(qiáng)的AI助手，Grok-2具備文本和視覺(jué)理解的高級(jí)能力，并集成了來(lái)自平臺(tái)的實(shí)時(shí)信息。

Grok-2 mini則是一個(gè)規(guī)模較小但功能強(qiáng)大的模型，提供了速度和質(zhì)量之間的最佳平衡。

與前輩相比，Grok-2在廣泛的任務(wù)中更直觀、可控且多功能，無(wú)論是尋找答案、協(xié)作寫(xiě)作還是解決編程任務(wù)。

最近FLUX的爆火，讓全網(wǎng)都見(jiàn)識(shí)到了這款文生圖模型的強(qiáng)勁實(shí)力。

如今，xAI正在與推出它的「Black Forest Labs」合作，嘗試?yán)肍LUX.1來(lái)增強(qiáng)Grok在??上的功能。

網(wǎng)友實(shí)測(cè)生圖

拿到測(cè)試資格的網(wǎng)友們，已經(jīng)迫不及待地上手測(cè)試了。

生成喬治華盛頓這樣人物的圖片，果然FLUX最拿手。

在吃熱狗的馬斯克，有點(diǎn)兒不像本尊。

說(shuō)到馬斯克，下面這個(gè)海盜版大家覺(jué)得如何？

還有角斗士馬斯克，以及馬斯克在火星。

此外，也有網(wǎng)友生成了一張小扎拖著腮幫子眉頭緊鎖的照片。

這位網(wǎng)友表示，Grok 2.0的生圖功能比Llama要好，而且沒(méi)有「愚蠢的護(hù)欄」。

宮殿里的豪車(chē)、美少女戰(zhàn)士、一座雕塑、魔法書(shū)院，Grok都拿捏了。

看得出來(lái)，這位網(wǎng)友主打的就是一個(gè)精致。

加菲貓頭戴紅帽，附上「Make Mondays Great Again」，可見(jiàn)Grok在生成帶有字體的圖像時(shí)，也非常精致。

和聊天一樣，Grok生圖還可以生成兩種不同模式的，簡(jiǎn)言之兩種風(fēng)格的圖像——趣味和常規(guī)。

網(wǎng)友分別測(cè)試了這兩種模式，趣味模式下Grok的自畫(huà)像，更像是一位故事中的圣者。

而常規(guī)模式下的自畫(huà)像，反倒有些搞笑了。

它竟把自己設(shè)想成了，（類(lèi)似）一份惠靈頓牛排。

API即將上線

除了能夠在??上體驗(yàn)之外，Grok-2和Grok-2 mini還將在8月底正式上線企業(yè)API平臺(tái)。

xAI表示，Grok-2的API將基于新的定制技術(shù)棧。

一方面是支持多區(qū)域推理部署，可以實(shí)現(xiàn)全球范圍的低延遲訪問(wèn)。

另一方面是支持增強(qiáng)的安全功能，例如強(qiáng)制多因素認(rèn)證（如使用Yubikey、Apple TouchID或TOTP），豐富的流量統(tǒng)計(jì)，以及高級(jí)計(jì)費(fèi)分析（包括詳細(xì)的數(shù)據(jù)導(dǎo)出）等等。

此外，xAI還提供了一個(gè)管理API，讓開(kāi)發(fā)者和企業(yè)可以將團(tuán)隊(duì)、用戶(hù)和計(jì)費(fèi)管理集成到現(xiàn)有的內(nèi)部工具和服務(wù)中。

接下來(lái)是什么？

自從2023年11月Grok-1發(fā)布以來(lái)，xAI一直在以驚人的速度發(fā)展。

現(xiàn)在的Grok-2和Grok-2 mini，已經(jīng)具備了更強(qiáng)的搜索能力和改進(jìn)的回復(fù)功能，并且可以對(duì)??的帖子進(jìn)行更深入的洞察。

不久之后，xAI還會(huì)??和API上發(fā)布Grok的另一個(gè)核心體驗(yàn)——多模態(tài)理解預(yù)覽版。

隨著Grok-2的推出，xAI再一次站到了AI開(kāi)發(fā)的前沿。并且，有了新集群的加持，模型的推理能力也將得到進(jìn)一步加強(qiáng)。