Mistral-Medium竟然意外泄露？此前僅能通過(guò)API獲得，性能直逼GPT-4。

CEO最新發(fā)聲：確有其事，系早期客戶員工泄露。但仍表示敬請(qǐng)期待。

圖片

換句話說(shuō)，這個(gè)版本尚且還是舊的，實(shí)際版本性能還會(huì)更好。

這兩天，這個(gè)名叫“Miqu”的神秘模型在大模型社區(qū)里炸了鍋，不少人還懷疑這是LIama的微調(diào)版本。

圖片

對(duì)此Mistral CEO也做出了解釋?zhuān)?Mistral Medium是在Llama 2基礎(chǔ)上重新訓(xùn)練的，因?yàn)樾璞M快向早期客戶提供更接近GPT-4性能的API， 預(yù)訓(xùn)練在Mistral 7B發(fā)布當(dāng)天完成。

如今真相大白，CEO還賣(mài)關(guān)子，不少網(wǎng)友在底下戳戳手期待。

圖片

圖片

Mistral-Medium意外泄露

我們還是重新來(lái)回顧一下整個(gè)事件。1月28日，一個(gè)名叫Miqu Dev的神秘用戶在HuggingFace上發(fā)布一組文件“miqu-1-70b”。

圖片

文件指出新LLM的“提示格式”以及用戶交互方式同Mistral相同。

同一天，4chan上一個(gè)匿名用戶發(fā)布了關(guān)于miqu-1-70b文件的鏈接。

于是乎一些網(wǎng)友注意到了這個(gè)神秘的模型，并且開(kāi)始進(jìn)行一些基準(zhǔn)測(cè)試。

結(jié)果驚人發(fā)現(xiàn)，它在EQ-Bench 上獲得83.5 分（本地評(píng)估），超過(guò)世界上除GPT-4之外的所有其他大模型。

一時(shí)間，網(wǎng)友們強(qiáng)烈呼吁將這個(gè)大模型添加到排行榜中，并且找出背后的真實(shí)模型。

大致懷疑方向主要有三個(gè)：

• 與Mistral-Medium是同一個(gè)模型。

有網(wǎng)友曬出了對(duì)比效果：它知道標(biāo)準(zhǔn)答案還說(shuō)得過(guò)去，但不可能連俄語(yǔ)措辭也跟Mistral-Medium完全相同吧。

圖片

• Miqu應(yīng)該是LIama 2的微調(diào)版本。

但另外的網(wǎng)友發(fā)現(xiàn)，它并不是MoE模型，并且同LIama 2架構(gòu)相同、參數(shù)相同、層數(shù)相同，。

圖片

不過(guò)馬上就受到其他網(wǎng)友的質(zhì)疑，Mistral 7b也具有與 llama 7B 相同的參數(shù)和層數(shù)。

相反，這更像是Mistral早期非MoE版本模型。

圖片

不過(guò)討論來(lái)討論去，不可否認(rèn)的是在不少人心中，這已經(jīng)是最接近GPT-4的模型了。

圖片

如今，Mistral 聯(lián)合創(chuàng)始人兼首席執(zhí)行官 Arthur Mensch承認(rèn)泄露，是他們一位早期客戶員工過(guò)于熱情，泄露了他們訓(xùn)練并公開(kāi)發(fā)布的一個(gè)舊模型量化版本。

至于Perplexity這邊CEO也澄清說(shuō)，他們從未獲得過(guò)Mistral Medium的權(quán)重。

圖片

網(wǎng)友擔(dān)心是否會(huì)撤下這個(gè)版本。

圖片

有趣的是，Mensch并沒(méi)有要求刪除HuggingFace上的帖子。

圖片

而是留下評(píng)論說(shuō)：可能會(huì)考慮歸屬問(wèn)題。

參考鏈接：
[1]https://www.reddit.com/r/LocalLLaMA/comments/1af4fbg/llm_comparisontest_miqu170b/
[2]https://twitter.com/teortaxesTex/status/1752427812466593975
[3]https://twitter.com/N8Programs/status/1752441060133892503
[4]https://twitter.com/AravSrinivas/status/1752803571035504858