剛剛，Mistral AI 的模型又更新了。

這次開(kāi)源一如既往地「突然」，是在一個(gè)叫做 Cerebral Valley 的黑客松活動(dòng)上公布的。

PPT 一翻頁(yè)，全場(chǎng)都舉起了手機(jī)拍照：

這次開(kāi)源的 Mistral 7B v0.2 Base Model ，是 Mistral-7B-Instruct-v0.2 背后的原始預(yù)訓(xùn)練模型，后者屬于該公司的「Mistral Tiny」系列。

此次更新主要包括三個(gè)方面：

• 將 8K 上下文提到了 32K；
• Rope Theta = 1e6；
• 取消滑動(dòng)窗口。

下載鏈接：https://models.mistralcdn.com/mistral-7b-v0-2/mistral-7B-v0.2.tar

更新之后的性能對(duì)比是這樣的：

場(chǎng)外觀眾迅速跟進(jìn)。有人評(píng)價(jià)說(shuō)：「Mistral 7B 已經(jīng)是同尺寸級(jí)別中最好的模型，這次改進(jìn)是一個(gè)巨大的進(jìn)步。 我將盡快在這個(gè)模型上重新訓(xùn)練當(dāng)前的許多微調(diào)?！?/p>

Mistral AI 的第一個(gè) 7B 模型發(fā)布于 2023 年 9 月，在多個(gè)基準(zhǔn)測(cè)試中實(shí)現(xiàn)了優(yōu)于 Llama 2 13B 的好成績(jī)，讓 Mistral AI 一下子就打出了知名度。

這也導(dǎo)致目前很多開(kāi)源大模型都已不再對(duì)標(biāo) Llama 2，而是將 Mistral AI 旗下的各系列模型作為直接競(jìng)爭(zhēng)對(duì)手。

而 Mistral 7B v0.2 Base Model 對(duì)應(yīng)的指令調(diào)優(yōu)版本 Mistral-7B-Instruct-v0.2 在 2023 年 12 月就已開(kāi)放測(cè)試，據(jù)官方博客介紹，該模型僅適用于英語(yǔ)，在 MT-Bench 上能夠獲得 7.6 分的成績(jī)，遜于 GPT-3.5。

此次開(kāi)放基礎(chǔ)模型之后，開(kāi)發(fā)者們就可以根據(jù)自己的需求對(duì)這個(gè)「當(dāng)前最好的 7B 模型」進(jìn)行微調(diào)了。

不過(guò)，7B 模型只能算是 Mistral AI 眾多驚艷成果中的一項(xiàng)。這家公司的長(zhǎng)遠(yuǎn)目標(biāo)是對(duì)標(biāo) OpenAI。

上個(gè)月底，Mistral AI 正式發(fā)布了「旗艦級(jí)」大模型 Mistral Large。與此前的一系列模型不同，這一版本性能更強(qiáng)，體量更大，直接對(duì)標(biāo) OpenAI 的 GPT-4。隨著 Mistral Large 上線，Mistral AI 推出了名為 Le Chat 的聊天助手，也實(shí)現(xiàn)了對(duì)標(biāo) ChatGPT。

而新模型的發(fā)布，也伴隨著公司大方向的一次轉(zhuǎn)型。人們發(fā)現(xiàn)， Mistral Large 并不是一個(gè)開(kāi)源大模型 —— 有跑分、 API 和應(yīng)用，就是不像往常一樣有 GitHub 或是下載鏈接。

與 Mistral Large 發(fā)布同時(shí)發(fā)生的，是 Mistral AI 與微軟達(dá)成了長(zhǎng)期合作的協(xié)議，不僅會(huì)將 Mistral Large 引入 Azure，還收獲了微軟 1600 萬(wàn)美元的投資。

Mistral AI 對(duì)路透社表示，作為交易的一部分，微軟將持有該公司少數(shù)股權(quán)，但未透露細(xì)節(jié)。未來(lái)，二者的合作主要集中在三個(gè)核心領(lǐng)域：

• 超算基礎(chǔ)設(shè)施：微軟將通過(guò) Azure AI 超級(jí)計(jì)算基礎(chǔ)設(shè)施支持 Mistral AI ，為 Mistral AI 旗艦?zāi)Ｐ偷?AI 訓(xùn)練和推理工作負(fù)載提供一流的性能和規(guī)模；
• 市場(chǎng)推廣：微軟和 Mistral AI 將通過(guò) Azure AI Studio 和 Azure 機(jī)器學(xué)習(xí)模型目錄中的模型即服務(wù)（MaaS）向客戶提供 Mistral AI 的高級(jí)模型。除 OpenAI 模型外，模型目錄還提供了多種開(kāi)源和商業(yè)模型。
• 人工智能研發(fā)：微軟和 Mistral AI 將探索為特定客戶訓(xùn)練特定目的模型的合作。

當(dāng)被問(wèn)及公司是否正在改變其開(kāi)源商業(yè)模式時(shí)，Mistral AI 聯(lián)合創(chuàng)始人 Arthur Mensch 在采訪中表示：「我們從開(kāi)源模式開(kāi)始，任何人都可以免費(fèi)部署，因?yàn)檫@是廣泛分發(fā)它們并創(chuàng)造需求的一種方式。但從一開(kāi)始，我們就提供了一種具有優(yōu)化模型的商業(yè)模式，這讓使該公司能夠?yàn)槟Ｐ烷_(kāi)發(fā)所需的昂貴研究提供資金。」

參考鏈接：https://twitter.com/MistralAILabs/status/1771670765521281370