Mistral的首個(gè)強(qiáng)推理模型:擁抱開(kāi)源,推理速度快10倍
大模型強(qiáng)推理賽道,又迎來(lái)一位重量級(jí)玩家。
本周二,歐洲人工智能公司 Mistral AI 發(fā)布了 Magistral,這是一個(gè)全新的大語(yǔ)言模型(LLM)系列,展現(xiàn)了強(qiáng)大的推理能力。它能夠進(jìn)行不斷反思,并解決更復(fù)雜的任務(wù)。
此次發(fā)布包含兩個(gè)版本:面向企業(yè)客戶的大型專有模型 Magistral Medium,以及一個(gè) 24B 參數(shù)的開(kāi)源版本 Magistral Small。其中開(kāi)源版本使用 Apache 2.0 許可,可以自由使用、商用化;Magistral Medium 則可通過(guò) Mistral 的 Le Chat 界面和 La Plateforme API 訪問(wèn)。
- 直接使用:https://chat.mistral.ai/chat
- 模型開(kāi)源:https://huggingface.co/mistralai/Magistral-Small-2506
- 論文:https://mistral.ai/static/research/magistral.pdf
在基準(zhǔn)測(cè)試中,新模型取得了不錯(cuò)的成績(jī)。這里主要是 Magistral 與其前身 Mistral-Medium 3 和 DeepSeek 系列的對(duì)比。Magistral Medium 在 AIME2024 上的得分為 73.6%,其中多數(shù)投票為 64%,得分為 90%。Magistral Small 的得分分別為 70.7% 和 83.3%。

新模型在一些其他高要求測(cè)試中也表現(xiàn)出色,包括研究生水平的問(wèn)答基準(zhǔn)測(cè)試 GPQA Diamond 和用于編程挑戰(zhàn)的 LiveCodeBench。
Mistral 進(jìn)一步展示了一些實(shí)際使用的案例。

Magistral Medium 展示了自身的編程能力,一次生成輸出的代碼就能模擬出重力、摩擦力。
除了通過(guò) Benchmark 和編程等「必考題」,Magistral 模型還擅長(zhǎng)在多種語(yǔ)言中保持高保真推理。它尤其適合用于英語(yǔ)、法語(yǔ)、西班牙語(yǔ)、德語(yǔ)、意大利語(yǔ)、阿拉伯語(yǔ)、俄語(yǔ)、中文等語(yǔ)言的推理。

借助 Le Chat 中的 Flash Answers,Magistral Medium 還能實(shí)現(xiàn)比大多數(shù)競(jìng)爭(zhēng)對(duì)手多達(dá) 10 倍的 token 吞吐量。Mistral 稱,這基本可以實(shí)現(xiàn)大規(guī)模的實(shí)時(shí)推理和用戶反饋。

因?yàn)橐陨弦幌盗刑匦?,Mistral 認(rèn)為 Magistral 非常適合需要長(zhǎng)時(shí)間思考和更高準(zhǔn)確度的通用任務(wù),相比非推理類的大模型,提升更為明顯。
在技術(shù)報(bào)告中,Mistral 表示 Magistral 應(yīng)用了自主研發(fā)的可擴(kuò)展強(qiáng)化學(xué)習(xí)流水線,其并非依賴現(xiàn)有實(shí)現(xiàn)和從先前模型中提煉出的強(qiáng)化學(xué)習(xí)痕跡,而是采用自下而上的方法,完全依賴自己的模型和基礎(chǔ)設(shè)施。
在 Magistral 工作中研究人員發(fā)現(xiàn),基于文本的強(qiáng)化學(xué)習(xí)能夠保持甚至提升多模態(tài)理解、指令遵循和函數(shù)調(diào)用能力。
有趣的是,Magistral 的核心設(shè)計(jì)原則是使用與用戶相同的語(yǔ)言進(jìn)行推理。在未經(jīng)任何處理的數(shù)學(xué)和編程問(wèn)題上進(jìn)行強(qiáng)化學(xué)習(xí)通常會(huì)導(dǎo)致模型在推理過(guò)程中出現(xiàn)混合語(yǔ)言。在沒(méi)有語(yǔ)言限制的初步實(shí)驗(yàn)中,Mistral 工程人員也經(jīng)常觀察到混合英語(yǔ)、中文和俄語(yǔ)單詞的輸出。雖然這些輸出是連貫的,但為了避免語(yǔ)言切換,他們?cè)谟?jì)算對(duì)話(由問(wèn)題、想法、答案組成)的獎(jiǎng)勵(lì)時(shí),首先通過(guò)刪除 LaTeX 內(nèi)容和代碼塊對(duì)這三個(gè)部分進(jìn)行歸一化,然后對(duì)每個(gè)部分應(yīng)用 fastText 分類器。如果分類器指示所有三個(gè)部分都使用相同的語(yǔ)言,則會(huì)額外給予 0.1 的獎(jiǎng)勵(lì)。
這樣簡(jiǎn)單的修改足以使模型能夠緊密跟蹤用戶的語(yǔ)言,最大限度地減少代碼切換,同時(shí)保持推理任務(wù)的性能。盡管只將原始英語(yǔ)問(wèn)題翻譯成幾種語(yǔ)言,但我們能觀察到 Magistral 模型能夠成功生成任意語(yǔ)言的思維鏈、系統(tǒng)提示。
Mistral 進(jìn)一步在系統(tǒng)提示中指定了格式和語(yǔ)言要求,如下圖所示。實(shí)驗(yàn)發(fā)現(xiàn)強(qiáng)化學(xué)習(xí)訓(xùn)練對(duì)這些系統(tǒng)提示非常敏感。例如,系統(tǒng)提示中的「盡可能隨意,盡可能長(zhǎng)」部分增加了模型的熵,從而改善了模型的探索能力。

Mistral 正在把 Magistral Medium 模型應(yīng)用于包括 Amazon SageMaker 在內(nèi)的主流云平臺(tái),Azure AI、IBM WatsonX 和 Google Cloud Marketplace 也將緊隨其后。
在使用成本方面,Mistral 把 Magistral Medium 定位為一款獨(dú)特的高端產(chǎn)品,因此價(jià)格也是大幅上漲。
它的每百萬(wàn)輸入 token 價(jià)格為 2 美元,每百萬(wàn)輸出 token 是 5 美元,相比老款 Mistral Medium 3 價(jià)格大幅上漲,后者輸入成本僅為 0.4 美元,輸出成本為 2 美元。
然而,與外部競(jìng)爭(zhēng)對(duì)手相比,Magistral Medium 的定價(jià)策略卻顯得極具競(jìng)爭(zhēng)力。它的輸入成本比 OpenAI 最新型號(hào)便宜,與 Gemini 2.5 Pro 的價(jià)格處于同一水平,輸出成本也遠(yuǎn)低于這兩款產(chǎn)品。
看起來(lái),推理速度比競(jìng)品快 10 倍的競(jìng)爭(zhēng)優(yōu)勢(shì)確實(shí)很大。

Magistral API 與其他領(lǐng)先 LLM 的推理成本對(duì)比。
在 Magistral 推出之后,Mistral 的目標(biāo)是從此版本開(kāi)始快速迭代模型。




































