新“SOTA”推理模型避戰(zhàn)Qwen和R1？歐版OpenAI被噴麻了
“歐洲的OpenAI”Mistral AI終于發(fā)布了首款推理模型——Magistral。
然而再一次遭到網(wǎng)友質(zhì)疑：怎么又不跟最新版Qwen和DeepSeek R1 0528對比？
（此前該公司發(fā)布Ministral 3B/8B時，聲稱“始終優(yōu)于同行”，卻沒有對比Qwen2.5）
圖片
圖片
在該模型發(fā)布的前幾個小時，Mistral AI的CEO Arthur Mensch在接受爐邊訪談時聲稱即將發(fā)布的Magistral能夠與其他所有競爭對手相抗衡。
在官方展示的基準(zhǔn)測試結(jié)果中，DeepSeek-R1的數(shù)據(jù)確實不是最新的（在AIME-25數(shù)學(xué)測試中，DeepSeek-R1-0528的準(zhǔn)確率已經(jīng)從舊版的70%提升至87.5%），并且比較行列里完全不見Qwen的身影。
圖片
不過，與同公司初期模型Mistral Medium 3相比，該框架在AIME-24上的準(zhǔn)確率提升了50%。
此次Magistral發(fā)布了兩種版本：
Magistral Small——24B參數(shù)的開源權(quán)重版本，可在Apache 2.0許可下自行部署。
Magistral Medium——更強大的、面向企業(yè)的版本，在Amazon SageMaker上提供。
圖片
專為透明推理而設(shè)計
在Magistral發(fā)布之前，Mistral AI的CEO Arthur Mensch在訪談中提到：
“從歷史上看，我們看到美國的模型用英語進行推理，中國的模型更擅長用中文進行推理。”
于是，這次Magistral的一個亮點就是支持多語言推理，尤其是解決了主流模型用歐洲語言的推理效果不如本土語言的缺陷。
下面的例子展示了在Le Chat中，使用Magistral Medium的阿拉伯語提示和響應(yīng)。
圖片
與通用模型不同的是，Magistral針對多步邏輯進行了微調(diào)，提升了可解釋性，并在用戶的語言中提供了可追溯的思考過程，能夠?qū)崿F(xiàn)大規(guī)模實時推理。
下面的例子展示了重力、摩擦和碰撞的單次物理模擬，在預(yù)覽中使用的是Magistral Medium。
圖片
就好像Magistral不是黑箱預(yù)言家，而是一個能陪你「擺事實、講道理」的智能伙伴。
并且，在Le Chat中，通過Flash Answers，Magistral Medium的token吞吐量比大多數(shù)競爭對手快10倍。
這就能夠?qū)崿F(xiàn)大規(guī)模的實時推理和用戶反饋。
圖片
作為Mistral推出的首個基于純強化學(xué)習(xí)（RL）訓(xùn)練的推理大模型，Magistral采用改進的Group Relative Policy Optimization（GRPO）算法。
直接通過RL訓(xùn)練，不依賴任何現(xiàn)有推理模型的蒸餾數(shù)據(jù)（如DeepSeek-R1需SFT預(yù)熱）。
通過消除KL散度懲罰、動態(tài)調(diào)整探索閾值和基于組歸一化的優(yōu)勢計算，在AIME-24數(shù)學(xué)基準(zhǔn)上實現(xiàn)從26.8%到73.6%的準(zhǔn)確率躍升。
圖片
首創(chuàng)異步分布式訓(xùn)練架構(gòu)，通過Generators持續(xù)生成、Trainers異步更新的設(shè)計，配合動態(tài)批處理優(yōu)化，實現(xiàn)高效的大規(guī)模RL訓(xùn)練。
還反直覺地發(fā)現(xiàn)純文本RL訓(xùn)練可提升多模態(tài)性能（如MMMU-Pro-Vision提升12%），并驗證RL對小模型同樣有效（24B的Magistral Small在AIME-24準(zhǔn)確率達70.7%）。
圖片
這些創(chuàng)新使Magistral在無需預(yù)訓(xùn)練蒸餾的情況下，以純RL方式為LLM的強化學(xué)習(xí)訓(xùn)練提供了新范式。
One More Thing
官方?jīng)]有給出Magistral與最新版Qwen和R1的對比，網(wǎng)友來代勞了。
圖片
從結(jié)果可以看出，Qwen 4B與該模型相近，小型的30B MoE效果更好，R1最新版就更不用說了（doge）。
并且，由于“歐洲的OpenAI”越來越不Open，Stability AI前CEO建議Mistral AI應(yīng)該爭取真正的開源來占據(jù)開源的領(lǐng)導(dǎo)地位。
圖片
參考鏈接：
[1]https://mistral.ai/news/magistral
