起猛了，Qwen發(fā)布最新32B推理模型，跑分不輸671B的滿血版DeepSeek R1。

都是杭州團(tuán)隊(duì)，要不要這么卷。

圖片

QwQ-32B，基于Qwen2.5-32B+強(qiáng)化學(xué)習(xí)煉成。

圖片

之后還將與Agent相關(guān)的功能集成到推理模型中：

可以在調(diào)用工具的同時(shí)進(jìn)行進(jìn)行批判性思考，并根據(jù)環(huán)境反饋調(diào)整其思考過(guò)程。

圖片

QwQ-32B的權(quán)重以Apache 2.0 許可證開(kāi)源，并且可以通過(guò)Qwen Chat在線體驗(yàn)。

圖片

手快的網(wǎng)友直接就是一個(gè)本地部署在m4max芯片蘋(píng)果筆記本上。

圖片

也有網(wǎng)友連夜at各大第三方API托管方，趕緊起來(lái)干活了。

圖片

32B不輸DeepSeek R1

目前QwQ-32B還未放出完整技術(shù)報(bào)告，官方發(fā)布頁(yè)面對(duì)強(qiáng)化學(xué)習(xí)方法做了簡(jiǎn)短說(shuō)明：

從一個(gè)冷啟動(dòng)檢查點(diǎn)開(kāi)始，實(shí)施了由Outcome Based Reward驅(qū)動(dòng)的強(qiáng)化學(xué)習(xí)（RL）擴(kuò)展方法。

在初始階段專門(mén)針對(duì)數(shù)學(xué)和編碼任務(wù)擴(kuò)展強(qiáng)化學(xué)習(xí)，沒(méi)有依賴傳統(tǒng)的獎(jiǎng)勵(lì)模型，而是使用一個(gè)數(shù)學(xué)問(wèn)題準(zhǔn)確性驗(yàn)證器來(lái)確保最終解決方案的正確性，并使用一個(gè)代碼執(zhí)行服務(wù)器來(lái)評(píng)估生成的代碼是否成功通過(guò)預(yù)定義的測(cè)試用例。

隨著訓(xùn)練輪次的推進(jìn)，兩個(gè)領(lǐng)域的性能都呈現(xiàn)持續(xù)提升。

在第一階段之后，為通用能力增加了另一階段的強(qiáng)化學(xué)習(xí)，它使用來(lái)自通用獎(jiǎng)勵(lì)模型的獎(jiǎng)勵(lì)和一些基于規(guī)則的驗(yàn)證器進(jìn)行訓(xùn)練。

團(tuán)隊(duì)發(fā)現(xiàn)，這一階段少量步驟的強(qiáng)化學(xué)習(xí)訓(xùn)練可以提高其他通用能力的性能，如遵循指令、符合人類(lèi)偏好以及智能體性能，同時(shí)在數(shù)學(xué)和編碼方面不會(huì)出現(xiàn)顯著的性能下降。

此外在ModelScope頁(yè)面，還可以看出QwQ 32B是一個(gè)密集模型，沒(méi)有用到MoE，上下文長(zhǎng)度有131k。

圖片

對(duì)此，有亞馬遜工程師評(píng)價(jià)不用MoE架構(gòu)的32B模型，意味著可以在單臺(tái)機(jī)器上高效運(yùn)行。

DeepSeek沒(méi)有問(wèn)題，很強(qiáng)大，但要托管他且盈利需要一個(gè)大型集群，還需要使用DeepSeek最近開(kāi)源的一系列通信庫(kù)。

……另一方面QwQ 32B可以減少由流水線并行、專家并行帶來(lái)的復(fù)雜性。

圖片

如果將QwQ 32B添加到代碼能力與輸出token成本的圖表中，可以看到它以約1/10的成本達(dá)到了DeepSeek-R1與o3-mini-high之間的性能。

圖片

在線體驗(yàn)：

https://chat.qwen.ai
https://huggingface.co/spaces/Qwen/QwQ-32B-Demo

參考鏈接：
[1]https://qwenlm.github.io/blog/qwq-32b/
[2]https://x.com/Alibaba_Qwen/status/1897366093376991515