起猛了，Qwen發(fā)布最新32B推理模型，跑分不輸671B的滿血版DeepSeek R1。

都是杭州團(tuán)隊(duì)，要不要這么卷。

圖片

QwQ-32B，基于Qwen2.5-32B+強(qiáng)化學(xué)習(xí)煉成。

圖片

之后還將與Agent相關(guān)的功能集成到推理模型中：

可以在調(diào)用工具的同時進(jìn)行進(jìn)行批判性思考，并根據(jù)環(huán)境反饋調(diào)整其思考過程。

圖片

QwQ-32B的權(quán)重以Apache 2.0 許可證開源，并且可以通過Qwen Chat在線體驗(yàn)。

圖片

手快的網(wǎng)友直接就是一個本地部署在m4max芯片蘋果筆記本上。

圖片

也有網(wǎng)友連夜at各大第三方API托管方，趕緊起來干活了。

圖片

32B不輸DeepSeek R1

目前QwQ-32B還未放出完整技術(shù)報告，官方發(fā)布頁面對強(qiáng)化學(xué)習(xí)方法做了簡短說明：

從一個冷啟動檢查點(diǎn)開始，實(shí)施了由Outcome Based Reward驅(qū)動的強(qiáng)化學(xué)習(xí)（RL）擴(kuò)展方法。

在初始階段專門針對數(shù)學(xué)和編碼任務(wù)擴(kuò)展強(qiáng)化學(xué)習(xí)，沒有依賴傳統(tǒng)的獎勵模型，而是使用一個數(shù)學(xué)問題準(zhǔn)確性驗(yàn)證器來確保最終解決方案的正確性，并使用一個代碼執(zhí)行服務(wù)器來評估生成的代碼是否成功通過預(yù)定義的測試用例。

隨著訓(xùn)練輪次的推進(jìn)，兩個領(lǐng)域的性能都呈現(xiàn)持續(xù)提升。

在第一階段之后，為通用能力增加了另一階段的強(qiáng)化學(xué)習(xí)，它使用來自通用獎勵模型的獎勵和一些基于規(guī)則的驗(yàn)證器進(jìn)行訓(xùn)練。

團(tuán)隊(duì)發(fā)現(xiàn)，這一階段少量步驟的強(qiáng)化學(xué)習(xí)訓(xùn)練可以提高其他通用能力的性能，如遵循指令、符合人類偏好以及智能體性能，同時在數(shù)學(xué)和編碼方面不會出現(xiàn)顯著的性能下降。

此外在ModelScope頁面，還可以看出QwQ 32B是一個密集模型，沒有用到MoE，上下文長度有131k。

圖片

對此，有亞馬遜工程師評價不用MoE架構(gòu)的32B模型，意味著可以在單臺機(jī)器上高效運(yùn)行。

DeepSeek沒有問題，很強(qiáng)大，但要托管他且盈利需要一個大型集群，還需要使用DeepSeek最近開源的一系列通信庫。

……另一方面QwQ 32B可以減少由流水線并行、專家并行帶來的復(fù)雜性。

圖片

如果將QwQ 32B添加到代碼能力與輸出token成本的圖表中，可以看到它以約1/10的成本達(dá)到了DeepSeek-R1與o3-mini-high之間的性能。

圖片

在線體驗(yàn)：

https://chat.qwen.ai
https://huggingface.co/spaces/Qwen/QwQ-32B-Demo

參考鏈接：
[1]https://qwenlm.github.io/blog/qwq-32b/
[2]https://x.com/Alibaba_Qwen/status/1897366093376991515