IT之家 4 月 29 日消息，今日凌晨，阿里巴巴發(fā)布了新一代通義千問 Qwen3 模型，一舉登頂全球最強(qiáng)開源模型。

這是國(guó)內(nèi)首個(gè)“混合推理模型”，將“快思考”與“慢思考”集成進(jìn)同一個(gè)模型，大大節(jié)省算力消耗。

經(jīng)過后訓(xùn)練的模型，例如 Qwen3-30B-A3B，以及它們的預(yù)訓(xùn)練基座模型（如 Qwen3-30B-A3B-Base）已在各大平臺(tái)上開放使用。同時(shí)，阿里云開源了兩個(gè) MoE 模型的權(quán)重：

• Qwen3-235B-A22B，一個(gè)擁有 2350 多億總參數(shù)和 220 多億激活參數(shù)的大模型
• Qwen3-30B-A3B，一個(gè)擁有約 300 億總參數(shù)和 30 億激活參數(shù)的小型 MoE 模型。

此外，六個(gè) Dense 模型也已開源，包括 Qwen3-32B、Qwen3-14B、Qwen3-8B、Qwen3-4B、Qwen3-1.7B 和 Qwen3-0.6B，均在 Apache 2.0 許可下開源。

據(jù)阿里云介紹，其旗艦?zāi)Ｐ?nbsp;Qwen3-235B-A22B 在代碼、數(shù)學(xué)、通用能力等基準(zhǔn)測(cè)試中，與 DeepSeek-R1、o1、o3-mini、Grok-3 和 Gemini-2.5-Pro 等頂級(jí)模型相比，表現(xiàn)出極具競(jìng)爭(zhēng)力的結(jié)果。

此外，小型 MoE 模型 Qwen3-30B-A3B 的激活參數(shù)數(shù)量是 QwQ-32B 的 10%，表現(xiàn)更勝一籌，甚至像 Qwen3-4B 這樣的小模型也能匹敵 Qwen2.5-72B-Instruct 的性能。

核心亮點(diǎn)

多種思考模式

Qwen3 模型支持兩種思考模式：

• 思考模式：在這種模式下，模型會(huì)逐步推理，經(jīng)過深思熟慮后給出最終答案。這種方法非常適合需要深入思考的復(fù)雜問題。
• 非思考模式：在此模式中，模型提供快速、近乎即時(shí)的響應(yīng)，適用于那些對(duì)速度要求高于深度的簡(jiǎn)單問題。

這種靈活性使用戶能夠根據(jù)具體任務(wù)控制模型進(jìn)行“思考”的程度。例如，復(fù)雜的問題可以通過擴(kuò)展推理步驟來解決，而簡(jiǎn)單的問題則可以直接快速作答，無需延遲。

至關(guān)重要的是，這兩種模式的結(jié)合大大增強(qiáng)了模型實(shí)現(xiàn)穩(wěn)定且高效的“思考預(yù)算”控制能力。如上文所述，Qwen3 展現(xiàn)出可擴(kuò)展且平滑的性能提升，這與分配的計(jì)算推理預(yù)算直接相關(guān)。這樣的設(shè)計(jì)讓用戶能夠更輕松地為不同任務(wù)配置特定的預(yù)算，在成本效益和推理質(zhì)量之間實(shí)現(xiàn)更優(yōu)的平衡。

多語言

Qwen3 模型支持 119 種語言和方言，例如簡(jiǎn)體中文、繁體中文、粵語等。這一廣泛的多語言能力為國(guó)際應(yīng)用開辟了新的可能性，讓全球用戶都能受益于這些模型的強(qiáng)大功能。

預(yù)訓(xùn)練

在預(yù)訓(xùn)練方面，Qwen3 的數(shù)據(jù)集相比 Qwen2.5 有了顯著擴(kuò)展。Qwen2.5 是在 18 萬億個(gè) token 上進(jìn)行預(yù)訓(xùn)練的，而 Qwen3 使用的數(shù)據(jù)量幾乎是其兩倍，達(dá)到了約 36 萬億個(gè) token，涵蓋了 119 種語言和方言。

為了構(gòu)建這個(gè)龐大的數(shù)據(jù)集，阿里云不僅從網(wǎng)絡(luò)上收集數(shù)據(jù)，還從 PDF 文檔中提取信息，通過 Qwen2.5-VL 從這些文檔中提取文本，并用 Qwen2.5 改進(jìn)提取內(nèi)容的質(zhì)量。

為了增加數(shù)學(xué)和代碼數(shù)據(jù)的數(shù)量，阿里云還利用 Qwen2.5-Math 和 Qwen2.5-Coder 這兩個(gè)數(shù)學(xué)和代碼領(lǐng)域的專家模型合成數(shù)據(jù)，合成了包括教科書、問答對(duì)以及代碼片段等多種形式的數(shù)據(jù)。

據(jù)阿里云介紹，Qwen3 預(yù)訓(xùn)練過程分為三個(gè)階段。

• 在第一階段（S1），模型在超過 30 萬億個(gè) token 上進(jìn)行了預(yù)訓(xùn)練，上下文長(zhǎng)度為 4K token。這一階段為模型提供了基本的語言技能和通用知識(shí)。
• 在第二階段（S2），通過增加知識(shí)密集型數(shù)據(jù)（如 STEM、編程和推理任務(wù)）的比例來改進(jìn)數(shù)據(jù)集，隨后模型又在額外的 5 萬億個(gè) token 上進(jìn)行了預(yù)訓(xùn)練。
• 最后階段，使用高質(zhì)量的長(zhǎng)上下文數(shù)據(jù)將上下文長(zhǎng)度擴(kuò)展到 32K token，確保模型能夠有效地處理更長(zhǎng)的輸入。

由于模型架構(gòu)的改進(jìn)、訓(xùn)練數(shù)據(jù)的增加以及更有效的訓(xùn)練方法，Qwen3 Dense 基礎(chǔ)模型的整體性能與參數(shù)更多的 Qwen2.5 基礎(chǔ)模型相當(dāng)。例如，Qwen3-1.7B / 4B / 8B / 14B / 32B-Base 分別與 Qwen2.5-3B / 7B / 14B / 32B / 72B-Base 表現(xiàn)相當(dāng)。

特別是在 STEM、編碼和推理等領(lǐng)域，Qwen3 Dense 基礎(chǔ)模型的表現(xiàn)甚至超過了更大規(guī)模的 Qwen2.5 模型。對(duì)于 Qwen3 MoE 基礎(chǔ)模型，它們?cè)趦H使用 10% 激活參數(shù)的情況下達(dá)到了與 Qwen2.5 Dense 基礎(chǔ)模型相似的性能。這帶來了訓(xùn)練和推理成本的顯著節(jié)省。

后訓(xùn)練

為了開發(fā)能夠同時(shí)具備思考推理和快速響應(yīng)能力的混合模型，阿里云實(shí)施了一個(gè)四階段的訓(xùn)練流程，主要包括：

（1）長(zhǎng)思維鏈冷啟動(dòng)

（2）長(zhǎng)思維鏈強(qiáng)化學(xué)習(xí)

（3）思維模式融合

（4）通用強(qiáng)化學(xué)習(xí)

在第一階段，阿里云使用多樣的長(zhǎng)思維鏈數(shù)據(jù)對(duì)模型進(jìn)行了微調(diào)，涵蓋了數(shù)學(xué)、代碼、邏輯推理和 STEM 問題等多種任務(wù)和領(lǐng)域。這一過程旨在為模型配備基本的推理能力。第二階段的重點(diǎn)是大規(guī)模強(qiáng)化學(xué)習(xí)，利用基于規(guī)則的獎(jiǎng)勵(lì)來增強(qiáng)模型的探索和鉆研能力。

在第三階段，阿里云在一份包括長(zhǎng)思維鏈數(shù)據(jù)和常用的指令微調(diào)數(shù)據(jù)的組合數(shù)據(jù)上對(duì)模型進(jìn)行微調(diào)，將非思考模式整合到思考模型中。確保了推理和快速響應(yīng)能力的無縫結(jié)合。

最后，在第四階段，阿里云在包括指令遵循、格式遵循和 Agent 能力等在內(nèi)的 20 多個(gè)通用領(lǐng)域的任務(wù)上應(yīng)用了強(qiáng)化學(xué)習(xí)，以進(jìn)一步增強(qiáng)模型的通用能力并糾正不良行為。

高級(jí)用法

阿里云還為部署用戶提供了一種軟切換機(jī)制，允許用戶在 enable_thinking=True 時(shí)動(dòng)態(tài)控制模型的行為。具體來說，您可以在用戶提示或系統(tǒng)消息中添加 /think 和 /no_think 來逐輪切換模型的思考模式。在多輪對(duì)話中，模型會(huì)遵循最近的指令。

IT之家提醒：大家可以在 Qwen Chat 網(wǎng)頁版 (chat.qwen.ai) 和通義 App 中試用 Qwen3。