人工智能在過去十年中的發(fā)展令人驚嘆。其中，2017 年 Google 發(fā)布的“Attention Is All You Need”論文奠定了神經(jīng)網(wǎng)絡(luò)架構(gòu)的重要基礎(chǔ)，推動了大規(guī)模語言模型（LLM）的突破。

OpenAI 早期專注于強(qiáng)化學(xué)習(xí)（RL），但在 Transformer 結(jié)構(gòu)問世后，迅速調(diào)整方向，借助 Google 的開源研究開發(fā)出強(qiáng)大的 LLM。然而，盡管 OpenAI 最初以“開放”為宗旨，近年來卻逐漸轉(zhuǎn)向封閉模式，自 GPT-2 以來，其所有模型進(jìn)展均未再公開。

最近，OpenAI 發(fā)布了名為 “o1” 的新模型，專注于增強(qiáng)長鏈?zhǔn)剿季S（Chain-of-Thought）和強(qiáng)化學(xué)習(xí)，以提升解決復(fù)雜問題的能力。然而，該模型的具體訓(xùn)練細(xì)節(jié)仍未公開。

但這一切正在改變。

中國 AI 公司 DeepSeek 近期發(fā)布了新一代模型 DeepSeek-R1，在復(fù)雜領(lǐng)域的推理能力上媲美 OpenAI 的 o1，甚至在多個數(shù)學(xué)和編程基準(zhǔn)測試上超越了它。

圖片

LLM 的標(biāo)準(zhǔn)訓(xùn)練流程

訓(xùn)練大規(guī)模語言模型通常從大規(guī)模文本數(shù)據(jù)的收集開始。這些數(shù)據(jù)可能來自公開網(wǎng)絡(luò)資源或?qū)Ｓ袛?shù)據(jù)集。

圖片

隨后，這些數(shù)據(jù)經(jīng)過清理、格式化、分詞，并轉(zhuǎn)換為文本嵌入，供模型進(jìn)行自監(jiān)督學(xué)習(xí)。這一階段稱為預(yù)訓(xùn)練，幫助模型掌握語法、語義和上下文關(guān)系。

在此基礎(chǔ)上，模型會經(jīng)過 監(jiān)督微調(diào)（SFT），用于提升特定任務(wù)（如數(shù)學(xué)推理、編程、翻譯等）的能力。

為了確保模型生成的內(nèi)容符合人類偏好，通常會通過基于人類反饋的強(qiáng)化學(xué)習(xí)（RLHF）進(jìn)行優(yōu)化，例如使用 PPO（近端策略優(yōu)化） 或 DPO（直接偏好優(yōu)化）。

強(qiáng)化學(xué)習(xí)在長鏈?zhǔn)剿季S的優(yōu)化上發(fā)揮著關(guān)鍵作用，這也是 DeepSeek-R1 能夠展現(xiàn)強(qiáng)大推理能力的核心原因。

突破 SFT 訓(xùn)練方式，直接使用強(qiáng)化學(xué)習(xí)

DeepSeek 團(tuán)隊以 DeepSeek-V3-Base 作為預(yù)訓(xùn)練基礎(chǔ)模型，并跳過了傳統(tǒng)的 SFT 過程，直接使用強(qiáng)化學(xué)習(xí)（RL）來提升推理能力。這使得模型能夠在沒有監(jiān)督數(shù)據(jù)的情況下，自我進(jìn)化并提升推理能力。

在強(qiáng)化學(xué)習(xí)中，DeepSeek 團(tuán)隊并未采用 OpenAI 開發(fā)的 PPO，而是提出了一種自研算法 GRPO（組相對策略優(yōu)化）。

PPO vs. GRPO

• PPO 依賴“策略模型”和“價值模型”計算優(yōu)勢估計（Advantage Estimation），計算成本較高。
• GRPO 直接根據(jù)一組樣本的相對獎勵計算優(yōu)勢估計，避免了價值模型的計算，提高訓(xùn)練效率并降低成本。

強(qiáng)化學(xué)習(xí)獎勵機(jī)制

DeepSeek-R1 采用基于規(guī)則的獎勵系統(tǒng)，而非神經(jīng)網(wǎng)絡(luò)獎勵模型，以減少計算開銷并避免“獎勵作弊”現(xiàn)象。

• 準(zhǔn)確性獎勵：依據(jù)答案的正確性給予分?jǐn)?shù)。
• 格式獎勵：若模型在回答中遵循特定格式，則額外加分。例如，推理過程包裹在 <think></think> 標(biāo)簽中，最終答案位于 <answer></answer> 標(biāo)簽內(nèi)。

經(jīng)過這一訓(xùn)練階段，模型進(jìn)化為 DeepSeek-R1-Zero，并展現(xiàn)出驚人的推理能力。

圖片

DeepSeek-R1-Zero 訓(xùn)練效果

隨著強(qiáng)化學(xué)習(xí)的持續(xù)進(jìn)行，**DeepSeek-R1-Zero 在 AIME（2024）數(shù)學(xué)競賽上的首答正確率（pass@1）從 15.6% 提升至 71%**，幾乎與 OpenAI o1 持平。

圖片

進(jìn)一步測試表明，在 cons@64 指標(biāo)上，DeepSeek-R1-Zero 甚至超越了 OpenAI o1（83.3% vs 86.7%）！

強(qiáng)化學(xué)習(xí)訓(xùn)練中的關(guān)鍵現(xiàn)象

• 模型逐漸增加計算時間，并生成更多推理步驟，以深入思考復(fù)雜問題。
• 自我反思、自我糾正 等能力自然出現(xiàn)，使其能夠回顧并調(diào)整推理過程。
• 在訓(xùn)練過程中，研究人員觀察到模型在推理某個復(fù)雜數(shù)學(xué)問題時，突然意識到自己可以更深入思考，并主動重新評估之前的推理步驟——這種現(xiàn)象被稱為“頓悟時刻（Aha Moment）”。

圖片

補(bǔ)充 SFT 以優(yōu)化模型表達(dá)能力

盡管純強(qiáng)化學(xué)習(xí)訓(xùn)練提升了推理能力，但 DeepSeek-R1-Zero 仍然存在一些問題，例如：

• 輸出格式混亂，影響可讀性。
• 回答可能混雜多種語言。

為此，研究人員引入了一小部分 長鏈?zhǔn)剿季S（CoT）數(shù)據(jù) 進(jìn)行 SFT，確保模型能夠清晰表達(dá)推理過程。隨后，再次使用強(qiáng)化學(xué)習(xí)優(yōu)化推理能力，同時引入語言一致性獎勵，確保生成的內(nèi)容保持單一語言表達(dá)。

最終，模型演化為 DeepSeek-R1。

DeepSeek-R1 超越 OpenAI o1 的測試表現(xiàn)

DeepSeek-R1 在多個基準(zhǔn)測試上展現(xiàn)出卓越表現(xiàn)，尤其是在：

• 數(shù)學(xué)推理（AIME、MATH-500）
• 編程能力（LiveCodeBench、SWE Verified、Codeforces）

此外，DeepSeek-R1 還在長上下文理解、事實性問答、寫作任務(wù)等領(lǐng)域超過了自家的 DeepSeek-V3，并在格式化指令跟隨能力上表現(xiàn)優(yōu)異。

圖片

小型模型的蒸餾研究團(tuán)隊使用 知識蒸餾 方法，將 DeepSeek-R1 的知識遷移至更小的 Qwen 和 Llama 模型，如：

• DeepSeek-R1-Distill-Qwen-32B 超越 OpenAI o1-mini。
• DeepSeek-R1-Distill-Llama-70B 在多數(shù)測試中遠(yuǎn)勝對手。

為了進(jìn)一步優(yōu)化，研究人員還嘗試對 Qwen-32B 進(jìn)行 RL 訓(xùn)練，最終得到 DeepSeek-R1-Zero-Qwen-32B，其推理能力達(dá)到 Qwen 旗下最強(qiáng)模型 QwQ-32B-Preview 的水平。

圖片

訓(xùn)練成本與推理費用

DeepSeek-R1 采用 6710 億參數(shù)的 專家混合架構(gòu)（MoE），但訓(xùn)練成本遠(yuǎn)低于 OpenAI 和 Meta 的同類模型。

• DeepSeek-R1 訓(xùn)練成本約為 10M（相比之下，GPT-4 訓(xùn)練成本約 $100M，o1 可能更高）。
• 推理費用僅 60 / 100 萬 tokens，后者比 DeepSeek-R1 貴 27 倍。

DeepSeek-R1 未來展望

盡管 DeepSeek-R1 在某些任務(wù)上仍遜于 DeepSeek-V3（如函數(shù)調(diào)用、多輪對話、JSON 生成等），但其開源研究已經(jīng)對 AI 領(lǐng)域產(chǎn)生深遠(yuǎn)影響。

Hugging Face 目前已發(fā)布開源復(fù)現(xiàn)版 Open-R1，預(yù)計未來將有更多基于 DeepSeek-R1 的項目涌現(xiàn)。

這一突破不僅提升了開源 LLM 的競爭力，更加速了 AI 技術(shù)的民主化進(jìn)程！