昨晚，大模型領域再次「熱鬧起來」，月之暗面發(fā)布在數(shù)學、代碼、多模態(tài)推理能力層面全面對標 OpenAI 的滿血版 o1 的多模態(tài)思考模型 K1.5。而最近大熱的 DeepSeek 正式推出了 DeepSeek-R1，同樣在數(shù)學、代碼和自然語言推理等任務上比肩 OpenAI o1 正式版。

去年 12 月開源的大模型 DeepSeek-V3 剛剛掀起了一陣熱潮，實現(xiàn)了諸多的不可能。這次開源的 R1 大模型則在一開始就讓一眾 AI 研究者感到「震驚」，人們紛紛在猜測這是如何做到的。

AutoAWQ 作者 Casper Hansen 表示，DeepSeek-R1 使用一種多階段循環(huán)的訓練方式：基礎→ RL →微調→ RL →微調→ RL。

UC Berkeley 教授 Alex Dimakis 則認為 DeepSeek 現(xiàn)在已經(jīng)處于領先位置，美國公司可能需要迎頭趕上了。

目前，DeepSeek 在網(wǎng)頁端、App 端和 API 端全面上線了 R1，下圖為網(wǎng)頁端對話界面，選擇 DeepSeek-R1 就能直接體驗。

體驗地址：https://www.deepseek.com/

此次，DeepSeek 發(fā)布了兩個參數(shù)為 660B 的 DeepSeek-R1-Zero 和 DeepSeek-R1，并選擇開源了模型權重，同時允許用戶使用 R1 來訓練其他模型。

在技術層面，R1 在后訓練階段大規(guī)模使用了強化學習（RL）技術，在僅用非常少標注數(shù)據(jù)的情況下，極大提升了模型推理能力。下圖為 R1 與 o1-1217、o1-mini、自家 DeepSeek-V3 在多個數(shù)據(jù)集上的性能比較，可以看到，R1 與 o1-1217 不相上下、互有勝負。

另外，DeepSeek-R1 蒸餾出了六個小模型，參數(shù)從小到大分別為 1.5B、7B、8B、14B、32B 以及 70B。這六個模型同樣完全開源，旨在回饋開源社區(qū)，推動「Open AI」的邊界。

模型下載地址：https://huggingface.co/deepseek-ai?cnotallow=f18057c998f54575cb0608a591c993fb

性能方面，蒸餾后的 R1 32B 和 70B 版本遠遠超過了 GPT-4o、Claude 3.5 Sonnet 和 QwQ-32B，并逼近 o1-mini。

至于很多開發(fā)者關心的 DeepSeek-R1 API 價格，可以說是一如既往地給力。

DeepSeek-R1 API 服務的定價為每百萬輸入 tokens 1 元（緩存命中）/ 4 元（緩存未命中），每百萬輸出 tokens 16 元。

顯然，與 o1 的 API 定價比起來（每百萬輸入 tokens 15 美元、每百萬輸出 tokens 60 美元），DeepSeek 具有極高的性價比。

DeepSeek 秉持了開源到底的決心，將 R1 模型的訓練技術全部開放，放出了背后的研究論文。

論文鏈接：https://github.com/deepseek-ai/DeepSeek-R1/blob/main/DeepSeek_R1.pdf

R1 技術報告

以往的研究主要依賴大量的監(jiān)督數(shù)據(jù)來提升模型性能。DeepSeek 的開發(fā)團隊則開辟了一種全新的思路：即使不用監(jiān)督微調（SFT）作為冷啟動，通過大規(guī)模強化學習也能顯著提升模型的推理能力。如果再加上少量的冷啟動數(shù)據(jù)，效果會更好。

為了做到這一點，他們開發(fā)了 DeepSeek-R1-Zero。具體來說，DeepSeek-R1-Zero 主要有以下三點獨特的設計：

首先是采用了群組相對策略優(yōu)化（GRPO）來降低訓練成本。GRPO 不需要使用與策略模型同樣大小的評估模型，而是直接從群組分數(shù)中估算基線。

對于每個輸入問題 q，GRPO 算法會從舊策略中采樣一組輸出 {o1, o2, ..., oG}，形成評估群組，然后通過最大化目標函數(shù)來優(yōu)化策略模型：

其中，優(yōu)勢值 A_i 通過標準化每個輸出的獎勵來計算：

其次是獎勵設計。如何設計獎勵，決定著 RL 優(yōu)化的方向。DeepSeek 給出的解法是采用準確度和格式兩種互補的獎勵機制。

準確度獎勵用于評估回答的正確性。在數(shù)學題中，模型需要用特定格式給出答案以便驗證；在編程題中，則通過編譯器運行測試用例獲取反饋。

第二種是格式獎勵，模型需要將思考過程放在 '<think>' 和 '</think>' 這兩個特定的標簽之間，提升輸出的規(guī)范性。

該團隊沒有使用常用的神經(jīng)網(wǎng)絡獎勵模型，是因為在大規(guī)模強化學習過程中，模型可能會出現(xiàn)「作弊」問題。同時也避免了重新訓練獎勵模型需要額外資源，簡化了訓練流程。

第三點是訓練模版，在 GRPO 和獎勵設計的基礎上，開發(fā)團隊設計了如表 1 所示的簡單模板來引導基礎模型。這個模板要求 DeepSeek-R1-Zero 先給出推理過程，再提供最終答案。這種設計僅規(guī)范了基本結構，不對內容施加任何限制或偏見，比如不強制要求使用反思性推理或特定解題方法。這種最小干預的設計能夠清晰地觀察模型在 RL 的進步過程。

DeepSeek-R1-Zero 的提升也非常顯著。如圖 2 所示，做 2024 年的 AIME 數(shù)學奧賽試卷，DeepSeek-R1-Zero 的平均 pass@1 分數(shù)從最初的 15.6% 顯著提升到了 71.0%，達到了與 OpenAI-o1-0912 相當?shù)乃健Ｔ诙鄶?shù)投票機制中，DeepSeek-R1-Zero 在 AIME 中的成功率進一步提升到了 86.7%，甚至超過了 OpenAI-o1-0912 的表現(xiàn)。

DeepSeek-R1-Zero 與 OpenAI 的 o1-0912 在多個推理相關基準測試上的得分對比。

在訓練過程中，DeepSeek-R1-Zero 展現(xiàn)出了顯著的自我進化能力。它學會了生成數(shù)百到數(shù)千個推理 token，能夠更深入地探索和完善思維過程。

隨著訓練的深入，模型也發(fā)展出了一些高級行為，比如反思能力和探索不同解題方法的能力。這些都不是預先設定的，而是模型在強化學習環(huán)境中自然產(chǎn)生的。

特別值得一提的是，開發(fā)團隊觀察到了一個有趣的「Aha Moment」。在訓練的中期階段，DeepSeek-R1-Zero 學會了通過重新評估初始方法來更合理地分配思考時間。這可能就是強化學習的魅力：只要提供正確的獎勵機制，模型就能自主發(fā)展出高級的解題策略。

不過 DeepSeek-R1-Zero 仍然存在一些局限性，如回答的可讀性差、語言混雜等問題。

利用冷啟動進行強化學習

與 DeepSeek-R1-Zero 不同，為了防止基礎模型在 RL 訓練早期出現(xiàn)不穩(wěn)定的冷啟動階段，開發(fā)團隊針對 R1 構建并收集了少量的長 CoT 數(shù)據(jù)，以作為初始 RL actor 對模型進行微調。為了收集此類數(shù)據(jù)，開發(fā)團隊探索了幾種方法：以長 CoT 的少樣本提示為例、直接提示模型通過反思和驗證生成詳細答案、以可讀格式收集 DeepSeek-R1-Zero 輸出、以及通過人工注釋者的后處理來細化結果。

DeepSeek 收集了數(shù)千個冷啟動數(shù)據(jù)，以微調 DeepSeek-V3-Base 作為 RL 的起點。與 DeepSeek-R1-Zero 相比，冷啟動數(shù)據(jù)的優(yōu)勢包括：

• 可讀性：DeepSeek-R1-Zero 的一個主要限制是其內容通常不適合閱讀。響應可能混合多種語言或缺乏 markdown 格式來為用戶突出顯示答案。相比之下，在為 R1 創(chuàng)建冷啟動數(shù)據(jù)時，開發(fā)團隊設計了一個可讀模式，在每個響應末尾包含一個摘要，并過濾掉不友好的響應。
• 潛力：通過精心設計具有人類先驗知識的冷啟動數(shù)據(jù)模式，開發(fā)團隊觀察到相較于 DeepSeek-R1-Zero 更好的性能。開發(fā)團隊相信迭代訓練是推理模型的更好方法。

推理導向的強化學習

在利用冷啟動數(shù)據(jù)上對 DeepSeek-V3-Base 進行微調后，開發(fā)團隊采用與 DeepSeek-R1-Zero 相同的大規(guī)模強化學習訓練流程。此階段側重于增強模型的推理能力，特別是在編碼、數(shù)學、科學和邏輯推理等推理密集型任務中。

為了緩解語言混合的問題，開發(fā)團隊在 RL 訓練中引入了語言一致性獎勵，其計算方式為 CoT 中目標語言單詞的比例。雖然消融實驗表明這種對齊會導致模型性能略有下降，但這種獎勵符合人類偏好，更具可讀性。

最后，開發(fā)團隊將推理任務的準確率和語言一致性的獎勵直接相加，形成最終獎勵。然后對微調后的模型進行強化學習 (RL) 訓練，直到它在推理任務上實現(xiàn)收斂。

拒絕采樣和監(jiān)督微調

當面向推理導向的強化學習收斂時，開發(fā)團隊利用生成的檢查點為后續(xù)輪次收集 SFT（監(jiān)督微調）數(shù)據(jù)。此階段結合了來自其他領域的數(shù)據(jù)，以增強模型在寫作、角色扮演和其他通用任務中的能力。

開發(fā)團隊通過從上述強化學習訓練的檢查點執(zhí)行拒絕采樣來整理推理提示并生成推理軌跡。此階段通過合并其他數(shù)據(jù)擴展數(shù)據(jù)集，其中一些數(shù)據(jù)使用生成獎勵模型，將基本事實和模型預測輸入 DeepSeek-V3 進行判斷。

此外，開發(fā)團隊過濾掉了混合語言、長段落和代碼塊的思路鏈。對于每個提示，他們會抽取多個答案，并僅保留正確的答案。最終，開發(fā)團隊收集了約 60 萬個推理相關的訓練樣本。

用于所有場景的強化學習

為了進一步使模型與人類偏好保持一致，這里還要實施第二階段強化學習，旨在提高模型的有用性和無害性，同時完善其推理能力。

具體來說，研究人員使用獎勵信號和各種提示分布的組合來訓練模型。對于推理數(shù)據(jù)，遵循 DeepSeek-R1-Zero 中概述的方法，該方法利用基于規(guī)則的獎勵來指導數(shù)學、代碼和邏輯推理領域的學習過程；對于一般數(shù)據(jù)，則采用獎勵模型來捕捉復雜而微妙的場景中的人類偏好。

最終，獎勵信號和多樣化數(shù)據(jù)分布的整合使我們能夠訓練出一個在推理方面表現(xiàn)出色的模型，同時優(yōu)先考慮有用性和無害性。

蒸餾：讓小模型具備推理能力

為了使更高效的小模型具備 DeekSeek-R1 那樣的推理能力，開發(fā)團隊還直接使用 DeepSeek-R1 整理的 80 萬個樣本對 Qwen 和 Llama 等開源模型進行了微調。研究結果表明，這種簡單的蒸餾方法顯著增強了小模型的推理能力。

得益于以上多項技術的創(chuàng)新，開發(fā)團隊的大量基準測試表明，DeepSeek-R1 實現(xiàn)了比肩業(yè)內 SOTA 推理大模型的硬實力，具體可以參考以下結果：

更多技術細節(jié)請參閱原論文。