今天分享DeepSeek R1 ，Title: DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning：通過(guò)強(qiáng)化學(xué)習(xí)激勵(lì)LLM的推理能力。
這篇文章介紹了DeepSeek的第一代推理模型 DeepSeek-R1-Zero 和 DeepSeek-R1。DeepSeek-R1-Zero 模型通過(guò)大規(guī)模強(qiáng)化學(xué)習(xí) (RL) 訓(xùn)練，沒(méi)有監(jiān)督微調(diào) (SFT) 作為初步步驟，展示了RL的潛力及其帶來(lái)的卓越的推理能力。 通過(guò)強(qiáng)化學(xué)習(xí)，DeepSeek-R1-Zero 自然而然地涌現(xiàn)出許多強(qiáng)大而有趣的推理行為。為了進(jìn)一步優(yōu)化R1-Zero存在的一些問(wèn)題(語(yǔ)言混亂，綜合能力提升)，他們推出了 DeepSeek-R1，它在強(qiáng)化學(xué)習(xí)之前結(jié)合了多階段訓(xùn)練和冷啟動(dòng)數(shù)據(jù)微調(diào)。 DeepSeek-R1 在推理任務(wù)上取得了與 OpenAI-01-1217 相媲美的性能。為了支持研究社區(qū)，他們開(kāi)源了 DeepSeek-R1-Zero、DeepSeek-R1 以及六個(gè)從 DeepSeek-R1 提煉出來(lái)的密集模型（1.5B、7B、8B、14B、32B、70B），這些模型基于 Qwen 和 Llama。
該方法特點(diǎn)總結(jié)如下：

1）直接將強(qiáng)化學(xué)習(xí)應(yīng)用于基礎(chǔ)模型，無(wú)需依賴監(jiān)督微調(diào)（SFT）作為初步步驟。

2）引入 DeepSeek-R1 開(kāi)發(fā)流程，該流程結(jié)合了兩個(gè)強(qiáng)化學(xué)習(xí)階段和兩個(gè)監(jiān)督微調(diào)階段，為模型的推理和非推理能力奠定基礎(chǔ)。

3）通過(guò)蒸餾技術(shù)將大型模型的推理模式轉(zhuǎn)移到小型模型中，提高了小型模型在推理任務(wù)上的性能。

一、概述

? Title: DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning

? Authors: DeepSeek-AI

? Github:?? https://github.com/deepseek-ai/DeepSeek-R1??

1.Motivation

? 當(dāng)前的大型語(yǔ)言模型（LLMs）在推理任務(wù)上取得了顯著進(jìn)展，但仍然面臨挑戰(zhàn)。

? 純粹的強(qiáng)化學(xué)習(xí)（RL）在提升LLMs推理能力方面的潛力尚未充分探索，尤其是在不依賴監(jiān)督數(shù)據(jù)的情況下。

? 通過(guò)RL訓(xùn)練的模型，如DeepSeek-R1-Zero，在可讀性和語(yǔ)言混合方面(例如中英文混著說(shuō))存在問(wèn)題，需要進(jìn)一步改進(jìn)以提升用戶友好性。

2.Methods

省流版總結(jié):

DeepSeek-R1-Zero: 使用DeepSeek-V3-Base作為基礎(chǔ)模型，采用GRPO（Group Relative Policy Optimization）作為強(qiáng)化學(xué)習(xí)框架，在沒(méi)有監(jiān)督數(shù)據(jù)的情況下提升模型在推理方面的性能。DeepSeek-R1:

? 冷啟動(dòng)（Cold Start）: 收集少量高質(zhì)量的長(zhǎng)CoT（Chain-of-Thought）數(shù)據(jù)，對(duì)DeepSeek-V3-Base模型進(jìn)行微調(diào)，作為強(qiáng)化學(xué)習(xí)的初始actor。

? 面向推理的強(qiáng)化學(xué)習(xí)（Reasoning-oriented Reinforcement Learning）: 應(yīng)用與DeepSeek-R1-Zero相同的強(qiáng)化學(xué)習(xí)訓(xùn)練過(guò)程，但側(cè)重于增強(qiáng)模型在編碼、數(shù)學(xué)、科學(xué)和邏輯推理等方面的推理能力。引入語(yǔ)言一致性獎(jiǎng)勵(lì)，以減輕CoT中出現(xiàn)的語(yǔ)言混合問(wèn)題。

? 拒絕抽樣和監(jiān)督微調(diào)（Rejection Sampling and Supervised Fine-Tuning）: 利用強(qiáng)化學(xué)習(xí)收斂后的checkpoint收集SFT（Supervised Fine-Tuning）數(shù)據(jù)，用于后續(xù)訓(xùn)練。

? 所有場(chǎng)景的強(qiáng)化學(xué)習(xí)（Reinforcement Learning for all Scenarios）: 實(shí)施二級(jí)強(qiáng)化學(xué)習(xí)階段，旨在提高模型的幫助性和無(wú)害性，同時(shí)優(yōu)化其推理能力。

? 知識(shí)蒸餾： 使用DeepSeek-R1精心策劃的800k個(gè)樣本，直接微調(diào)開(kāi)源模型Qwen和Llama。

詳細(xì)方法和步驟:

DeepSeek-R1-Zero：基礎(chǔ)模型的強(qiáng)化學(xué)習(xí)

? 強(qiáng)化學(xué)習(xí)算法: 采用 Group Relative Policy Optimization (GRPO) 算法，該算法無(wú)需 critic 模型，通過(guò)組內(nèi)分?jǐn)?shù)估計(jì)基線，降低了訓(xùn)練成本。

? Reward獎(jiǎng)勵(lì)建模: 使用基于規(guī)則的獎(jiǎng)勵(lì)系統(tǒng)，包括：

a.準(zhǔn)確性獎(jiǎng)勵(lì): 評(píng)估答案是否正確，例如數(shù)學(xué)題答案最終結(jié)果的正確性，代碼題編譯器的反饋。

b.格式獎(jiǎng)勵(lì): 鼓勵(lì)模型將思考過(guò)程置于 ??<think>??? 和 ??</think>?? 標(biāo)簽之間。

? 訓(xùn)練模板: 設(shè)計(jì)了包含 ??<think>??? 和 ??</think>?? 標(biāo)簽的模板，引導(dǎo)模型先輸出思考過(guò)程，再輸出最終答案。

? 自進(jìn)化過(guò)程: DeepSeek-R1-Zero 在訓(xùn)練過(guò)程中展現(xiàn)出自進(jìn)化特性，能夠自主學(xué)習(xí)更復(fù)雜的推理策略，例如反思和探索多種問(wèn)題解決路徑。

DeepSeek-R1：結(jié)合冷啟動(dòng)的強(qiáng)化學(xué)習(xí)

? 冷啟動(dòng) (Cold Start): 為了解決 DeepSeek-R1-Zero 的可讀性問(wèn)題，DeepSeek-R1 首先收集少量高質(zhì)量的 CoT 數(shù)據(jù)，對(duì) DeepSeek-V3-Base 模型進(jìn)行微調(diào)，作為強(qiáng)化學(xué)習(xí)的初始 actor。冷啟動(dòng)數(shù)據(jù)采用包含總結(jié)標(biāo)記，并過(guò)濾掉不友好的回復(fù)。

a.方法：1) 挑選高質(zhì)量Long COT數(shù)據(jù)。2) 添加和標(biāo)記。

b.優(yōu)點(diǎn)：1) 優(yōu)化可讀性(解決R1-Zero的多語(yǔ)言問(wèn)題或者markdown格式問(wèn)題)。2) 精心挑選的符合人類偏好的數(shù)據(jù)可以在R1-zero上繼續(xù)提升performance。

c.問(wèn)題：為啥要解決可讀性問(wèn)題？不解決是不是可能會(huì)更好（例如降低輸出長(zhǎng)度，更高效的推理）。

? 面向推理的強(qiáng)化學(xué)習(xí) (Reasoning-oriented RL): 在冷啟動(dòng)模型的基礎(chǔ)上，應(yīng)用與 DeepSeek-R1-Zero 類似的強(qiáng)化學(xué)習(xí)過(guò)程，側(cè)重于提升模型在編碼、數(shù)學(xué)、科學(xué)和邏輯推理等任務(wù)上的能力。為了解決多語(yǔ)言混合(多語(yǔ)言推理)問(wèn)題，引入了語(yǔ)言一致性獎(jiǎng)勵(lì)。

      a.問(wèn)題：科學(xué)和邏輯推理任務(wù)以及數(shù)據(jù)集是怎么訓(xùn)練的？

? 拒絕采樣和監(jiān)督微調(diào) (Rejection Sampling and SFT): 當(dāng)推理導(dǎo)向的強(qiáng)化學(xué)習(xí)收斂后，利用得到的 checkpoint 進(jìn)行拒絕采樣，生成新的 SFT 數(shù)據(jù)，并結(jié)合 DeepSeek-V3 的數(shù)據(jù)，增強(qiáng)模型在寫(xiě)作、角色扮演和通用任務(wù)上的能力。

      a.目的：

   a)此階段在面向推理的強(qiáng)化學(xué)習(xí)（RL）過(guò)程收斂后啟動(dòng)。

   b)主要目的是收集監(jiān)督微調(diào)（SFT）數(shù)據(jù)，用于后續(xù)的訓(xùn)練輪次。

   c)與最初的冷啟動(dòng)數(shù)據(jù)僅關(guān)注推理不同，此階段旨在擴(kuò)展模型的能力，使其涵蓋寫(xiě)作、角色扮演和其他通用任務(wù)，而不僅僅是推理。

      b.數(shù)據(jù)收集 - 推理數(shù)據(jù)：

          a)方法：使用從推理導(dǎo)向的 RL 階段獲得的檢查點(diǎn)，通過(guò)拒絕采樣生成推理軌跡。

          b)數(shù)據(jù)集擴(kuò)展：不同于前面 RL 階段僅僅使用的基于規(guī)則的獎(jiǎng)勵(lì)數(shù)據(jù)。這里引入了非ru le-based reward的數(shù)據(jù)，在某些情況下使用**生成式獎(jiǎng)勵(lì)模型（DeepSeek-V3）**來(lái)判斷響應(yīng)。

          c)數(shù)據(jù)過(guò)濾： 為了確保質(zhì)量和可讀性，輸出結(jié)果會(huì)經(jīng)過(guò)過(guò)濾，以移除：1)包含混合語(yǔ)言的思維鏈；2）過(guò)長(zhǎng)的段落；3）代碼塊

          d)采樣與選擇： 對(duì)于每個(gè)提示，會(huì)生成多個(gè)響應(yīng)。僅保留“正確”的響應(yīng)用于數(shù)據(jù)集。

          e)數(shù)據(jù)集大?。?/strong> 以這種方式收集了大約 60 萬(wàn)個(gè)與推理相關(guān)的訓(xùn)練樣本。

        c.數(shù)據(jù)收集 - 非推理數(shù)據(jù)：

              a)涵蓋范圍：寫(xiě)作、事實(shí)性問(wèn)答（QA）、自我認(rèn)知和翻譯等領(lǐng)域。

              b)論文中提到采用 DeepSeek-V3 的流程并重用 DeepSeek-V3 SFT 數(shù)據(jù)集的部分內(nèi)容 來(lái)處理這些非推理任務(wù)。大約收集了 20 萬(wàn)個(gè)與推理無(wú)關(guān)的樣本。  (注意：非推理數(shù)據(jù)的收集細(xì)節(jié)在 2.3.4 節(jié)中進(jìn)一步闡述)

            d.收集數(shù)據(jù)的使用：

               a)收集到的推理和非推理數(shù)據(jù)（總計(jì)約 80 萬(wàn)個(gè)樣本 - 60 萬(wàn)個(gè)推理樣本 + 20 萬(wàn)個(gè)非推理樣本）隨后用于對(duì) DeepSeek-V3-Base 模型進(jìn)行兩個(gè) epoch 的微調(diào)。然后，這個(gè)微調(diào)后的模型進(jìn)入 2.3.4 節(jié)描述的最終 RL 階段。

               b)總結(jié)：該步驟利用通過(guò) RL 學(xué)習(xí)到的推理能力來(lái)生成多樣化和高質(zhì)量的 SFT 數(shù)據(jù)集。這個(gè)數(shù)據(jù)集加強(qiáng)了推理能力，還擴(kuò)展了模型的通用能力，用于最終的對(duì)齊和改進(jìn)階段的訓(xùn)練。

• 面向所有場(chǎng)景的強(qiáng)化學(xué)習(xí) (Reinforcement Learning for all Scenarios): 為了進(jìn)一步對(duì)齊人類偏好，實(shí)施了第二階段強(qiáng)化學(xué)習(xí)，旨在提高模型的helpfulness和harmlessness。

             a.推理數(shù)據(jù)：例如數(shù)學(xué)、代碼、邏輯推理還是用rule base方法監(jiān)督。

             b.一般數(shù)據(jù)：還是用reward模型來(lái)提供復(fù)雜和微妙場(chǎng)景的偏好信息。估計(jì)還是采用pairwise的數(shù)據(jù)訓(xùn)練的模型。

             c.有用性：只關(guān)注最終summary的結(jié)果，減少對(duì)推理過(guò)程的干擾。

             d.無(wú)害性：對(duì)整個(gè)response進(jìn)行監(jiān)督，降低任何存在的風(fēng)險(xiǎn)。

模型蒸餾 (Distillation):

? 為了獲得更高效的小型推理模型，論文將 DeepSeek-R1 的推理能力蒸餾到 Qwen 和 Llama 系列的開(kāi)源模型中。蒸餾過(guò)程僅使用監(jiān)督微調(diào) (SFT)，未使用強(qiáng)化學(xué)習(xí)階段。

3.Conclusion

? DeepSeek-R1-Zero：展示了純強(qiáng)化學(xué)習(xí)在激勵(lì)LLM推理能力方面的潛力，無(wú)需依賴監(jiān)督數(shù)據(jù)即可實(shí)現(xiàn)強(qiáng)大的性能。

          a.Aha-moment: 強(qiáng)化學(xué)習(xí)之美（模型的頓悟時(shí)刻，通過(guò)學(xué)會(huì)重新評(píng)估初始方法來(lái)為問(wèn)題分配更多的思考時(shí)間）

          b.輸出長(zhǎng)度持續(xù)增加（思考時(shí)間持續(xù)增加）

          c.準(zhǔn)確率持續(xù)提升（采樣16個(gè)response計(jì)算精度）

? DeepSeek-R1：通過(guò)結(jié)合冷啟動(dòng)數(shù)據(jù)和迭代強(qiáng)化學(xué)習(xí)微調(diào)，進(jìn)一步提升了模型性能，實(shí)現(xiàn)了與OpenAI-01-1217在各種任務(wù)上相媲美的水平。

? 知識(shí)蒸餾：通過(guò)使用DeepSeek-R1作為教師模型，生成800K訓(xùn)練樣本，并微調(diào)幾個(gè)小型密集模型。結(jié)果表明，這種蒸餾方法能夠顯著提高小型模型的推理能力。

4.Limitation

? 局限性 1: DeepSeek-R1 的通用能力有待提升。 在函數(shù)調(diào)用、多輪對(duì)話、復(fù)雜角色扮演和 JSON 輸出等任務(wù)上，DeepSeek-R1 的能力仍不及 DeepSeek-V3。

? 局限性 2: 語(yǔ)言混合問(wèn)題。 DeepSeek-R1 在處理非中英文查詢時(shí)，可能會(huì)出現(xiàn)語(yǔ)言混合問(wèn)題，例如用英文進(jìn)行推理和回復(fù)。

? 局限性 3: 提示敏感性。 DeepSeek-R1 對(duì)提示詞比較敏感，少樣本提示 (few-shot prompting) 會(huì)降低其性能。

? 局限性 4: 軟件工程任務(wù)上的應(yīng)用受限。 由于評(píng)估時(shí)間較長(zhǎng)，大規(guī)模強(qiáng)化學(xué)習(xí)在軟件工程任務(wù)上的應(yīng)用尚不充分，DeepSeek-R1 在軟件工程基準(zhǔn)測(cè)試上相比 DeepSeek-V3 提升有限。

二、詳細(xì)內(nèi)容

1.Why DeepSeek Zero Work?

1)基于deepseek v3，其具備強(qiáng)大的基座能力。

2)基于GRPO，對(duì)長(zhǎng)文本（long cot），GRPO的loss函數(shù)訓(xùn)練更穩(wěn)定，容易激發(fā)出長(zhǎng)推理能力，并且同樣對(duì)于長(zhǎng)文本，可能PPO的Critical Model更不準(zhǔn)，反而不利于監(jiān)督。

3)為什么模型能自主出現(xiàn)自進(jìn)化現(xiàn)象和“aha moment”？

a.可能答案1: 模型真的從0到1學(xué)會(huì)了深度推理，出現(xiàn)了頓悟。

a）感覺(jué)難度系數(shù)太高，rule-base方式監(jiān)督信號(hào)比較稀疏，只能說(shuō)base-model足夠強(qiáng)，才有一定概率能激發(fā)。

b.可能答案2: 基座模型其實(shí)見(jiàn)過(guò)非常多的深度推理的數(shù)據(jù)，包括數(shù)學(xué)，代碼，科學(xué)等，我們只需要適當(dāng)?shù)谋O(jiān)督（Rule-base RL），激活這些能力即可。

            a）如工作[1]中提到：整個(gè) RL 過(guò)程是將原本膚淺的自我反思轉(zhuǎn)變?yōu)橛行У淖晕曳此迹宰畲蠡A(yù)期獎(jiǎng)勵(lì)，從而提高推理能力。

c.可能答案3：數(shù)據(jù)污染，可能預(yù)訓(xùn)練已經(jīng)見(jiàn)過(guò)非常多的這種深度推理的數(shù)據(jù)了。

            a）感覺(jué)也有可能，[1]中提到llama3不太行，qwen2.5，deepseek這類模型反而效果不錯(cuò)。

4)為什么rule-base的監(jiān)督信號(hào)能work？

? 任務(wù)可能其實(shí)比較簡(jiǎn)單，例如[1]提到epoch=0就有這種反思，但是可能不太對(duì)，適當(dāng)監(jiān)督下就OK了？

5)為什么不用prm監(jiān)督？

? 數(shù)據(jù)集構(gòu)建成本高，這里可能openai走了不少?gòu)澛?，?biāo)注了非常多的數(shù)據(jù)，所以特寶貝他們的cot過(guò)程。

? prm可能效果不一定好？可能并不太能準(zhǔn)確判斷中間過(guò)程的好壞。例如開(kāi)始想錯(cuò)了，不代表我后面不能做對(duì)

? 容易被reward hacking？這個(gè)不確定，但是感覺(jué)限制了llm的發(fā)揮，其實(shí)任何任務(wù)的推理過(guò)程都可以有很多種?；蛟S這是縮短推理路徑可以嘗試的一些方法。

6）自主挖掘推理過(guò)程可能比模仿人類推理更簡(jiǎn)單?。?！

? 原因假設(shè)：模型通過(guò)實(shí)踐和試錯(cuò)來(lái)發(fā)現(xiàn)解決問(wèn)題的最佳方法。

? 如[2]提出：人類標(biāo)注者在創(chuàng)建訓(xùn)練數(shù)據(jù)時(shí)，很難知道哪種解決方案最適合模型。人類標(biāo)注者可能會(huì)注入模型不理解的知識(shí)，或者忽略模型已有的知識(shí)，導(dǎo)致模型難以理解。而強(qiáng)化學(xué)習(xí)讓模型通過(guò)試錯(cuò)來(lái)自主發(fā)現(xiàn)適合自己的解決方案。

2 Why DeepSeek R1 Work？

1)數(shù)據(jù)，數(shù)據(jù)還是數(shù)據(jù)！

1. 高質(zhì)量的Long Cot Reasoning數(shù)據(jù)600k：基于Zero超低低成本 收集了600k高質(zhì)量的Long COT Reasoning的數(shù)據(jù)。這里主要數(shù)學(xué)，編程，科學(xué)等領(lǐng)域的數(shù)據(jù)，也包括經(jīng)過(guò)推理強(qiáng)化后的Zero模型生成的通用場(chǎng)景的推理數(shù)據(jù)。
2. 通用推理能力：非推理數(shù)據(jù)，通用場(chǎng)景高質(zhì)量數(shù)據(jù)收集；prompt deepseek v3生成高質(zhì)量的通用數(shù)據(jù)集。

 2)Q：為啥感覺(jué)DeepSeek-R1能力主要來(lái)自于蒸餾DeepSeek-Zero的能力？

        a.能力來(lái)源于DeepSeek-Zero蒸餾（600k高質(zhì)量的數(shù)據(jù)）：前面高質(zhì)量的冷啟動(dòng)數(shù)據(jù)提升了Zero推理結(jié)果的可讀性，可能還有通用能力，同時(shí)這些Long COT數(shù)據(jù)模型學(xué)起來(lái)可能非?？欤?yàn)榫褪峭粋€(gè)base模型調(diào)教出來(lái)的。同時(shí)還能拓展到其他非數(shù)學(xué)推理等場(chǎng)景。

         b. 但也不只是蒸餾： 最后階段10k step的全場(chǎng)景RL訓(xùn)練也能繼續(xù)提升performance，但是論文沒(méi)放出具體指標(biāo)收益，不確定各部分的收益，猜測(cè)可能第一步有比較多的簡(jiǎn)單易學(xué)的Long COT數(shù)據(jù)來(lái)學(xué)習(xí)了，收益可能還比較大，后面RL能繼續(xù)提升能力？

3) Q：為什么冷啟動(dòng)階段還采用高質(zhì)量的數(shù)據(jù)SFT的老路子？

        a.提升DeepSeek-Zero模型生成的Long COT數(shù)據(jù)的可讀性，可能是為了方便后續(xù)基于Zero生成和篩選高質(zhì)量的生成數(shù)據(jù)？

         b.使Zero模型生成結(jié)果更符合人類偏好。

4) Q：如何提高Zero模型生成的數(shù)據(jù)集質(zhì)量？

        a. 利用基于人類偏好優(yōu)化數(shù)據(jù)集SFT以及RL微調(diào)后的Zero模型（增強(qiáng)版Zero模型）生成。其優(yōu)點(diǎn)是可讀性好，同時(shí)推理能力強(qiáng)，并且還能泛化到了其他領(lǐng)域。同時(shí)可能模型還更容易學(xué)習(xí)。

        b.Rule base方法篩選。

        c. deepseek v3模型篩選。

        d. 可能人工篩洗？

        e.背景：其實(shí)可能反而LLM自己生成的推理路徑更容易學(xué)[2]!!!

5)Q：如何對(duì)齊人類偏好？

        a.推理數(shù)據(jù)：例如數(shù)學(xué)、代碼、邏輯推理還是用rule base方法監(jiān)督。

        b.一般數(shù)據(jù)：還是用reward模型來(lái)提供復(fù)雜和微妙場(chǎng)景的偏好信息。估計(jì)還是采用pairwise的數(shù)據(jù)訓(xùn)練的模型。

        c. 有用性：只關(guān)注最終summary的結(jié)果，減少對(duì)推理過(guò)程的干擾。

       d.無(wú)害性：對(duì)整個(gè)response進(jìn)行監(jiān)督，降低任何存在的風(fēng)險(xiǎn)。

三、總結(jié)

結(jié)論1: 純強(qiáng)化學(xué)習(xí) (DeepSeek-R1-Zero) 可以在不依賴監(jiān)督數(shù)據(jù)的情況下，有效激勵(lì)LLMs的推理能力。 本文成功探索了使用純強(qiáng)化學(xué)習(xí)激勵(lì)LLMs推理能力的方法 (DeepSeek-R1-Zero)，驗(yàn)證了 RL 在提升模型推理能力方面的有效性，無(wú)需依賴大量的監(jiān)督數(shù)據(jù)。這一發(fā)現(xiàn)為未來(lái)研究純 RL 方法在 LLMs 推理能力提升方面的應(yīng)用奠定了基礎(chǔ)。

結(jié)論2: 提出的 DeepSeek-R1 訓(xùn)練流程，通過(guò)結(jié)合冷啟動(dòng)、多階段 RL 和蒸餾等技術(shù)，有效提升了模型的推理能力、用戶友好性和效率。 DeepSeek-R1 在多個(gè)推理基準(zhǔn)測(cè)試中取得了優(yōu)異的成績(jī)，并開(kāi)源了模型和蒸餾版本，為研究社區(qū)提供了寶貴的資源。

結(jié)論3: 論文深入分析了模型訓(xùn)練過(guò)程中的自進(jìn)化現(xiàn)象和“aha moment”，揭示了強(qiáng)化學(xué)習(xí)在驅(qū)動(dòng)模型自主學(xué)習(xí)復(fù)雜推理策略方面的潛力。這些發(fā)現(xiàn)有助于研究者更深入地理解 RL 的工作機(jī)制，并為未來(lái)開(kāi)發(fā)更智能、更自主的模型提供啟示。結(jié)論4: DeepSeek-R1 模型也存在一些局限性，例如通用能力不足、語(yǔ)言混合問(wèn)題和提示敏感性等，并提出了未來(lái)的改進(jìn)方向，包括提升通用能力、解決語(yǔ)言混合問(wèn)題、優(yōu)化提示工程和探索在軟件工程任務(wù)上的應(yīng)用等。 這些分析為未來(lái)的研究工作提供了明確的方向。

四、參考

[1] https://oatllm.notion.site/oat-zero

[2]??https://mp.weixin.qq.com/s/lBc0-8ByRxJ3JBJpMcfzkQ??

本文轉(zhuǎn)載自??NLP PaperWeekly??，作者： NLP PaperWeekly