昨天，網(wǎng)信辦《人工智能生成合成內(nèi)容標(biāo)識(shí)辦法》正式生效。

其中，第四條要求：對(duì)符合要求的AI生成合成內(nèi)容添加顯式標(biāo)識(shí)。

緊跟最新政策，DeepSeek出手了。

DeepSeek官微發(fā)布了最新回應(yīng)公告——凡是AI生成的內(nèi)容，都會(huì)清楚標(biāo)注「AI生成」。

它還鄭重提醒，用戶嚴(yán)禁惡意刪除、篡改、隱匿標(biāo)識(shí)，更別提用AI傳播、制作虛假信息。

此外，這次還發(fā)布了《模型原理與訓(xùn)練方法說(shuō)明》，可以一瞥DeepSeek的技術(shù)路徑。

接下來(lái)，深扒一下DeepSeek V3/R1的一些訓(xùn)練細(xì)節(jié)。

傳送門：https://cdn.deepseek.com/policies/zh-CN/model-algorithm-disclosure.html

回應(yīng)新要求，DeepSeek公開(kāi)技術(shù)說(shuō)明

DeepSeek主要介紹了大模型的訓(xùn)練和推理階段，包括預(yù)訓(xùn)練、優(yōu)化訓(xùn)練（微調(diào)）以及訓(xùn)練數(shù)據(jù)等。

不同大模型的神經(jīng)網(wǎng)絡(luò)架構(gòu)

模型訓(xùn)練

模型訓(xùn)練階段即模型的開(kāi)發(fā)階段：通過(guò)設(shè)計(jì)好的深度神經(jīng)網(wǎng)絡(luò)架構(gòu)和訓(xùn)練方法，開(kāi)發(fā)人員開(kāi)發(fā)出可被部署使用的模型。

模型由多層神經(jīng)網(wǎng)絡(luò)組成，不同的架構(gòu)直接影響模型的性能。此外，模型性能也受參數(shù)規(guī)模的制約，而訓(xùn)練的目的就是找到具體的參數(shù)值。

目前，大模型的參數(shù)規(guī)模數(shù)以億計(jì)。最新的DeepSeek-V3-0324，參數(shù)總量為6850億。

在訓(xùn)練過(guò)程中，這些參數(shù)通過(guò)梯度下降算法迭代優(yōu)化。

這次，DeepSeek把模型訓(xùn)練分為預(yù)訓(xùn)練和優(yōu)化訓(xùn)練兩個(gè)環(huán)節(jié)。

預(yù)訓(xùn)練：預(yù)訓(xùn)練目標(biāo)是通過(guò)數(shù)據(jù)訓(xùn)練模型，使模型掌握通用的語(yǔ)言理解與生成能力。  

優(yōu)化訓(xùn)練：也稱為微調(diào)，是在預(yù)訓(xùn)練模型的基礎(chǔ)上通過(guò)特定任務(wù)的數(shù)據(jù)進(jìn)一步調(diào)整模型參數(shù)，使模型適應(yīng)實(shí)際應(yīng)用場(chǎng)景。

在預(yù)訓(xùn)練階段，模型通過(guò)大規(guī)模自監(jiān)督學(xué)習(xí)，從文本數(shù)據(jù)中學(xué)習(xí)語(yǔ)言模式與知識(shí)關(guān)聯(lián)。預(yù)訓(xùn)練完成后，模型能理解并生成連貫的文本，但還不會(huì)精準(zhǔn)地回答問(wèn)題或執(zhí)行任務(wù)，因此需要進(jìn)一步的訓(xùn)練微調(diào)。

在優(yōu)化訓(xùn)練階段，模型一般通過(guò)SFT、RL等方法，學(xué)會(huì)根據(jù)指令回答問(wèn)題，符合人類的偏好和需求，并激發(fā)在特定領(lǐng)域的專業(yè)能力。

經(jīng)過(guò)優(yōu)化訓(xùn)練的模型能更好地滿足實(shí)際需求，可被部署使用。

深挖訓(xùn)練「內(nèi)幕」，煉出最強(qiáng)大腦

DeepSeek模型的能力，是建立在高質(zhì)量、大規(guī)模、多樣化的數(shù)據(jù)之上。

在「預(yù)訓(xùn)練階段」和「優(yōu)化訓(xùn)練階段」，各有不同。

預(yù)訓(xùn)練階段

在預(yù)訓(xùn)練階段，主要使用了兩類數(shù)據(jù)：

互聯(lián)網(wǎng)公開(kāi)可用的信息，比如網(wǎng)頁(yè)、公開(kāi)文檔等。  

與第三方合作獲取許可的數(shù)據(jù)

需要強(qiáng)調(diào)的是，在此階段，根本無(wú)需獲取個(gè)人信息用于訓(xùn)練，DeepSeek不會(huì)有意關(guān)聯(lián)至任何特定賬戶和個(gè)人，更不會(huì)主動(dòng)將其用于訓(xùn)練模型。

不過(guò)，預(yù)訓(xùn)練數(shù)據(jù)規(guī)模過(guò)于龐大，可能偶然包含了一些個(gè)人信息。

對(duì)此，DeepSeek會(huì)通過(guò)技術(shù)手段，盡力篩查并移除這些信息，確保數(shù)據(jù)「干干凈凈」。

為了保證數(shù)據(jù)質(zhì)量、安全、多樣，他們還打造了一套硬核數(shù)據(jù)治理流程——

首先，通過(guò)「過(guò)濾器」自動(dòng)剔除仇恨言論、色情低俗、暴力、垃圾信息，以及可能侵權(quán)的原始數(shù)據(jù)。

其次，通過(guò)算法+人工審核，識(shí)別并降低數(shù)據(jù)中的統(tǒng)計(jì)性偏見(jiàn)，讓模型更公平、更客觀。

優(yōu)化訓(xùn)練階段

到了優(yōu)化訓(xùn)練階段，一般需要通過(guò)人工或自動(dòng)化的方式構(gòu)造、標(biāo)注一批問(wèn)答對(duì)數(shù)據(jù)來(lái)對(duì)模型進(jìn)行訓(xùn)練。

DeepSeek這次表示：這些問(wèn)答對(duì)數(shù)據(jù)是由研究團(tuán)隊(duì)生成提供的，其中少部分?jǐn)?shù)據(jù)的構(gòu)造可能會(huì)基于用戶的輸入。

在DeepSeek-R1訓(xùn)練中，研究人員直接提示模型生成包含反思和驗(yàn)證的詳細(xì)答案；收集并整理DeepSeek-R1-Zero的輸出，使其具有可讀性；以及通過(guò)人工注釋者的后期處理來(lái)提高數(shù)據(jù)質(zhì)量

如涉及利用用戶的輸入構(gòu)造訓(xùn)練數(shù)據(jù)，DeepSeek會(huì)對(duì)數(shù)據(jù)進(jìn)行安全加密技術(shù)處理、嚴(yán)格的去標(biāo)識(shí)化和匿名化處理，從而盡可能避免訓(xùn)練數(shù)據(jù)關(guān)聯(lián)到任何特定個(gè)人，且不會(huì)在模型給其他用戶的輸出中帶有個(gè)人信息，更不會(huì)將其用于用戶畫像或個(gè)性化推薦。

同時(shí)，DeepSeek為用戶提供了選擇退出的權(quán)利。

為了確保模型的安全性，在模型優(yōu)化訓(xùn)練階段，DeepSeek構(gòu)造了專門的安全數(shù)據(jù)對(duì)模型進(jìn)行安全對(duì)齊，教會(huì)模型的回復(fù)符合人類的價(jià)值觀，增強(qiáng)模型內(nèi)生的安全能力。

模型推理

模型的推理階段即模型被部署提供服務(wù)。

模型訓(xùn)練完成并被部署后，可以通過(guò)對(duì)輸入信息進(jìn)行編碼和計(jì)算來(lái)預(yù)測(cè)下一個(gè)token，從而具備文本生成和對(duì)話等能力。

部署后的模型能夠熟練執(zhí)行基于文本生成的廣泛多樣的任務(wù)，并可以集成到各種下游系統(tǒng)或應(yīng)用中。

具體到DeepSeek的產(chǎn)品服務(wù)，基于用戶的輸入，模型采用自回歸生成方式，基于輸入的上下文內(nèi)容，通過(guò)概率計(jì)算預(yù)測(cè)最可能的接續(xù)詞匯序列。

推理完成后，模型輸出相應(yīng)的內(nèi)容作為響應(yīng)，包括文字、表格和代碼等。

此并非簡(jiǎn)單檢索或「復(fù)制粘貼」訓(xùn)練數(shù)據(jù)中的原始文本，模型也并未存儲(chǔ)用于訓(xùn)練的原始文本數(shù)據(jù)副本，而是基于對(duì)語(yǔ)言結(jié)構(gòu)和語(yǔ)義關(guān)系的深度理解，動(dòng)態(tài)生成符合語(yǔ)境的回答。

DeepSeek這次還強(qiáng)調(diào)模型開(kāi)源。

我們通過(guò)開(kāi)源平臺(tái)對(duì)外公開(kāi)發(fā)布了所有模型的權(quán)重、參數(shù)以及推理工具代碼等，并采用寬松的MIT協(xié)議，供使用者自由、免費(fèi)下載部署使用。  

同時(shí)，DeepSeek發(fā)布各模型的完整技術(shù)報(bào)告，供社區(qū)和研究人員參考，并幫助公眾更深入地了解每個(gè)模型的技術(shù)原理和細(xì)節(jié)。

LLM致命幻覺(jué)，全周期硬核對(duì)抗

毋庸置疑，當(dāng)前AI發(fā)展還在早期階段，存在無(wú)法避免的局限性。

若是再被加以濫用，將會(huì)帶來(lái)嚴(yán)重的后果。

局限性

AI往往會(huì)生成錯(cuò)誤、遺漏，或不符合事實(shí)的內(nèi)容，這種現(xiàn)象統(tǒng)一稱之為「幻覺(jué)」。

這個(gè)問(wèn)題，是整個(gè)AI行業(yè)面臨的挑戰(zhàn)。

對(duì)此，DeepSeek正通過(guò)一些技術(shù)手段降低幻覺(jué)率，包括高質(zhì)量的訓(xùn)練數(shù)據(jù)、優(yōu)化對(duì)齊策略、RAG等，但現(xiàn)階段依無(wú)法完全消滅。

同時(shí)，他們還在歡迎頁(yè)、生成文本的末尾，以及交互界面底部，添加顯著的提示標(biāo)識(shí)。

特別提醒用戶——內(nèi)容由人工智能生成，可能不準(zhǔn)確。

因此，AI生成的內(nèi)容僅供參考，所有人不應(yīng)將輸出的內(nèi)容作為專業(yè)建議。

尤其是，在醫(yī)療、法律、金融等專業(yè)領(lǐng)域，DeepSeek不提供任何建議或承諾，專業(yè)的事兒還得找專業(yè)的人。

濫用風(fēng)險(xiǎn)

AI技術(shù)本身是中立的，但濫用可能帶來(lái)隱私保護(hù)、版權(quán)、數(shù)據(jù)安全、內(nèi)容安全、偏見(jiàn)歧視等風(fēng)險(xiǎn)。

DeepSeek對(duì)此也是高度重視，采取了一系列硬核措施，貫穿了模型研發(fā)、訓(xùn)練、部署的全生命周期。

制定內(nèi)部風(fēng)險(xiǎn)管理制度  

開(kāi)展模型安全性評(píng)估  

進(jìn)行紅隊(duì)測(cè)試  

增強(qiáng)模型和服務(wù)透明度等

更重要的是，DeepSeek還賦予了用戶知情權(quán)、選擇權(quán)、控制權(quán)——

你可以查詢服務(wù)的基本信息、拒絕其數(shù)據(jù)用于模型訓(xùn)練、刪除其歷史數(shù)據(jù)等。