最近 Distillation 這個詞見的非常多。

前兩天大火的DeepSeek團隊發(fā)布的DeepSeek-R1，其670B參數(shù)的大模型通過強化學習與蒸餾技術，成功將能力遷移至7B參數(shù)的輕量模型中。

蒸餾后的模型超越同規(guī)模傳統(tǒng)模型，甚至接近OpenAI的頂尖小模型OpenAI-o1-mini。

在人工智能領域，大型語言模型（如GPT-4、DeepSeek-R1）憑借數(shù)千億級參數(shù)，展現(xiàn)出卓越的推理與生成能力。然而，其龐大的計算需求與高昂的部署成本，嚴重限制了其在移動設備、邊緣計算等場景的應用。

如何在不損失性能的前提下壓縮模型規(guī)模？知識蒸餾（Knowledge Distillation）就是解決這個問題的一種關鍵技術

1. 什么是知識蒸餾 

知識蒸餾是一種機器學習技術，目的是將預先訓練好的大型模型（即 "教師模型"）的學習成果轉移到較小的 "學生模型 "中。

在深度學習中，它被用作模型壓縮和知識轉移的一種形式，尤其適用于大規(guī)模深度神經(jīng)網(wǎng)絡。

知識蒸餾的本質(zhì)是知識遷移，模仿教師模型的輸出分布，使學生模型繼承其泛化能力與推理邏輯。

• 教師模型（Teacher Model）：通常為參數(shù)量大、訓練充分的復雜模型（如DeepSeek-R1），其輸出不僅包含預測結果，還隱含類別間的相似性信息。
• 學生模型（Student Model）：結構精簡、參數(shù)較少的小型模型，通過匹配教師模型的“軟目標”（Soft Targets）實現(xiàn)能力遷移。

傳統(tǒng)深度學習的目標是訓練人工神經(jīng)網(wǎng)絡，使其預測結果更接近訓練數(shù)據(jù)集中提供的輸出示例，而知識蒸餾與傳統(tǒng)監(jiān)督學習不同，知識蒸餾要求學生模型不僅擬合正確答案（硬目標），還讓學生模型學習教師模型的“思考邏輯”—即輸出的概率分布（軟目標）。

例如在圖像分類任務中，教師模型不僅會指出“這張圖是貓”（90%置信度），還會給出“像狐貍”（5%）、“其他動物”（5%）等可能性。

這些概率值如同老師批改試卷時標注的“易錯點”，學生模型通過捕捉其中的關聯(lián)性（如貓與狐貍的尖耳、毛發(fā)特征相似），最終學會更靈活的判別能力，而非機械記憶標準答案

2. 知識蒸餾的工作原理 

在 2015 年的論文《Distilling the Knowledge in a Neural Network》中，提出將訓練分為兩個目的不同的階段，作者打了個比方：許多昆蟲的幼蟲形態(tài)優(yōu)化用于從環(huán)境中汲取能量和養(yǎng)分，而成蟲形態(tài)則完全不同，優(yōu)化用于旅行和繁殖，而傳統(tǒng)的深度學習則在訓練和部署階段使用相同的模型，盡管它們的要求不同。

論文中對“知識”的理解也有不同：

論文發(fā)表之前，人們傾向于將訓練模型中的知識與學習到的參數(shù)值等同起來，這使得很難看到通過改變模型的形式而保持相同的知識。

對知識的更抽象的看法是，它是一個學習到的從輸入向量到輸出向量的映射。

知識蒸餾技術不僅要復制教師模型的輸出，還要模仿他們的 "思維過程"。在LLMs時代，知識蒸餾實現(xiàn)了抽象品質(zhì)的轉移，如風格、推理能力以及與人類偏好和價值觀的一致性。

知識蒸餾的實現(xiàn)可分解為三個核心步驟：

2.1. 軟目標生成：讓答案“模糊化”

教師模型通過高溫Softmax技術，將原本“非黑即白”的答案轉化為包含細節(jié)信息的“模糊提示”。

當溫度（Temperature）升高（例如T=20），模型輸出的概率分布會更平滑。

例如，原始判斷“貓（90%）、狐貍（5%）”

可能變?yōu)椤柏垼?0%）、狐貍（20%）、其他（20%）”。

這種調(diào)整迫使學生模型關注類別間的關聯(lián)性（如貓與狐貍的耳朵形狀相似），而非機械記憶標簽。

2.2. 目標函數(shù)設計：軟目標與硬目標的平衡

學生模型的學習目標是雙重的：

• 模仿教師的思考邏輯（軟目標）：通過匹配教師的高溫概率分布，學習類間關系。
• 記住正確答案（硬目標）：確保基礎準確率不下降。

學生模型的損失函數(shù)為軟目標與硬目標的加權組合，兩者的權重需動態(tài)調(diào)整。

例如，賦予軟目標70%的權重、硬目標30%時，類似于學生用70%時間研究老師的解題思路，30%時間鞏固標準答案，最終實現(xiàn)靈活性與準確性的平衡。

2.3. 溫度參數(shù)的動態(tài)調(diào)節(jié),控制知識的“傳遞粒度”

溫度參數(shù)是知識蒸餾的“難度調(diào)節(jié)旋鈕”：

• 高溫模式（如T=20）：答案高度模糊，適合傳遞復雜關聯(lián)（如區(qū)分不同品種的貓）。
• 低溫模式（如T=1）：答案接近原始分布，適合簡單任務（如數(shù)字識別）。
• 動態(tài)策略：初期用高溫廣泛吸收知識，后期降溫聚焦關鍵特征。

例如，語音識別任務需要更低溫度，以保持精準性。這一過程如同教師根據(jù)學生水平調(diào)整教學深度—從啟發(fā)式教學到應試訓練。

3. 知識蒸餾的重要性 

對于大多數(shù)實際應用案例來說，特定任務中性能最好的模型往往過于龐大、緩慢或昂貴，但它們具有優(yōu)秀的性能，這來自于它們的規(guī)模和在大量訓練數(shù)據(jù)上進行預訓練的能力。

相反，小型模型雖然速度更快、計算要求更低，但在準確性、精細度和知識容量方面卻不及參數(shù)更多的大型模型。

這時就體現(xiàn)出了知識蒸餾的應用價值，如：

DeepSeek-R1的670B參數(shù)大模型通過知識蒸餾技術，將其能力遷移至7B參數(shù)的輕量模型中：DeepSeek-R1-7B，在各方面超越了非推理模型如 GPT-4o-0513。DeepSeek-R1-14B 在所有評估指標上超過了 QwQ-32BPreview，而 DeepSeek-R1-32B 和 DeepSeek-R1-70B 在大多數(shù)基準測試中顯著超過了 o1-mini。

這些結果展示了蒸餾的強大潛力。知識蒸餾已經(jīng)成為一種重要的技術手段。

在自然語言處理領域，許多研究機構和企業(yè)使用蒸餾技術將大型語言模型壓縮為小型版本，用于翻譯、對話系統(tǒng)和文本分類等任務。

例如，大型模型在蒸餾后，可以在移動設備上運行，提供實時翻譯服務，而無需依賴強大的云計算資源。

在物聯(lián)網(wǎng)和邊緣計算中，知識蒸餾的價值更加顯著。傳統(tǒng)的大模型往往需要強大的GPU集群支持，而小型模型經(jīng)過蒸餾后能夠以更低的功耗運行在微處理器或嵌入式設備上。

這種技術不僅大幅度降低了部署成本，還使得智能系統(tǒng)可以更廣泛地應用到醫(yī)療、自動駕駛和智能家居等領域。

本文轉載自 ??AI取經(jīng)路??，作者： AI取經(jīng)路