隨著Transformer架構的廣泛應用，以GPT為代表的大型語言模型(LLM)在自然語言處理領域取得了突破性進展。這些模型通過"預訓練+微調(diào)"的范式，在下游任務中展現(xiàn)出強大的性能。

然而，隨著模型參數(shù)規(guī)模從數(shù)億增長到數(shù)百億甚至萬億，全量參數(shù)微調(diào)(Full Fine-tuning)面臨以下挑戰(zhàn)：

1. 計算資源瓶頸：全量微調(diào)需要消耗大量的計算資源和內(nèi)存
2. 存儲成本高昂：為每個下游任務單獨存儲微調(diào)模型成本巨大
3. 災難性遺忘：全量微調(diào)易導致模型"遺忘"預訓練階段獲得的知識
4. 過擬合風險：尤其在訓練數(shù)據(jù)有限的情況下，全量微調(diào)易出現(xiàn)過擬合

基于上述考量，參數(shù)高效微調(diào)技術(Parameter-Efficient Fine-Tuning, PEFT)應運而生。這類技術通過僅更新模型的少量參數(shù)或引入少量新參數(shù)，在大幅降低計算和存儲成本的同時，實現(xiàn)與全量微調(diào)相當甚至更優(yōu)的性能。

從技術原理角度，參數(shù)高效微調(diào)技術主要分為三大類：增加額外參數(shù)（Additional Parameters），選擇性微調(diào)（Selective Parameters）重參數(shù)化方法（Reparameterization）。

增加額外參數(shù)

在預訓練模型基礎上添加少量新參數(shù)，同時凍結(jié)原有參數(shù)：

Adapter Tuning

Adapter Tuning是最早提出的參數(shù)高效微調(diào)方法之一。其核心思想是在Transformer的每個層后添加"Adapter模塊"，該模塊通常由兩個全連接層組成：

輸入 → 下投影層(Down-projection) → 激活函數(shù) → 上投影層(Up-projection) → 輸出

其中：

• 下投影層將高維特征映射到低維空間（降維）
• 上投影層將低維特征映射回原始維度（升維）
• 整個模塊通過殘差連接與原始網(wǎng)絡連接

設原始模型隱藏層維度為d，Adapter模塊中間層維度為r（通常r << d），則單個Adapter模塊引入的參數(shù)量為2dr，遠小于原始層的參數(shù)量d2。

優(yōu)勢：

• 模塊化設計，可為不同任務訓練不同的Adapter
• 可在多個層次添加Adapter，如自注意力層后、前饋網(wǎng)絡層后等
• 結(jié)構簡單，實現(xiàn)容易

Prompt Tuning和P-Tuning

Prompt Tuning和P-Tuning都屬于"軟提示"(Soft Prompts)方法，通過學習連續(xù)的嵌入向量作為模型輸入的一部分。

Prompt Tuning在輸入序列前添加可訓練的"提示標記"(prompt tokens)，其僅訓練這些提示標記的嵌入，而凍結(jié)所有預訓練模型參數(shù); 提示標記數(shù)量通常為10-100個，引入的參數(shù)量很小。

P-Tuning類似Prompt Tuning，但使用小型神經(jīng)網(wǎng)絡(如LSTM)來生成提示標記的嵌入，增強了提示標記之間的關聯(lián)性，提升了性能。

優(yōu)勢：

• 參數(shù)量極少，通常只有幾萬個參數(shù)
• 適用于超大規(guī)模模型，如千億參數(shù)級別的模型
• 多任務場景下只需切換不同的提示嵌入

Prefix Tuning

Prefix Tuning是對Prompt Tuning的擴展，不僅在輸入層添加可學習的前綴，還在Transformer的每一層都添加：

• 在注意力層的Key和Value向量前添加可訓練的前綴向量
• 前綴向量通過小型MLP生成，而非直接優(yōu)化，以增強穩(wěn)定性
• 所有其他參數(shù)保持凍結(jié)狀態(tài)

這種方法本質(zhì)上是"軟提示"和"Adapter"的結(jié)合，既在輸入端也在中間層引入可學習參數(shù)。

選擇性微調(diào)

這類方法通過選擇模型中的部分參數(shù)進行更新，其余參數(shù)保持凍結(jié)。

BitFit是一種極簡的方法，僅微調(diào)模型中的偏置(bias)參數(shù)：

• 凍結(jié)所有權重矩陣，只更新偏置項
• 偏置參數(shù)通常僅占模型總參數(shù)的<1%
• 實現(xiàn)簡單，幾乎不增加額外內(nèi)存開銷

盡管簡單，在多種NLP任務中表現(xiàn)良好，尤其適合資源受限場景。

重參數(shù)化方法

這類方法通過低秩分解等技術重參數(shù)化模型權重矩陣。

LoRA是目前最流行的參數(shù)高效微調(diào)方法之一，其核心思想是使用低秩矩陣來表示預訓練權重的更新。

LoRA的核心假設是模型權重的更新矩陣具有低秩特性，即重要的更新可以被低維度的信息捕獲。

實現(xiàn)時，LoRA通常應用于注意力機制中的Query、Key、Value矩陣以及MLP中的線性層，而預訓練參數(shù)保持凍結(jié)。

優(yōu)勢：

• 參數(shù)量大幅減少(僅需(d+k)r個參數(shù)，而非dk個)
• 訓練穩(wěn)定，收斂快
• 可以針對不同任務訓練不同的LoRA權重，并快速切換
• 與其他PEFT方法兼容，如Adapter、Prefix Tuning等

LoRA微調(diào)技術深入分析

由于LoRA是目前應用最廣泛的參數(shù)高效微調(diào)方法，下面我們深入分析其技術細節(jié)和最佳實踐。

LoRA的核心是使用低秩分解來近似權重更新：

ΔW = BA

其中B和A是小型矩陣，秩r是一個超參數(shù)，控制著適應能力和參數(shù)效率的權衡。

在前向傳播中，輸入x經(jīng)過LoRA處理的計算為：

h = Wx + ΔWx = Wx + BAx

以下是使用PyTorch實現(xiàn)簡單LoRA的代碼示例：

class LoRALayer(nn.Module):
    def __init__(self, in_dim, out_dim, rank=8, alpha=8):
        super().__init__()
        self.W = nn.Parameter(torch.zeros((out_dim, in_dim)), requires_grad=False)  # 凍結(jié)的預訓練權重
        self.A = nn.Parameter(torch.zeros((rank, in_dim)))  # 低秩矩陣A
        self.B = nn.Parameter(torch.zeros((out_dim, rank)))  # 低秩矩陣B
        self.alpha = alpha
        self.rank = rank
        
        # 初始化
        nn.init.normal_(self.A, std=0.02)
        nn.init.zeros_(self.B)  # B初始化為0，使得ΔW初始為0
        
    def forward(self, x):
        # 原始權重前向傳播 + LoRA更新
        return F.linear(x, self.W) + (self.alpha / self.rank) * F.linear(F.linear(x, self.A.T), self.B.T)

參數(shù)高效微調(diào)的最佳實踐

選擇LoRA，適合需要接近全量微調(diào)的性能，同時有適度的計算資源，需要快速切換不同任務適配器。

選擇Adapter，適合需要模塊化和可組合的架構，且在多任務場景且不同任務之間差異較大。

選擇Prompt Tuning，適合處理超大規(guī)模模型(>100B參數(shù))，并且資源極度受限，而任務與預訓練目標相似。

選擇BitFit，適合計算資源極度受限且任務相對簡單。

超參數(shù)調(diào)優(yōu)建議

對于學習率的選擇，通常比全量微調(diào)高，如原學習率的5-10倍。對于LoRA，一般1e-3到5e-3通常效果良好。

微調(diào)通常需要的迭代次數(shù)也少于全量微調(diào)，且早停策略非常重要，避免過擬合。

對于LoRA和Adapter，適當?shù)膁ropout(0.05-0.1)有助于防止過擬合，對于Prompt Tuning，可能需要更強的正則化。

參數(shù)高效微調(diào)的未來發(fā)展

參數(shù)高效微調(diào)技術仍在快速發(fā)展中，仍然存在很多的探索空間。

比如自動化架構搜索，自動確定最佳的適配器配置和位置。多模態(tài)擴展，將PEFT技術擴展到視覺、音頻等多模態(tài)模型。硬件感知優(yōu)化，針對特定硬件(如GPU、TPU)優(yōu)化的適配器設計。或者與其他技術結(jié)合：與量化、蒸餾等技術結(jié)合，進一步提高效率。

寫在最后

參數(shù)高效微調(diào)技術已成為大型語言模型應用的關鍵技術，它不僅解決了計算資源和存儲成本問題，還提供了靈活的模型適應機制。通過選擇合適的PEFT方法并遵循最佳實踐，可以在資源有限的條件下實現(xiàn)接近甚至超越全量微調(diào)的效果，為大模型的廣泛應用和個性化定制鋪平了道路。

隨著模型規(guī)模持續(xù)增長，參數(shù)高效微調(diào)的重要性將進一步提升，成為連接通用大模型和特定應用場景的關鍵橋梁。

2025年的今天，AI創(chuàng)新已經(jīng)噴井，幾乎每天都有新的技術出現(xiàn)。作為親歷三次AI浪潮的技術人，我堅信AI不是替代人類，而是讓我們從重復工作中解放出來，專注于更有創(chuàng)造性的事情，關注我們公眾號口袋大數(shù)據(jù)，一起探索大模型落地的無限可能！