開篇：RLHF 如何重塑大模型交互范式

在大模型從 "技術(shù)展示" 走向 "產(chǎn)業(yè)落地" 的進(jìn)程中，如何讓模型輸出符合人類價(jià)值觀與使用習(xí)慣，成為比單純提升性能更關(guān)鍵的命題?；谌祟惙答伒膹?qiáng)化學(xué)習(xí)（RLHF）正是解決這一問題的核心技術(shù) —— 它通過將人類偏好轉(zhuǎn)化為訓(xùn)練信號(hào)，引導(dǎo)模型生成更自然、安全、符合預(yù)期的回答。而支撐 RLHF 的核心，是一系列不斷進(jìn)化的強(qiáng)化學(xué)習(xí)算法。本文將解析四大 RLHF 算法，揭示它們?nèi)绾巫屇Ｐ蛷?"會(huì)說話" 進(jìn)化到 "懂人心"。

一、直接偏好優(yōu)化（DPO）：極簡(jiǎn)高效的偏好對(duì)齊

1.1 核心思想

DPO（Direct Preference Optimization）算法的創(chuàng)新在于繞過傳統(tǒng)獎(jiǎng)勵(lì)模型訓(xùn)練，直接通過人類偏好數(shù)據(jù)優(yōu)化策略。其核心假設(shè)是：人類對(duì)兩個(gè)回答的偏好排序本身，就蘊(yùn)含了足夠的優(yōu)化信號(hào)。例如，當(dāng)人類標(biāo)注 "回答 A 優(yōu)于回答 B" 時(shí)，DPO 會(huì)直接調(diào)整模型參數(shù)，使模型生成 A 的概率相對(duì) B 更高。

1.2 數(shù)學(xué)表達(dá)

關(guān)鍵參數(shù)：

• pi_{theta}：當(dāng)前優(yōu)化的策略模型
• pi_{ref}：參考策略（如 SFT 模型）
• (x, y_w,y_l)：輸入文本 x 與優(yōu)劣回答對(duì)(y_w,y_l)
• β：偏好信號(hào)強(qiáng)度系數(shù)（通常取 0.5-1.0）
• σ：sigmoid 函數(shù)，將數(shù)值映射到 (0,1) 區(qū)間

直觀理解：公式通過最大化 "好回答" 與 "差回答" 的對(duì)數(shù)概率比，實(shí)現(xiàn)偏好對(duì)齊。

1.3 工程優(yōu)勢(shì)

• 計(jì)算高效：無需訓(xùn)練額外的獎(jiǎng)勵(lì)模型，顯存占用降低 30% 以上，適合資源受限場(chǎng)景；
• 收斂快速：某客服場(chǎng)景實(shí)測(cè)顯示，DPO 比傳統(tǒng) PPO 收斂速度提升 40%，且避免了獎(jiǎng)勵(lì)模型偏差問題。

二、近端策略優(yōu)化（PPO）：工業(yè)界的中流砥柱

2.1 技術(shù)基石

PPO（Proximal Policy Optimization）作為 RLHF 的經(jīng)典算法，通過 "信任區(qū)域" 思想限制策略更新幅度，避免優(yōu)化過程中模型性能崩潰。PPO 的公式推導(dǎo)與參數(shù)調(diào)優(yōu)是高頻考點(diǎn)。

2.2 核心公式

• 優(yōu)勢(shì)估計(jì)：采用廣義優(yōu)勢(shì)估計(jì)（GAE）計(jì)算(如下公式)，解決傳統(tǒng) TD 誤差的方差問題：

• 關(guān)鍵參數(shù)：

ε：裁剪比例（通常設(shè)為 0.2），限制策略更新步長(zhǎng)

γ：折扣因子（0.95-0.99），衡量未來獎(jiǎng)勵(lì)的重要性

λ：GAE 平滑系數(shù)（0.9-1.0），控制偏差與方差的平衡

2.3 產(chǎn)業(yè)實(shí)踐

某電商對(duì)話模型采用 PPO 優(yōu)化后，用戶滿意度提升 15%，但需注意：

• 超參數(shù)敏感：學(xué)習(xí)率需控制在10^{-5}量級(jí)，過大易導(dǎo)致策略震蕩；
• 計(jì)算開銷：每次迭代需存儲(chǔ)舊策略，顯存占用比 DPO 高約 50%。

三、組相關(guān)偏好優(yōu)化（GRPO）：群體智慧的數(shù)學(xué)表達(dá)

3.1 創(chuàng)新思路

GRPO（Group-Related Preference Optimization）將人類偏好視為群體決策問題，通過分組比較提升優(yōu)化穩(wěn)定性。例如，將 10 個(gè)回答分為一組，計(jì)算每個(gè)回答在組內(nèi)的相對(duì)優(yōu)勢(shì)，避免單一偏好標(biāo)注的噪聲影響。

3.2 優(yōu)勢(shì)計(jì)算

• 核心邏輯：將個(gè)體獎(jiǎng)勵(lì)r_{i}標(biāo)準(zhǔn)化為組內(nèi) Z-score，消除不同組標(biāo)注尺度差異。

3.3 目標(biāo)函數(shù)

• 獨(dú)特設(shè)計(jì)：引入 KL 散度懲罰項(xiàng)，強(qiáng)制新策略與參考策略保持相似，防止 "災(zāi)難性遺忘"。

r_i,t(θ) = πθ(o_i,t|q,o_i,<t) / πθ_old(o_i,t|q,o_i,<t)

D_KL (πθ||πref)：KL 散度懲罰項(xiàng)，強(qiáng)制新策略與參考策略保持相似

3.4 適用場(chǎng)景

在醫(yī)療咨詢等對(duì)回答安全性要求極高的場(chǎng)景，GRPO 通過群體偏好聚合，將有害回答率降低至 0.8% 以下，較 PPO 提升 3 個(gè)百分點(diǎn)。

四、解耦裁剪和動(dòng)態(tài)采樣（DAPO）：自適應(yīng)優(yōu)化的集大成者

4.1 技術(shù)融合

DAPO（Decoupled Clipping and Dynamic Sampling）結(jié)合了 DPO 的高效與 PPO 的穩(wěn)定性，通過動(dòng)態(tài)調(diào)整裁剪范圍和采樣策略，實(shí)現(xiàn) "數(shù)據(jù)利用效率" 與 "優(yōu)化穩(wěn)定性" 的平衡。

4.2 動(dòng)態(tài)裁剪機(jī)制

• 關(guān)鍵改進(jìn)：使用動(dòng)態(tài)裁剪范圍，對(duì)高置信度樣本采用更寬松的更新約束。

4.3 采樣約束

• 語義解釋：強(qiáng)制要求每組樣本中至少存在一個(gè)與參考回答等價(jià)的樣本，避免優(yōu)化陷入局部最優(yōu)。

4.4 性能表現(xiàn)

在代碼生成任務(wù)中，DAPO 相比 PPO 提升代碼準(zhǔn)確率 9.2%，同時(shí)將訓(xùn)練耗時(shí)縮短 25%，成為當(dāng)前多模態(tài)對(duì)齊的首選算法之一。

五、算法對(duì)比與工程選型指南

問題："如何選擇 RLHF 算法？" 

可結(jié)合業(yè)務(wù)場(chǎng)景回答：如追求快速迭代選 DPO，注重穩(wěn)定性選 PPO，對(duì)安全性要求極高選 GRPO，多模態(tài)任務(wù)優(yōu)先 DAPO。

結(jié)語：從算法創(chuàng)新到產(chǎn)業(yè)價(jià)值

RLHF 算法的演進(jìn)，本質(zhì)是人類與 AI 交互語言的進(jìn)化。從 DPO 的極簡(jiǎn)設(shè)計(jì)到 DAPO 的自適應(yīng)優(yōu)化，這些算法不僅解決了 "模型對(duì)齊" 的技術(shù)難題，更開創(chuàng)了 "人類偏好可計(jì)算" 的新范式。

本文轉(zhuǎn)載自??????鴻煊的學(xué)習(xí)筆記??????，作者：乘風(fēng)破浪jxj