隨著ChatGPT、Midjourney等大模型產(chǎn)品的影響力、應(yīng)用場景越來越多，為了確保輸出的內(nèi)容安全、可靠，對齊成為開發(fā)人員的關(guān)注重點和難點。

但現(xiàn)在的模型參數(shù)少則幾百億多則上千億，想通過傳統(tǒng)的監(jiān)督式微調(diào)方法來完成對齊效果往往不理想。

因此，英偉達的研究人員開源了安全對齊框架NeMo-Aligner。這是一個包括人類反饋進行強化學(xué)習(xí)（RLHF）、直接偏好優(yōu)化（DPO）、SteerLM和自我對弈微調(diào)等技術(shù)合集，可幫助開發(fā)人員極大提升模型的安全性能和穩(wěn)定輸出。

開源地址：??https://github.com/nvidia/nemo-aligner??

論文地址：https://arxiv.org/abs/2405.01481v1

下面為大家介紹兩個效果比較好、常用的NeMo-Aligner對齊方法。

RLHF

?

RLHF是NeMo-Aligner框架的核心模塊之一，主要通過人類反饋來引導(dǎo)大模型學(xué)習(xí)，使其輸出更符合人類的價值觀和偏好，同時采用了近端策略算法（PPO）來優(yōu)化語言模型的行為。

訓(xùn)練過程主要分為三個階段：初始階段，從預(yù)訓(xùn)練的基礎(chǔ)模型開始，進行監(jiān)督微調(diào)。在監(jiān)督微調(diào)中，使用輸入提示和期望的回復(fù)對基礎(chǔ)模型的參數(shù)進行更新，使其盡可能地模仿期望的回復(fù)。這一階段是為了確?；A(chǔ)模型能夠生成符合用戶指令的回復(fù)。

獎勵模型訓(xùn)練階段，使用一組設(shè)定好的人類偏好數(shù)據(jù)，例如，問答的特定輸出格式，來訓(xùn)練一個獎勵模型，以最大化預(yù)測獎勵與人類偏好一致的可能性。通常，會在監(jiān)督微調(diào)的模型之上初始化一個線性獎勵模型頭部，并在其上進行訓(xùn)練。

策略優(yōu)化訓(xùn)練，基于訓(xùn)練好的獎勵模型，通過PPO進行優(yōu)化訓(xùn)練。在訓(xùn)練過程中，使用基于KL散度的正則化項，防止策略偏離起始點太遠并利用獎勵模型的盲點。

SteerLM

?

SteerLM主要通過引導(dǎo)大模型的生成流程來實現(xiàn)安全對齊，使用了一種“引導(dǎo)信號”的指導(dǎo)策略。可將開發(fā)者希望的輸出模式注入到模型的訓(xùn)練中，以引導(dǎo)模型生成更符合預(yù)期的響應(yīng)。

首先，需要準(zhǔn)備一個包含輸入提示和期望輸出的數(shù)據(jù)集對。這些輸入提示可以是用戶提供的指令或問題，而期望輸出是模型生成的響應(yīng)。

根據(jù)輸入提示和期望輸出，生成引導(dǎo)信號。引導(dǎo)信號可以采用不同的方式生成，例如，使用規(guī)則、基于規(guī)則的策略或者其他的啟發(fā)式方法，可以控制生成文本的風(fēng)格、主題、情感等內(nèi)容。

例如，在多輪AI對話中，可以指導(dǎo)模型生成符合用戶期望的回答；在文本摘要任務(wù)中，可以指導(dǎo)模型生成更加準(zhǔn)確和有信息量的摘要內(nèi)容；在機器翻譯任務(wù)中，可以使模型生成更加準(zhǔn)確和流暢的翻譯結(jié)果。

本文轉(zhuǎn)自 AIGC開放社區(qū)，作者：AIGC開放社區(qū)

原文鏈接:??https://mp.weixin.qq.com/s/yib6ITPC9slRY0tPgvy-yw??