綜述 | 大模型的可控文本生成
大家好，我是劉聰NLP。
大模型已經(jīng)展現(xiàn)出了較強(qiáng)的文本生成能力，但隨著使用場(chǎng)景變得越加復(fù)雜和嚴(yán)格，除了避免生成誤導(dǎo)或不當(dāng)言論內(nèi)容外，往往還希望可以滿足用戶的特殊需求。而可控文本生成就是為了在保持文本生成有用性、流暢性和多樣性的同時(shí)，保證文本符合預(yù)定的控制條件，例如安全性、主題一致性、語(yǔ)言風(fēng)格等。
今天給大家?guī)?lái)一篇綜述，介紹大模型可控文本生成（Controllable Text Generation, CTG）的相關(guān)技術(shù)。
Paper: https://arxiv.org/abs/2408.12599
Github: https://github.com/IAAR-Shanghai/CTGSurvey- 以Transformer結(jié)構(gòu)的大模型為重點(diǎn)，關(guān)注為大模型量身定制的CTG方法
- 探索如何將外部控制條件集成到CTG過(guò)程中、如何定義更有效和有用的文本生成
- 將CTG任務(wù)分為兩個(gè)類別：內(nèi)容控制（或語(yǔ)言控制/硬控制）和屬性控制（或語(yǔ)義控制/軟控制）
- 將CTG方法分為兩個(gè)階段：訓(xùn)練階段方法（再訓(xùn)練、微調(diào)、強(qiáng)化學(xué)習(xí)）和推理階段（提示工程、潛在空間操縱和解碼時(shí)間干預(yù)）方法。
可控文本生成的任務(wù)
在CTG領(lǐng)域，任務(wù)可以大致分為兩種類型：內(nèi)容控制（或語(yǔ)言控制/硬控制）和屬性控制（或語(yǔ)義控制/軟控制）。
- 內(nèi)容控制（或語(yǔ)言控制/硬控制）
- 結(jié)構(gòu)控制：（1）特定格式：生成符合特定格式要求的文本；（2）組織結(jié)構(gòu)：生成文本具有一定的段落劃分等；（3）長(zhǎng)度控制：生成文本的整體長(zhǎng)度滿足特定要求。
- 詞匯控制：（1）必填詞：生成文本中必須要包含一組預(yù)定的關(guān)鍵詞；（2）禁止詞：生成文本中機(jī)制出現(xiàn)潛在有害或不適當(dāng)?shù)男g(shù)語(yǔ)。
- 屬性控制（或語(yǔ)義控制/軟控制）
- 安全控制：（1）去毒：生成文本應(yīng)避免出現(xiàn)任何形式的有害內(nèi)容；（2）遵守法律法規(guī)：生成文本應(yīng)遵守所有適用的法律法規(guī)要求，例如隱私法、版權(quán)法等。
- 情緒控制：生成文本需要具有明確的情感傾向，例如積極、消極或中立。
- 風(fēng)格控制：（1）通用樣式：通用樣式控制保證生成的文本滿足特定場(chǎng)合和行業(yè)的需求；（2）個(gè)人風(fēng)格：主要涉及生成模仿特定寫作風(fēng)格、個(gè)人習(xí)慣表達(dá)、個(gè)人偏好性的文本。
- 主題控制：生成文本嚴(yán)格遵循指定的主題，使內(nèi)容與目標(biāo)受眾的預(yù)期知識(shí)和興趣保持一致。
可控文本生成的方法
CTG方法根據(jù)干預(yù)模型生成的階段分別為訓(xùn)練階段和推理階段。
- 訓(xùn)練階段
再訓(xùn)練：當(dāng)預(yù)訓(xùn)練模型不充分或需要修改模型架構(gòu)時(shí)，使用專門設(shè)計(jì)的控制條件數(shù)據(jù)集從頭開始訓(xùn)練模型，以更好地適應(yīng)這些控制需求。
微調(diào)：利用較少的數(shù)據(jù)和計(jì)算資源，通過(guò)專門的數(shù)據(jù)集將所需的控制屬性合并到模型參數(shù)中來(lái)調(diào)整預(yù)訓(xùn)練模型。
強(qiáng)化學(xué)習(xí)：采用獎(jiǎng)勵(lì)信息引導(dǎo)模型輸出特定控制條件的文本。
- 預(yù)測(cè)階段
提示工程：通過(guò)修改輸入提示來(lái)指導(dǎo)模型的輸出。
- 潛在空間操縱：通過(guò)調(diào)整模型隱藏層內(nèi)的激活狀態(tài)來(lái)控制生成的文本。
解碼干預(yù)：通過(guò)修改生成輸出的概率分布或在解碼過(guò)程中應(yīng)用特定規(guī)則來(lái)影響Token的選擇，以改變輸出文本，包括分類器引導(dǎo)、類條件語(yǔ)言模型、基于能量的模型、模型自反饋和外部知識(shí)。
可控文本生成的評(píng)估
CTG任務(wù)的評(píng)估可分為自動(dòng)評(píng)估、人工評(píng)估和基于LLM的評(píng)估三種。
- 自動(dòng)評(píng)估
一般指標(biāo)：基于N-Gram重疊的指標(biāo)、基于語(yǔ)言模型的指標(biāo)、基于距離的指標(biāo);
特殊任務(wù)指標(biāo)：情感、話題、毒性；
- 人工評(píng)估
- 流暢度
- 連貫性
- 話題性
- 質(zhì)量情況
- 屬性相關(guān)度
- LLM評(píng)估
目前可控文本生成的評(píng)測(cè)榜單主要包括：CTRLEval、ConGenBench、 CoDI-Eval、FOFO。
本文轉(zhuǎn)載自?? NLP工作站??，作者： 劉聰NLP
