[[397649]]

序列到序列(seq2seq)模型已經(jīng)成為處理自然語言生成任務(wù)的有效方法，其應(yīng)用范圍從機(jī)器翻譯到單語言生成任務(wù)，如摘要、句子融合、文本簡化和機(jī)器翻譯的譯后編輯。

然而，對許多單語任務(wù)來說，這些模型是一個次優(yōu)選擇，因?yàn)樗璧妮敵鑫谋就硪粋€輸入文本的輕微重寫。在完成這些任務(wù)時，seq2seq模型速度較慢，因?yàn)樗鼈円淮紊梢粋€輸出單詞(即自回歸) ，而且浪費(fèi)，因?yàn)榇蠖鄶?shù)輸入標(biāo)記只是復(fù)制到輸出中。

相反，文本編輯模型最近引起了極大的關(guān)注，因?yàn)樗鼈兲岢鲱A(yù)測編輯操作——如單詞刪除、插入或替換——這些操作應(yīng)用于輸入以重構(gòu)輸出。

以前的文本編輯方法存在局限性，要么是快速的(非自回歸的) ，但是不靈活，因?yàn)樗鼈兪褂玫木庉嫴僮鲾?shù)量有限; 要么是靈活的，支持所有可能的編輯操作，但是速度很慢(自回歸的)。

在這兩種情況下，它們都沒有集中精力建立大型的結(jié)構(gòu)(語法)轉(zhuǎn)換模型，例如從主動語態(tài)切換到被動語態(tài)，從「They ate steak for dinner」（他們晚餐吃牛排）切換到「Steak was eaten for dinner」（晚餐吃牛排），相反，它們專注于局部變換，刪除或替換短語。

當(dāng)需要進(jìn)行大型結(jié)構(gòu)轉(zhuǎn)換時，這些文本編輯模型要么不能生成該轉(zhuǎn)換，要么會插入大量新的文本，但是這樣會很慢。

在最新的論文《FELIX: 通過標(biāo)簽和插入進(jìn)行靈活的文本編輯》（FELIX: Flexible Text Editing Through Tagging and Insertion），Google團(tuán)隊(duì)帶來了FELIX，這是一個快速而靈活的文本編輯系統(tǒng)，它模擬了大的結(jié)構(gòu)變化，與seq2seq方法相比，速度提高了90倍，同時在四種單語言編輯任務(wù)中的表現(xiàn)非常出色。

與傳統(tǒng)的seq2seq方法相比，F(xiàn)ELIX 有以下三個關(guān)鍵優(yōu)勢:

樣本效率: 訓(xùn)練一個高精度的文本生成模型通常需要大量高質(zhì)量的監(jiān)督數(shù)據(jù)。FELIX 使用三種技術(shù)將所需的數(shù)據(jù)量最小化: (1)微調(diào)預(yù)訓(xùn)練檢查點(diǎn)，(2)學(xué)習(xí)少量編輯操作的標(biāo)記模型，(3)非常類似于預(yù)訓(xùn)練任務(wù)的文本插入任務(wù)

快速推理時間：FELIX 是完全非自回歸的，避免了自回歸解碼器造成的慢推理時間

靈活的文本編輯: FELIX 在學(xué)習(xí)編輯操作的復(fù)雜性和它建模的轉(zhuǎn)換的靈活性之間達(dá)到了平衡

簡言之，F(xiàn)ELIX旨在從自監(jiān)督的預(yù)訓(xùn)練中獲得最大利益，在資源少、訓(xùn)練數(shù)據(jù)少的情況下實(shí)現(xiàn)高效訓(xùn)練。

概述

為了實(shí)現(xiàn)上述目標(biāo)，F(xiàn)ELIX將文本編輯任務(wù)分解為兩個子任務(wù): 打標(biāo)簽以確定輸入單詞的子集及其在輸出文本中的順序，以及插入輸入文本中不存在的單詞。

標(biāo)注模型采用了一種新穎的指針機(jī)制，支持結(jié)構(gòu)轉(zhuǎn)換，而插入模型則基于MLM（Masked Language Model）。這兩個模型都是非自回歸的，保證了模型的快速性。下面是 FELIX 的圖表。

一個用于文本簡化任務(wù)的FELIX數(shù)據(jù)訓(xùn)練示例。輸入詞首先標(biāo)記為 KEEP (K)、 DELETE (D)或 KEEP 和 INSERT (I)。標(biāo)記之后，輸入被重新排序。然后將這個重新排序的輸入反饋給一個MLM。

標(biāo)記模型

FELIX的第一步是標(biāo)記模型，它由兩個組件組成。

首先，標(biāo)記器確定哪些詞應(yīng)該保留或刪除，哪些地方應(yīng)該插入新詞。當(dāng)標(biāo)記器預(yù)測插入時，將向輸出中添加一個特殊的MASK標(biāo)記。

在標(biāo)記之后，有一個重新排序的步驟，其中指針對輸入進(jìn)行重新排序以形成輸出，通過這個步驟，它能夠重復(fù)使用輸入的部分內(nèi)容，而不是插入新的文本。重新排序步驟支持任意重寫，從而支持對大型更改建模。

對指針網(wǎng)絡(luò)進(jìn)行訓(xùn)練，使得輸入中的每個單詞指向下一個單詞，因?yàn)樗鼘⒊霈F(xiàn)在輸出中，如下所示。

插入模型

標(biāo)記模型的輸出是重新排序的輸入文本，其中包含插入標(biāo)簽預(yù)測的已刪除的單詞和MASK標(biāo)記。

標(biāo)記模型的輸出是重新排序的輸入文本，其中包含插入標(biāo)簽預(yù)測的已刪除的單詞和MASK標(biāo)記。插入模型必須預(yù)測MASK標(biāo)記的內(nèi)容。因?yàn)镕ELIX的插入模型與BERT的預(yù)訓(xùn)練目標(biāo)非常相似，所以它可以直接利用訓(xùn)練前的優(yōu)勢，這在數(shù)據(jù)有限的情況下尤其有優(yōu)勢。

結(jié)果

本文對FELIX在句子融合，文本簡化，抽象摘要和機(jī)器翻譯的譯后編輯方面進(jìn)行了評估。這些任務(wù)所需的編輯類型和操作所依據(jù)的數(shù)據(jù)集大小有著很大的差異。

在一定的數(shù)據(jù)集大小范圍內(nèi)，將FELIX與大型預(yù)訓(xùn)練的seq2seq模型（BERT2BERT）和文本編輯模型（LaserTager）進(jìn)行比較，從而得到關(guān)于句子融合任務(wù)（即將兩個句子合并為一個）的結(jié)果。

可以看出FELIX的性能要優(yōu)于LaserTagger，并且僅需幾百個樣本就可以進(jìn)行訓(xùn)練。對于完整的數(shù)據(jù)集，自回歸BERT2BERT的性能要優(yōu)于FELIX。但是，在推理過程中，此模型花費(fèi)的時間明顯更長。

FELIX（使用性能最佳的模型），BERT2BERT和LaserTagger在使用不同大小的DiscoFuse訓(xùn)練數(shù)據(jù)集時的參考語句完全匹配百分比的比較。

結(jié)論

FELIX是完全非自回歸的，在實(shí)現(xiàn)了頂尖水準(zhǔn)的結(jié)果的同時提供了更快的推理時間。

FELIX還通過三種技術(shù)將所需的訓(xùn)練數(shù)據(jù)量降至最低：微調(diào)預(yù)訓(xùn)練的檢查點(diǎn)，學(xué)習(xí)少量的編輯操作以及從預(yù)訓(xùn)練中模仿MLM任務(wù)的插入任務(wù)。

最后，F(xiàn)ELIX在學(xué)習(xí)的編輯操作的復(fù)雜性和可處理的輸入輸出轉(zhuǎn)換的百分比之間取得了平衡。