[[425896]]

本文經(jīng)AI新媒體量子位（公眾號(hào)ID:QbitAI）授權(quán)轉(zhuǎn)載，轉(zhuǎn)載請(qǐng)聯(lián)系出處。

現(xiàn)在，AI能幫你200字看完一段12萬(wàn)詞的長(zhǎng)篇小說(shuō)了！

比如這樣一段121567詞的《傲慢與偏見(jiàn)》原文：

AI分四個(gè)階段來(lái)總結(jié)：

先把原文總結(jié)成276個(gè)摘要（24796詞），然后進(jìn)一步壓縮成25個(gè)摘要（3272詞），再到4個(gè)摘要（475詞）。

最終得到一段175詞的摘要，長(zhǎng)度只有原片段的千分之一：

粗略翻譯下看看，關(guān)鍵的幾個(gè)情節(jié)都點(diǎn)到了：

這理解力，不禁讓人望著某泡面壓留下了淚水。

這就是OpenAI最新推出的能給任意長(zhǎng)度書(shū)籍寫(xiě)摘要的模型。

平均10萬(wàn)詞以上的訓(xùn)練文本，最終能壓縮到400字以?xún)?nèi)。

而且這也是源自O(shè)penAI精妙的刀法：沒(méi)錯(cuò)，就是把GPT-3數(shù)據(jù)集里的書(shū)籍/小說(shuō)部分抽出來(lái)進(jìn)行訓(xùn)練所得到的模型。

話(huà)不多說(shuō)，一起來(lái)看看這個(gè)微調(diào)版的GPT-3模型。

遞歸任務(wù)分解

首先，現(xiàn)將“總結(jié)一段文本”這一任務(wù)進(jìn)行算法上的分解。

如果該文本足夠短，就直接進(jìn)行總結(jié)；如果它比較長(zhǎng)，就把文本分成小塊，并遞歸地對(duì)每一塊進(jìn)行總結(jié)。

這就形成了一棵總結(jié)任務(wù)樹(shù)：

其中只有葉子任務(wù)會(huì)對(duì)書(shū)籍中的原始文本進(jìn)行操作。

并且，已生成的摘要應(yīng)該放在同一深度，并按照順序串聯(lián)起來(lái)。

比如上圖中的藍(lán)色任務(wù)的先前總結(jié)輸出就用虛線(xiàn)來(lái)表示，這樣，每一個(gè)摘要都是自然地從上一層任務(wù)（前文）流出，以保證那些相距較遠(yuǎn)的段落能夠真正地“聯(lián)系上下文”。

接下來(lái)開(kāi)始訓(xùn)練：

1. 根據(jù)上述的任務(wù)樹(shù)將書(shū)籍和其子摘要遞歸為任務(wù)；
2. 從樹(shù)上抽出一個(gè)節(jié)點(diǎn)，對(duì)應(yīng)一個(gè)帶訓(xùn)練的總結(jié)任務(wù)；
3. 獲得訓(xùn)練數(shù)據(jù)，給該節(jié)點(diǎn)以輸入；
4. 使用訓(xùn)練數(shù)據(jù)對(duì)模型進(jìn)行微調(diào)。

其中，所有訓(xùn)練數(shù)據(jù)都來(lái)自GPT-3中的書(shū)籍部分。

研究人員會(huì)跳過(guò)非敘事性書(shū)籍，盡量選擇小說(shuō)類(lèi)（平均包含超過(guò)10萬(wàn)個(gè)單詞），因?yàn)檫@些上下文關(guān)聯(lián)性更強(qiáng)的文本對(duì)總結(jié)任務(wù)來(lái)說(shuō)更難。

這一訓(xùn)練過(guò)程可以使用新的模型、不同的節(jié)點(diǎn)采樣策略、不同的訓(xùn)練數(shù)據(jù)類(lèi)型（演示和比較）來(lái)迭代。

對(duì)于演示用的數(shù)據(jù)，使用標(biāo)準(zhǔn)的交叉熵?fù)p失函數(shù)進(jìn)行行為克隆（BC）。

對(duì)于比較數(shù)據(jù)，則通過(guò)強(qiáng)化學(xué)習(xí)（RL）來(lái)對(duì)抗一個(gè)專(zhuān)為人類(lèi)偏好而訓(xùn)練的獎(jiǎng)勵(lì)模型。

強(qiáng)化學(xué)習(xí)也有三種變體的抽樣任務(wù)：

• 全樹(shù)
• 第一棵子樹(shù)
• 第一片葉子

訓(xùn)練完成后進(jìn)行總結(jié)，任務(wù)的最終目的是追溯出敘述的時(shí)間線(xiàn)和整體主題。

每個(gè)摘要子任務(wù)的目標(biāo)是將文本壓縮5到10倍，長(zhǎng)度上限為128到384個(gè)符號(hào)。

優(yōu)于現(xiàn)有同類(lèi)模型

實(shí)驗(yàn)階段，研究人員使用了Goodreads 2020榜單上的40本最受歡迎的書(shū)籍，其中囊括了幻想、恐怖、愛(ài)情、推理等近20個(gè)類(lèi)型。

然后讓兩名人類(lèi)研究員和模型同時(shí)進(jìn)行總結(jié)，要求雙方的摘要質(zhì)量的一致性接近于80%。

模型規(guī)模分為175B和6B兩種，且訓(xùn)練模式也分為上述的強(qiáng)化學(xué)習(xí)的三種變體任務(wù)。

最后結(jié)果中，可以看到第一棵子樹(shù)RL和全樹(shù)RL的總結(jié)任務(wù)最接近于人類(lèi)的水平：

并且，也有超過(guò)5%的175B模型的摘要被打到了6分（滿(mǎn)分7分），超過(guò)15%的摘要被打到5分：

研究團(tuán)隊(duì)也在最近提出的BookSum數(shù)據(jù)集上進(jìn)行了測(cè)試，結(jié)果比現(xiàn)有的長(zhǎng)文本總結(jié)模型更好：

除此之外，摘要是否能用來(lái)回答關(guān)于原文的問(wèn)題也是評(píng)估方法之一。

因此，團(tuán)隊(duì)將他們的總結(jié)模型應(yīng)用于NarrativeQA問(wèn)題回答數(shù)據(jù)集，可以看到，雖然沒(méi)有經(jīng)過(guò)明確的問(wèn)題回答訓(xùn)練，但在所有的指標(biāo)上都獲得了最好的結(jié)果：

作者介紹

這篇研究出自O(shè)penAI的 OpenAI Alignment team，他們表示，目前沒(méi)有開(kāi)源此模型的計(jì)劃。

論文一作Jeff Wu本碩都畢業(yè)于麻省理工大學(xué)，在加入OpenAI之前有過(guò)在谷歌工作的經(jīng)歷。

共同一作Long Ouyang本科畢業(yè)于哈佛大學(xué)，博士則畢業(yè)于斯坦福大學(xué)的認(rèn)知心理學(xué)專(zhuān)業(yè)，主要研究領(lǐng)域?yàn)檎J(rèn)知科學(xué)與概率規(guī)劃研究。

論文：
https://arxiv.org/abs/2109.10862

OpenAI官網(wǎng)介紹：
https://openai.com/blog/summarizing-books/