當(dāng)深度學(xué)習(xí)遇見自動(dòng)文本摘要
介紹
隨著近幾年文本信息的爆發(fā)式增長(zhǎng)，人們每天能接觸到海量的文本信息，如新聞、博客、聊天、報(bào)告、論文、微博等。從大量文本信息中提取重要的內(nèi)容，已成為我們的一個(gè)迫切需求，而自動(dòng)文本摘要?jiǎng)t提供了一個(gè)高效的解決方案。
根據(jù)Radev的定義[3]，摘要是“一段從一份或多份文本中提取出來(lái)的文字，它包含了原文本中的重要信息，其長(zhǎng)度不超過(guò)或遠(yuǎn)少于原文本的一半”。自動(dòng)文本摘要旨在通過(guò)機(jī)器自動(dòng)輸出簡(jiǎn)潔、流暢、保留關(guān)鍵信息的摘要。
自動(dòng)文本摘要有非常多的應(yīng)用場(chǎng)景，如自動(dòng)報(bào)告生成、新聞標(biāo)題生成、搜索結(jié)果預(yù)覽等。此外，自動(dòng)文本摘要也可以為下游任務(wù)提供支持。
盡管對(duì)自動(dòng)文本摘要有龐大的需求，這個(gè)領(lǐng)域的發(fā)展卻比較緩慢。對(duì)計(jì)算機(jī)而言，生成摘要是一件很有挑戰(zhàn)性的任務(wù)。從一份或多份文本生成一份合格摘要，要求計(jì)算機(jī)在閱讀原文本后理解其內(nèi)容，并根據(jù)輕重緩急對(duì)內(nèi)容進(jìn)行取舍，裁剪和拼接內(nèi)容，最后生成流暢的短文本。因此，自動(dòng)文本摘要需要依靠自然語(yǔ)言處理/理解的相關(guān)理論，是近幾年來(lái)的重要研究方向之一。
自動(dòng)文本摘要通?？煞譃閮深悾謩e是抽取式(extractive)和生成式(abstractive)。抽取式摘要判斷原文本中重要的句子，抽取這些句子成為一篇摘要。而生成式方法則應(yīng)用先進(jìn)的自然語(yǔ)言處理的算法，通過(guò)轉(zhuǎn)述、同義替換、句子縮寫等技術(shù)，生成更凝練簡(jiǎn)潔的摘要。比起抽取式，生成式更接近人進(jìn)行摘要的過(guò)程。歷史上，抽取式的效果通常優(yōu)于生成式。伴隨深度神經(jīng)網(wǎng)絡(luò)的興起和研究，基于神經(jīng)網(wǎng)絡(luò)的生成式文本摘要得到快速發(fā)展，并取得了不錯(cuò)的成績(jī)。
本文主要介紹基于深度神經(jīng)網(wǎng)絡(luò)的生成式自動(dòng)文本摘要，著重討論典型的摘要模型，并介紹如何評(píng)價(jià)自動(dòng)生成的摘要。對(duì)抽取式和不基于深度神經(jīng)網(wǎng)絡(luò)的生成式自動(dòng)文本摘要感興趣的同學(xué)可以參考[1][2]。
生成式文本摘要
生成式文本摘要以一種更接近于人的方式生成摘要，這就要求生成式模型有更強(qiáng)的表征、理解、生成文本的能力。傳統(tǒng)方法很難實(shí)現(xiàn)這些能力，而近幾年來(lái)快速發(fā)展的深度神經(jīng)網(wǎng)絡(luò)因其強(qiáng)大的表征(representation)能力，提供了更多的可能性，在圖像分類、機(jī)器翻譯等領(lǐng)域不斷推進(jìn)機(jī)器智能的極限。借助深度神經(jīng)網(wǎng)絡(luò)，生成式自動(dòng)文本摘要也有了令人矚目的發(fā)展，不少生成式神經(jīng)網(wǎng)絡(luò)模型(neural-network-based abstractive summarization model)在DUC-2004測(cè)試集上已經(jīng)超越了最好的抽取式模型[4]。這部分文章主要介紹生成式神經(jīng)網(wǎng)絡(luò)模型的基本結(jié)構(gòu)及最新成果。
基本模型結(jié)構(gòu)
生成式神經(jīng)網(wǎng)絡(luò)模型的基本結(jié)構(gòu)主要由編碼器(encoder)和解碼器(decoder)組成，編碼和解碼都由神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)。
編碼器負(fù)責(zé)將輸入的原文本編碼成一個(gè)向量(context)，該向量是原文本的一個(gè)表征，包含了文本背景。而解碼器負(fù)責(zé)從這個(gè)向量提取重要信息、加工剪輯，生成文本摘要。這套架構(gòu)被稱作Sequence-to-Sequence(以下簡(jiǎn)稱Seq2Seq)，被廣泛應(yīng)用于存在輸入序列和輸出序列的場(chǎng)景，比如機(jī)器翻譯(一種語(yǔ)言序列到另一種語(yǔ)言序列)、image captioning(圖片像素序列到語(yǔ)言序列)、對(duì)話機(jī)器人(如問(wèn)題到回答)等。
Seq2Seq架構(gòu)中的編碼器和解碼器通常由遞歸神經(jīng)網(wǎng)絡(luò)(RNN)或卷積神經(jīng)網(wǎng)絡(luò)(CNN)實(shí)現(xiàn)。
基于遞歸神經(jīng)網(wǎng)絡(luò)的模型
RNN被稱為遞歸神經(jīng)網(wǎng)絡(luò)，是因?yàn)樗妮敵霾粌H依賴于輸入，還依賴上一時(shí)刻輸出。
如上圖所示，t時(shí)刻的輸出h不僅依賴t時(shí)刻的輸入x，還依賴t-1時(shí)刻的輸出，而t-1的輸出又依賴t-1的輸入和t-2輸出，如此遞歸，時(shí)序上的依賴使RNN在理論上能在某時(shí)刻輸出時(shí)，考慮到所有過(guò)去時(shí)刻的輸入信息，特別適合時(shí)序數(shù)據(jù)，如文本、語(yǔ)音、金融數(shù)據(jù)等。因此，基于RNN實(shí)現(xiàn)Seq2Seq架構(gòu)處理文本任務(wù)是一個(gè)自然的想法。
典型的基于RNN的Seq2Seq架構(gòu)如下圖所示：
圖中展示的是一個(gè)用于自動(dòng)回復(fù)郵件的模型，它的編碼器和解碼器分別由四層RNN的變種LSTM[5]組成。圖中的向量thought vector編碼了輸入文本信息(Are you free tomorrow?)，解碼器獲得這個(gè)向量依次解碼生成目標(biāo)文本(Yes, what’s up?)。上述模型也可以自然地用于自動(dòng)文本摘要任務(wù)，這時(shí)的輸入為原文本(如新聞)，輸出為摘要(如新聞標(biāo)題)。
目前最好的基于RNN的Seq2Seq生成式文本摘要模型之一來(lái)自Salesforce，在基本的模型架構(gòu)上，使用了注意力機(jī)制(attention mechanism)和強(qiáng)化學(xué)習(xí)(reinforcement learning)。這個(gè)模型將在下文中詳細(xì)介紹。
基于卷積神經(jīng)網(wǎng)絡(luò)的模型
Seq2Seq同樣也可以通過(guò)CNN實(shí)現(xiàn)。不同于遞歸神經(jīng)網(wǎng)絡(luò)可以直觀地應(yīng)用到時(shí)序數(shù)據(jù)，CNN最初只被用于圖像任務(wù)[6]。
CNN通過(guò)卷積核(上圖的A和B)從圖像中提取特征(features)，間隔地對(duì)特征作用max pooling，得到不同階層的、由簡(jiǎn)單到復(fù)雜的特征，如線、面、復(fù)雜圖形模式等，如下圖所示。
CNN的優(yōu)勢(shì)是能提取出hierarchical的特征，并且能并行高效地進(jìn)行卷積操作，那么是否能將CNN應(yīng)用到文本任務(wù)中呢?原生的字符串文本并不能提供這種可能性，然而，一旦將文本表現(xiàn)成分布式向量(distributed representation/word embedding)[7]，我們就可以用一個(gè)實(shí)數(shù)矩陣/向量表示一句話/一個(gè)詞。這樣的分布式向量使我們能夠在文本任務(wù)中應(yīng)用CNN。
如上圖所示，原文本(wait for the video and do n’t rent it)由一個(gè)實(shí)數(shù)矩陣表示，這個(gè)矩陣可以類比成一張圖像的像素矩陣，CNN可以像“閱讀”圖像一樣“閱讀”文本，學(xué)習(xí)并提取特征。雖然CNN提取的文本特征并不像圖像特征有顯然的可解釋性并能夠被可視化，CNN抽取的文本特征可以類比自然語(yǔ)言處理中的分析樹(syntactic parsing tree)，代表一句話的語(yǔ)法層級(jí)結(jié)構(gòu)。
基于卷積神經(jīng)網(wǎng)絡(luò)的自動(dòng)文本摘要模型中最具代表性的是由Facebook提出的ConvS2S模型[9]，它的編碼器和解碼器都由CNN實(shí)現(xiàn)，同時(shí)也加入了注意力機(jī)制，下文將詳細(xì)介紹。
當(dāng)然，我們不僅可以用同一種神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)編碼器和解碼器，也可以用不同的網(wǎng)絡(luò)，如編碼器基于CNN，解碼器基于RNN。
前沿
A Deep Reinforced Model for Abstractive Summarization
這是由Salesforce研究發(fā)表的基于RNN的生成式自動(dòng)文本摘要模型，通過(guò)架構(gòu)創(chuàng)新和若干tricks提升模型概括長(zhǎng)文本的能力，在CNN/Daily Mail、New York Times數(shù)據(jù)集上達(dá)到了新的state-of-the-art(最佳性能)。
針對(duì)長(zhǎng)文本生成摘要在文本摘要領(lǐng)域是一項(xiàng)比較困難的任務(wù)，即使是過(guò)去最好的深度神經(jīng)網(wǎng)絡(luò)模型，在處理這項(xiàng)任務(wù)時(shí)，也會(huì)出現(xiàn)生成不通順、重復(fù)詞句等問(wèn)題。為了解決上述問(wèn)題，模型作者提出了內(nèi)注意力機(jī)制(intra-attention mechanism)和新的訓(xùn)練方法，有效地提升了文本摘要的生成質(zhì)量。
模型里應(yīng)用了兩套注意力機(jī)制，分別是1)經(jīng)典的解碼器-編碼器注意力機(jī)制，和2)解碼器內(nèi)部的注意力機(jī)制。前者使解碼器在生成結(jié)果時(shí)，能動(dòng)態(tài)地、按需求地獲得輸入端的信息，后者則使模型能關(guān)注到已生成的詞，幫助解決生成長(zhǎng)句子時(shí)容易重復(fù)同一詞句的問(wèn)題。
模型的另一創(chuàng)新，是提出了混合式學(xué)習(xí)目標(biāo)，融合了監(jiān)督式學(xué)習(xí)(teacher forcing)和強(qiáng)化學(xué)習(xí)(reinforcement learning)。
首先，該學(xué)習(xí)目標(biāo)包含了傳統(tǒng)的最大似然。最大似然(MLE)在語(yǔ)言建模等任務(wù)中是一個(gè)經(jīng)典的訓(xùn)練目標(biāo)，旨在最大化句子中單詞的聯(lián)合概率分布，從而使模型學(xué)習(xí)到語(yǔ)言的概率分布。
但對(duì)于文本摘要，僅僅考慮最大似然并不夠。主要有兩個(gè)原因，一是監(jiān)督式訓(xùn)練有參考“答案”，但投入應(yīng)用、生成摘要時(shí)卻沒(méi)有。比如t時(shí)刻生成的詞是”tech”，而參考摘要中是”science”，那么在監(jiān)督式訓(xùn)練中生成t+1時(shí)刻的詞時(shí)，輸入是”science”，因此錯(cuò)誤并沒(méi)有積累。但在實(shí)際應(yīng)用中，由于沒(méi)有g(shù)round truth，t+1時(shí)刻的輸入是錯(cuò)誤的”tech”。這樣引起的后果是因?yàn)闆](méi)有糾正，錯(cuò)誤會(huì)積累，這個(gè)問(wèn)題被稱為exposure bias。另一個(gè)原因是，往往在監(jiān)督式訓(xùn)練中，對(duì)一篇文本一般只提供一個(gè)參考摘要，基于MLE的監(jiān)督式訓(xùn)練只鼓勵(lì)模型生成一模一樣的摘要，然而正如在介紹中提到的，對(duì)于一篇文本，往往可以有不同的摘要，因此監(jiān)督式學(xué)習(xí)的要求太過(guò)絕對(duì)。與此相反，用于評(píng)價(jià)生成摘要的ROUGE指標(biāo)卻能考慮到這一靈活性，通過(guò)比較參考摘要和生成的摘要，給出摘要的評(píng)價(jià)(見下文評(píng)估摘要部分)。所以希望在訓(xùn)練時(shí)引入ROUGE指標(biāo)。但由于ROUGE并不可導(dǎo)的，傳統(tǒng)的求梯度+backpropagation并不能直接應(yīng)用到ROUGE。因此，一個(gè)很自然的想法是，利用強(qiáng)化學(xué)習(xí)將ROUGE指標(biāo)加入訓(xùn)練目標(biāo)。
那么我們是怎么通過(guò)強(qiáng)化學(xué)習(xí)使模型針對(duì)ROUGE進(jìn)行優(yōu)化呢?簡(jiǎn)單說(shuō)來(lái)，模型先以前向模式(inference)生成摘要樣本，用ROUGE指標(biāo)測(cè)評(píng)打分，得到了對(duì)這個(gè)樣本的評(píng)價(jià)/回報(bào)(reward)后，再根據(jù)回報(bào)更新模型參數(shù)：如果模型生成的樣本reward較高，那么鼓勵(lì)模型;如果生成的樣本評(píng)價(jià)較低，那么抑制模型輸出此類樣本。
最終的訓(xùn)練目標(biāo)是最大似然和基于ROUGE指標(biāo)的函數(shù)的加權(quán)平均，這兩個(gè)子目標(biāo)各司其職：最大似然承擔(dān)了建立好的語(yǔ)言模型的責(zé)任，使模型生成語(yǔ)法正確、文字流暢的文本;而ROUGE指標(biāo)則降低exposure bias，允許摘要擁有更多的靈活性，同時(shí)針對(duì)ROUGE的優(yōu)化也直接提升了模型的ROUGE評(píng)分。
構(gòu)建一個(gè)好的模型，除了在架構(gòu)上需要有創(chuàng)新，也需要一些小技巧，這個(gè)模型也不例外。在論文中，作者使用了下列技巧：
- 使用指針處理未知詞(OOV)問(wèn)題;
- 共享解碼器權(quán)重，加快訓(xùn)練時(shí)模型的收斂;
- 人工規(guī)則，規(guī)定不能重復(fù)出現(xiàn)連續(xù)的三個(gè)詞。
綜上所述，深度學(xué)習(xí)+強(qiáng)化學(xué)習(xí)是一個(gè)很好的思路，這個(gè)模型第一次將強(qiáng)化學(xué)習(xí)應(yīng)用到文本摘要任務(wù)中，取得了不錯(cuò)的表現(xiàn)。相信同樣的思路還可以用在其他任務(wù)中。
Convolutional Sequence to Sequence Learning
ConvS2S模型由Facebook的AI實(shí)驗(yàn)室提出，它的編碼器和解碼器都是基于卷積神經(jīng)網(wǎng)絡(luò)搭建的。這個(gè)模型主要用于機(jī)器翻譯任務(wù)，在論文發(fā)表的時(shí)候，在英-德、英-法兩個(gè)翻譯任務(wù)上都達(dá)到了state-of-the-art。同時(shí)，作者也嘗試將該模型用于自動(dòng)文本摘要，實(shí)驗(yàn)結(jié)果顯示，基于CNN的Seq2Seq模型也能在文本摘要任務(wù)中達(dá)到接近state-of-the-art的表現(xiàn)。
模型架構(gòu)如下圖所示。乍看之下，模型很復(fù)雜，但實(shí)際上，它的每個(gè)部分都比較直觀，下面通過(guò)分解成子模塊，詳細(xì)介紹ConvS2S。
首先來(lái)看embedding部分。
這個(gè)模型的embedding比較新穎，除了傳統(tǒng)的semantic embedding/word embedding，還加入了position embedding，將詞序表示成分布式向量，使模型獲得詞序和位置信息，模擬RNN對(duì)詞序的感知。最后的embedding是語(yǔ)義和詞序embedding的簡(jiǎn)單求和。
之后，詞語(yǔ)的embedding作為輸入進(jìn)入到模型的卷積模塊。
這個(gè)卷積模塊可以視作是經(jīng)典的卷積加上非線性變換。雖然圖中只畫出一層的情況，實(shí)際上可以像經(jīng)典的卷積層一樣，層層疊加。
這里著重介紹非線性變換。
該非線性變換被稱為Gated Linear Unit (GLU)[10]。它將卷積后的結(jié)果分成兩部分，對(duì)其中一部分作用sigmoid變換，即映射到0到1的區(qū)間之后，和另一部分向量進(jìn)行element-wise乘積。
這個(gè)設(shè)計(jì)讓人聯(lián)想到LSTM中的門結(jié)構(gòu)。GLU從某種程度上說(shuō)，是在模仿LSTM和GRU中的門結(jié)構(gòu)，使網(wǎng)絡(luò)有能力控制信息流的傳遞，GLU在language modeling被證明是非常有效的[10]。
除了將門架構(gòu)和卷積層結(jié)合，作者還使用了殘差連接(residual connection)[11]。residual connection能幫助構(gòu)建更深的網(wǎng)絡(luò)，緩解梯度消失/爆炸等問(wèn)題。
除了使用加強(qiáng)版的卷積網(wǎng)絡(luò)，模型還引入了帶多跳結(jié)構(gòu)的注意力機(jī)制(multi-step attention)。不同于以往的注意力機(jī)制，多跳式注意力不僅要求解碼器的最后一層卷積塊關(guān)注輸入和輸出信息，而且還要求每一層卷積塊都執(zhí)行同樣的注意力機(jī)制。如此復(fù)雜的注意力機(jī)制使模型能獲得更多的歷史信息，如哪些輸入已經(jīng)被關(guān)注過(guò)。
像A Deep Reinforced Model for Abstractive Summarization一樣，ConvS2S的成功之處不僅在于創(chuàng)新的結(jié)構(gòu)，還在于細(xì)致入微的小技巧。在ConvS2S中，作者對(duì)參數(shù)使用了非常仔細(xì)的初始化和規(guī)范化(normalization)，穩(wěn)定了方差和訓(xùn)練過(guò)程。
這個(gè)模型的成功證明了CNN同樣能應(yīng)用到文本任務(wù)中，通過(guò)層級(jí)表征長(zhǎng)程依賴(long-range dependency)。同時(shí)，由于CNN具有可高度并行化的特點(diǎn)，所以CNN的訓(xùn)練比RNN更高效。比起RNN，CNN的不足是有更多的參數(shù)需要調(diào)節(jié)。
評(píng)估摘要
評(píng)估一篇摘要的質(zhì)量是一件比較困難的任務(wù)。
對(duì)于一篇摘要而言，很難說(shuō)有標(biāo)準(zhǔn)答案。不同于很多擁有客觀評(píng)判標(biāo)準(zhǔn)的任務(wù)，摘要的評(píng)判一定程度上依賴主觀判斷。即使在摘要任務(wù)中，有關(guān)于語(yǔ)法正確性、語(yǔ)言流暢性、關(guān)鍵信息完整度等標(biāo)準(zhǔn)，摘要的評(píng)價(jià)還是如同”一千個(gè)人眼里有一千個(gè)哈姆雷特“一樣，每個(gè)人對(duì)摘要的優(yōu)劣都有自己的準(zhǔn)繩。
自上世紀(jì)九十年代末開始，一些會(huì)議或組織開始致力于制定摘要評(píng)價(jià)的標(biāo)準(zhǔn)，他們也會(huì)參與評(píng)價(jià)一些自動(dòng)文本摘要。比較著名的會(huì)議或組織包括SUMMAC，DUC(Document Understanding Conference)，TAC(Text Analysis Conference)等。其中DUC的摘要任務(wù)被廣泛研究，大多數(shù)abstractive摘要模型在DUC-2004數(shù)據(jù)集上進(jìn)行測(cè)試。
目前，評(píng)估自動(dòng)文本摘要質(zhì)量主要有兩種方法：人工評(píng)價(jià)方法和自動(dòng)評(píng)價(jià)方法。這兩類評(píng)價(jià)方法都需要完成以下三點(diǎn)：
- 決定原始文本最重要的、需要保留的部分;
- 在自動(dòng)文本摘要中識(shí)別出1中的部分;
- 基于語(yǔ)法和連貫性(coherence)評(píng)價(jià)摘要的可讀性(readability)。
人工評(píng)價(jià)方法
評(píng)估一篇摘要的好壞，最簡(jiǎn)單的方法就是邀請(qǐng)若干專家根據(jù)標(biāo)準(zhǔn)進(jìn)行人工評(píng)定。這種方法比較接近人的閱讀感受，但是耗時(shí)耗力，無(wú)法用于對(duì)大規(guī)模自動(dòng)文本摘要數(shù)據(jù)的評(píng)價(jià)，和自動(dòng)文本摘要的應(yīng)用場(chǎng)景并不符合。因此，文本摘要研究團(tuán)隊(duì)積極地研究自動(dòng)評(píng)價(jià)方法。
自動(dòng)評(píng)價(jià)方法
為了更高效地評(píng)估自動(dòng)文本摘要，可以選定一個(gè)或若干指標(biāo)(metrics)，基于這些指標(biāo)比較生成的摘要和參考摘要(人工撰寫，被認(rèn)為是正確的摘要)進(jìn)行自動(dòng)評(píng)價(jià)。目前最常用、也最受到認(rèn)可的指標(biāo)是ROUGE(Recall-Oriented Understudy for Gisting Evaluation)。ROUGE是Lin提出的一個(gè)指標(biāo)集合，包括一些衍生的指標(biāo)，最常用的有ROUGE-n，ROUGE-L，ROUGE-SU：
- ROUGE-n：該指標(biāo)旨在通過(guò)比較生成的摘要和參考摘要的n-grams(連續(xù)的n個(gè)詞)評(píng)價(jià)摘要的質(zhì)量。常用的有ROUGE-1，ROUGE-2，ROUGE-3。
- ROUGE-L：不同于ROUGE-n，該指標(biāo)基于最長(zhǎng)公共子序列(LCS)評(píng)價(jià)摘要。如果生成的摘要和參考摘要的LCS越長(zhǎng)，那么認(rèn)為生成的摘要質(zhì)量越高。該指標(biāo)的不足之處在于，它要求n-grams一定是連續(xù)的。
- ROUGE-SU：該指標(biāo)綜合考慮uni-grams(n = 1)和bi-grams(n = 2)，允許bi-grams的第一個(gè)字和第二個(gè)字之間插入其他詞，因此比ROUGE-L更靈活。
作為自動(dòng)評(píng)價(jià)指標(biāo)，ROUGE和人工評(píng)定的相關(guān)度較高，在自動(dòng)評(píng)價(jià)摘要中能給出有效的參考。但另一方面，從以上對(duì)ROUGE指標(biāo)的描述可以看出，ROUGE基于字的對(duì)應(yīng)而非語(yǔ)義的對(duì)應(yīng)，生成的摘要在字詞上與參考摘要越接近，那么它的ROUGE值將越高。但是，如果字詞有區(qū)別，即使語(yǔ)義上類似，得到的ROUGE值就會(huì)變低。換句話說(shuō)，如果一篇生成的摘要恰好是在參考摘要的基礎(chǔ)上進(jìn)行同義詞替換，改寫成字詞完全不同的摘要，雖然這仍是一篇質(zhì)量較高的摘要，但ROUGE值會(huì)呈現(xiàn)相反的結(jié)論。從這個(gè)極端但可能發(fā)生的例子可以看出，自動(dòng)評(píng)價(jià)方法所需的指標(biāo)仍然存在一些不足。目前，為了避免上述情況的發(fā)生，在evaluation時(shí)，通常會(huì)使用幾篇摘要作為參考和基準(zhǔn)，這有效地增加了ROUGE的可信度，也考慮到了摘要的不唯一性。對(duì)自動(dòng)評(píng)價(jià)摘要方法的研究和探索也是目前自動(dòng)文本摘要領(lǐng)域一個(gè)熱門的研究方向。
總結(jié)
本文主要介紹了基于深度神經(jīng)網(wǎng)絡(luò)的生成式文本摘要，包括基本模型和最新進(jìn)展，同時(shí)也介紹了如何評(píng)價(jià)自動(dòng)生成的摘要。自動(dòng)文本摘要是目前NLP的熱門研究方向之一，從研究落地到實(shí)際業(yè)務(wù)，還有一段路要走，未來(lái)可能的發(fā)展方向有：1)模仿人撰寫摘要的模式，融合抽取式和生成式模型;2)研究更好的摘要評(píng)估指標(biāo)。希望本文能幫助大家更好地了解深度神經(jīng)網(wǎng)絡(luò)在自動(dòng)文本摘要任務(wù)中的應(yīng)用。
