看完這篇文章之后，你將會(huì)知道：

• 給自然語(yǔ)言處理領(lǐng)域帶來(lái)最深刻影響的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu);
• 深度學(xué)習(xí)可以對(duì)自然語(yǔ)言處理的各個(gè)層面制定學(xué)習(xí)任務(wù);
• 密集詞匯表示的重要性和學(xué)習(xí)表示的方法。

讓我們開(kāi)始吧。

概覽

這篇文章將分成 12 個(gè) section，并按以下結(jié)構(gòu)排布，分別是：

1. 介紹;
2. 神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu);
3. 特征表示;
4. 前饋神經(jīng)網(wǎng)絡(luò);
5. 詞嵌入;
6. 神經(jīng)網(wǎng)絡(luò)訓(xùn)練;
7. 串聯(lián)和多任務(wù)學(xué)習(xí);
8. 結(jié)構(gòu)化輸出預(yù)測(cè);
9. 卷積層;
10. 循環(huán)神經(jīng)網(wǎng)絡(luò);
11. 具體的 RNN 結(jié)構(gòu);
12. 模型樹(shù)。

1. 關(guān)于這篇論文

這篇論文的標(biāo)題是「基于神經(jīng)網(wǎng)絡(luò)模型的自然語(yǔ)言處理入門(mén)」(A Primer on Neural Network Models for Natural Language Processing)。

對(duì)應(yīng)的論文 2015 年發(fā)表在 ArXiv 上。與其說(shuō)是論文，不如說(shuō)是一篇技術(shù)報(bào)告或者說(shuō)是教程，面向研究員和學(xué)生，對(duì)基于深度學(xué)習(xí)方法的自然語(yǔ)言處理(NLP)作了綜合性的介紹。

這篇教程審視了針對(duì)自然語(yǔ)言處理的研究的幾個(gè)深度學(xué)習(xí)模型，以求自然語(yǔ)言的研究能加快神經(jīng)網(wǎng)絡(luò)技術(shù)的發(fā)展。

入門(mén)教程由曾是 Google Research 科學(xué)家和 NLP 研究員的 Yoav Goldberg

(https://www.cs.bgu.ac.il/~yoavg/uni/) 編寫(xiě)。這是一篇技術(shù)報(bào)告，有大約 62 頁(yè)以及 13 頁(yè)的參考文獻(xiàn)。

這對(duì)于初學(xué)者來(lái)說(shuō)是很理想的教材，因?yàn)椋?/p>

• 它對(duì)讀者的基礎(chǔ)要求不高，不需要對(duì)先了解機(jī)器學(xué)習(xí)和語(yǔ)言處理的相關(guān)知識(shí);
• 涉及領(lǐng)域?qū)挿?，包括了很多深度學(xué)習(xí)方法和自然語(yǔ)言處理的問(wèn)題。

在這篇教程中，我希望能為 NLP 開(kāi)發(fā)者和新手介紹一些基礎(chǔ)背景知識(shí)，術(shù)語(yǔ)，實(shí)用工具以及方法論，從而明白其背后的神經(jīng)網(wǎng)絡(luò)模型的理論，應(yīng)用到他們自己的工作中... 面向的是那些有志于利用已有的，有價(jià)值的技術(shù)，并創(chuàng)造新方法去解決他們最感興趣的 NLP 的人。

通常情況下，在語(yǔ)言學(xué)和自然語(yǔ)言處理中，關(guān)鍵的深度學(xué)習(xí)方法需要翻模(重命名)以建立有用的溝通橋梁。

***，這篇 2015 年的入門(mén)教程在 2017 年出書(shū)了，書(shū)名為「Neural Network Methods for Natural Language Processing (http://amzn.to/2tXn2dZ)」。

2. 神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

這一小節(jié)將介紹神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的不同類(lèi)型，作為后面章節(jié)的參照。

全連接前饋神經(jīng)網(wǎng)絡(luò)是非線性學(xué)習(xí)器，因此在極大程度上可以隨意取代線性學(xué)習(xí)器。

這里介紹 4 種類(lèi)型的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，這里著重介紹其應(yīng)用案例和參考文獻(xiàn)：

• 全連接前饋神經(jīng)網(wǎng)絡(luò)，例如多層感知網(wǎng)絡(luò);
• 帶有卷積和池化層的網(wǎng)絡(luò)，例如卷積神經(jīng)網(wǎng)絡(luò);
• 循環(huán)神經(jīng)網(wǎng)絡(luò)，例如長(zhǎng)短時(shí)記憶網(wǎng)絡(luò);
• 遞歸神經(jīng)網(wǎng)絡(luò)。

如果你只對(duì)應(yīng)用感興趣，以上內(nèi)容將為你提供直接尋找更多資源的線索。

3. 特征表示

這一節(jié)著重介紹深度學(xué)習(xí)模型訓(xùn)練稀疏或者密集型表示的各種方法。

也許，從稀疏輸入(sparse-input)線性模型到神經(jīng)網(wǎng)絡(luò)模型***的飛躍，就是放棄將每一個(gè)特征作為一個(gè)維度的表示方式(所謂的 one-hot 表示)，而使用密集型向量的表示方式。

NLP 分類(lèi)系統(tǒng)的一般結(jié)構(gòu)總結(jié)如下：

• 提取核心語(yǔ)言特征的集合;
• 為每一個(gè)向量檢索關(guān)聯(lián)向量;
• 組合特征向量;
• 將組合向量反饋給非線性分類(lèi)器。

這個(gè)結(jié)構(gòu)的關(guān)鍵在于使用密集型特征向量而不是稀疏特征向量，使用核心特征而不是特征組合。

需要注意在特征提取階段中，神經(jīng)網(wǎng)絡(luò)只有提取核心特征。這和傳統(tǒng)的基于線性模型的 NLP 不同，傳統(tǒng)的 NLP 的特征設(shè)計(jì)必須手動(dòng)設(shè)置以明確規(guī)定核心特征和其中的相互作用。

4. 前饋神經(jīng)網(wǎng)絡(luò)

這一節(jié)將提供前饋人工神經(jīng)網(wǎng)絡(luò)的速成課程。

以「A Primer on Neural Network Models for Natural Language Processing」中含兩個(gè)隱藏層的前饋神經(jīng)網(wǎng)絡(luò)為例。這些神經(jīng)網(wǎng)絡(luò)都是使用數(shù)學(xué)概念和腦啟發(fā)的形式而表示出來(lái)的。通常神經(jīng)網(wǎng)絡(luò)的研究論題包括如下幾個(gè)：

表示能力(e.g. 一般近似);

• 一般非線性特征(e.g. 變換函數(shù));
• 輸出的變換(e.g. softmax);
• 詞匯嵌入(e.g. 嵌入式學(xué)習(xí)的密集型表征);
• 損失函數(shù)(e.g. 折葉(ReLU)和對(duì)數(shù)損失函數(shù))。

5. 詞嵌入

對(duì)于自然語(yǔ)言處理的神經(jīng)網(wǎng)絡(luò)方法來(lái)說(shuō)，詞嵌入表征是很重要的論題。這一節(jié)將展開(kāi)這一論題并舉幾個(gè)關(guān)鍵方法的例子。神經(jīng)網(wǎng)絡(luò)在 NLP 中的流行一個(gè)重要原因是嵌入方法的使用，在低維空間中將每一個(gè)特征表征為一個(gè)向量。我們將回顧以下幾個(gè)關(guān)于嵌入的論題：

• 隨機(jī)初始化(e.g. 以統(tǒng)一的隨機(jī)向量啟動(dòng));
• 有監(jiān)督特定任務(wù)的預(yù)訓(xùn)練(e.g. 遷移學(xué)習(xí));
• 無(wú)監(jiān)督預(yù)訓(xùn)練(e.g. 統(tǒng)計(jì)方法，如 word2vec 和 GloVe);
• 訓(xùn)練目標(biāo)(e.g. 目標(biāo)對(duì)輸出向量的影響);
• 上下文的選擇(e.g. 每一個(gè)詞受到的周?chē)脑~的影響)。

神經(jīng)詞嵌入方法源于語(yǔ)言模型化方法，即訓(xùn)練網(wǎng)絡(luò)以通過(guò)上文序列預(yù)測(cè)下一個(gè)詞。

6. 神經(jīng)網(wǎng)絡(luò)訓(xùn)練

這一節(jié)篇幅較大，著重介紹神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方式，面向?qū)ι窠?jīng)網(wǎng)絡(luò)范式不熟悉的讀者。神經(jīng)網(wǎng)絡(luò)的訓(xùn)練是通過(guò)梯度方法，嘗試在一個(gè)訓(xùn)練數(shù)據(jù)集內(nèi)最小化損失函數(shù)的過(guò)程。

這一節(jié)重點(diǎn)關(guān)注隨機(jī)梯度下降(以及類(lèi)似的 mini-batch)以及訓(xùn)練過(guò)程中的正則化方法。

有趣的是，神經(jīng)網(wǎng)絡(luò)的計(jì)算圖觀點(diǎn)的提出為一些實(shí)現(xiàn)深度學(xué)習(xí)模型的符號(hào)化數(shù)值程序庫(kù)(symbolic numerical libraries)，如 Theano 和 TensorFlow 提供了很好的入門(mén)方法。

只要圖被建立起來(lái)，就能很直觀的理解前向計(jì)算(計(jì)算輸出結(jié)果)或者方向計(jì)算(計(jì)算梯度)。

7. 級(jí)聯(lián)(Cascading)和多任務(wù)學(xué)習(xí)

這一節(jié)將在前一節(jié)的基礎(chǔ)上，我們將總結(jié)級(jí)聯(lián) NLP 模型和多語(yǔ)言任務(wù)的學(xué)習(xí)模型。

級(jí)聯(lián)模型：利用神經(jīng)網(wǎng)絡(luò)模型的計(jì)算圖定義加入中間表征(編碼)以建立更加復(fù)雜的模型。例如，我們可以通過(guò)近鄰詞匯，以及/或者其組成特征建立一個(gè)前饋網(wǎng)絡(luò)來(lái)預(yù)測(cè)詞匯。

多任務(wù)學(xué)習(xí)：各種相關(guān)的語(yǔ)言預(yù)測(cè)任務(wù)，并不互相反饋，但會(huì)在任務(wù)中分享信息。

預(yù)測(cè)命名實(shí)體的邊界，以及語(yǔ)句的下一個(gè)詞匯，都依賴于一些潛在的句法-語(yǔ)義表征上。這些高級(jí)概念都是在神經(jīng)網(wǎng)絡(luò)語(yǔ)境中描述的，以在模型之間建立關(guān)聯(lián)的理解，或者在訓(xùn)練過(guò)程(誤差反向傳播)和預(yù)測(cè)過(guò)程中，共享信息。

8. 結(jié)構(gòu)化輸出的預(yù)測(cè)

這一節(jié)關(guān)注使用深度學(xué)習(xí)方法進(jìn)行結(jié)構(gòu)化預(yù)測(cè)的幾個(gè)自然語(yǔ)言處理任務(wù)的例子，比如，序列、決策樹(shù)和計(jì)算圖。

典型例子有序列標(biāo)注(e.g. 詞性標(biāo)注)的序列分割(分組，NER(命名實(shí)體識(shí)別))，以及句法分析。本節(jié)內(nèi)容包括基于貪婪算法的和以搜索為核心的結(jié)構(gòu)化預(yù)測(cè)，而主要集中討論后者。

以搜索為核心是自然語(yǔ)言結(jié)構(gòu)化預(yù)測(cè)的一般方法。

9. 卷積層

這一節(jié)提供了卷積神經(jīng)網(wǎng)絡(luò)的速成課程，以及討論卷積網(wǎng)絡(luò)對(duì)自然語(yǔ)言處理研究帶來(lái)的變革。CNN 被證明在自然語(yǔ)言處理的分類(lèi)任務(wù)上表現(xiàn)出色，比如情緒分析，e.g. 在文中尋找特定的子序列或者結(jié)構(gòu)進(jìn)行預(yù)測(cè)。

卷積神經(jīng)網(wǎng)絡(luò)一般被設(shè)計(jì)成在大型結(jié)構(gòu)中用以識(shí)別 indicative local predictors，并將其組合以生成結(jié)構(gòu)的固定大小的向量表征，捕捉這些 local aspects 對(duì)于預(yù)測(cè)任務(wù)來(lái)說(shuō)是很有用的。

10. 循環(huán)神經(jīng)網(wǎng)絡(luò)

正如前一節(jié)一樣，這一節(jié)也將介紹一種特定的網(wǎng)絡(luò)和其在 NLP 中的應(yīng)用。比如，應(yīng)用 RNN 的序列建模。

循環(huán)神經(jīng)網(wǎng)絡(luò)允許在一個(gè)固定大小的向量中表示任意大小的結(jié)構(gòu)化輸入，而只關(guān)心輸入的結(jié)構(gòu)化性質(zhì)。

由于 RNNs 在 NLP 中很受歡迎，尤其是 LSTM，這一節(jié)將討論如下幾個(gè)關(guān)于循環(huán)的論題和模型：

• RNN 抽象概念(e.g. 網(wǎng)絡(luò)圖中的循環(huán)連接);
• RNN 訓(xùn)練過(guò)程(e.g. 沿時(shí)間的反向傳播);
• 多層(堆疊)RNN(e.g. 深度學(xué)習(xí)的「深」的解釋);
• BI-RNN(e.g. 前向和反向序列作為輸入);
• 用于表示的 RNN 堆疊。

我們將集中討論 RNN 模型結(jié)構(gòu)或者結(jié)構(gòu)元素中，特別是：

• 接收器(acceptor)：在完整輸入序列之后的輸出的損失計(jì)算;
• 編碼器(encoder)：***的向量作為輸入序列的編碼器;
• 變換器(transducer)：在輸入序列中，每一次觀測(cè)生成一個(gè)輸出;
• 編碼器-譯碼器(encoder-decoder)：輸入序列在被譯碼成輸出序列之前，編碼成一個(gè)固定長(zhǎng)度的向量。

11. 具體的 RNN 結(jié)構(gòu)

這一節(jié)將在上一節(jié)的基礎(chǔ)上討論特定的 RNN 算法。比如：

• 簡(jiǎn)單 RNN(SRNN);
• 長(zhǎng)短時(shí)記憶(LSTM);
• 門(mén)控循環(huán)單元(GRU)。

12. 模型建模

***一節(jié)著重討論一種更加復(fù)雜的網(wǎng)絡(luò)，學(xué)習(xí)樹(shù)型建模的遞歸神經(jīng)網(wǎng)絡(luò)。所謂的樹(shù)包括了句法樹(shù)，話語(yǔ)樹(shù)，甚至是表示(由一句話的幾個(gè)部分表達(dá)的)情緒的樹(shù)。我們希望在特定的樹(shù)節(jié)點(diǎn)上預(yù)測(cè)價(jià)值，價(jià)值預(yù)測(cè)以根節(jié)點(diǎn)為基礎(chǔ)，或者為整棵樹(shù)或者部分樹(shù)指定一個(gè)預(yù)測(cè)值。

正如循環(huán)神經(jīng)網(wǎng)絡(luò)保持輸入序列的狀態(tài)，遞歸神經(jīng)網(wǎng)絡(luò)保持樹(shù)節(jié)點(diǎn)的狀態(tài)。

這里有一個(gè)遞歸神經(jīng)網(wǎng)絡(luò)的例子，取自「A Primer on Neural Network Models for Natural Language Processing.」

總結(jié)

這篇文章介紹了自然語(yǔ)言處理的深度學(xué)習(xí)方法入門(mén)。

具體來(lái)說(shuō)，你學(xué)到了：

• 在自然語(yǔ)言處理領(lǐng)域中最重要的幾種神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu);
• 成功應(yīng)用深度學(xué)習(xí)的幾類(lèi)自然語(yǔ)言處理任務(wù);
• 密集型詞表征和對(duì)應(yīng)的學(xué)習(xí)方法的重要性。

原文：

https://machinelearningmastery.com/primer-neural-network-models-natural-language-processing/

【本文是51CTO專欄機(jī)構(gòu)“機(jī)器之心”的原創(chuàng)譯文，微信公眾號(hào)“機(jī)器之心( id: almosthuman2014)”】

戳這里，看該作者更多好文