本文基于以前的 RNN 模型研究，提出了一種有序神經(jīng)元，該神經(jīng)元能夠強(qiáng)制執(zhí)行隱藏狀態(tài)神經(jīng)元之間更新頻率的順序，并且將潛在樹(shù)結(jié)構(gòu)整合到循環(huán)模型中。此外，本文提出的一種新 RNN 單元在語(yǔ)言建模、無(wú)監(jiān)督成分句法分析、有針對(duì)性的語(yǔ)法評(píng)估及邏輯推理四個(gè)任務(wù)上都表現(xiàn)優(yōu)異。

引言

雖然自然語(yǔ)言通常以序列形式呈現(xiàn)，但語(yǔ)言的基本結(jié)構(gòu)并不是嚴(yán)格序列化的。語(yǔ)言學(xué)家們一致認(rèn)為，該結(jié)構(gòu)由一套規(guī)則或語(yǔ)法控制(Sandra & Taft，2014)，且規(guī)定了單詞組成語(yǔ)句的邏輯。不管其表現(xiàn)形式如何，這種結(jié)構(gòu)通常是樹(shù)狀的。雖然語(yǔ)言學(xué)家們已發(fā)現(xiàn)這一規(guī)律，但其潛在結(jié)構(gòu)的真正起源卻仍不得而知。某些理論認(rèn)為，這可能與人類(lèi)認(rèn)知的內(nèi)在機(jī)制相關(guān)(Chomsky & Lightfoot，2002)。由于人工神經(jīng)網(wǎng)絡(luò)的靈感來(lái)源于生物神經(jīng)系統(tǒng)的信息處理及通訊模式，上述可能性讓更多人對(duì)使用人工神經(jīng)網(wǎng)絡(luò)研究語(yǔ)言的潛在結(jié)構(gòu)產(chǎn)生了興趣。

從實(shí)用角度看，將樹(shù)結(jié)構(gòu)集成到語(yǔ)言模型中也很重要，原因如下：

• 能獲得抽象化級(jí)別不斷提升的分層表征，抽象化也是深度神經(jīng)網(wǎng)絡(luò)的關(guān)鍵特征(Bengio 等，2009; LeCun 等，2015; Schmidhuber，2015);
• 能捕獲復(fù)雜語(yǔ)言現(xiàn)象，如長(zhǎng)期依賴(lài)問(wèn)題(Tai 等，2015)與組分效應(yīng)(compositional effects)(Socher 等，2013);
• 能為梯度反向傳播提供捷徑(Chung 等，2016)。

近些年，很多人開(kāi)始關(guān)注開(kāi)發(fā)能夠利用語(yǔ)法知識(shí)或至少一些樹(shù)結(jié)構(gòu)(Williams 等，2018;Shi 等，2018)來(lái)形成更好語(yǔ)義表征的深度神經(jīng)網(wǎng)絡(luò)(Shen 等，2017; Jacob 等，2018;Bowman 等，2016;Choi 等，2018;Yogatama 等，2016)。

獲得樹(shù)結(jié)構(gòu)的一種簡(jiǎn)單方法是通過(guò)監(jiān)督語(yǔ)法分析器。這些分析器生成的樹(shù)結(jié)構(gòu)被用來(lái)指導(dǎo)單詞語(yǔ)義到句子語(yǔ)義的組合(Socher 等，2013;Bowman 等，2015)，甚至在給定先前單詞的情況下幫助預(yù)測(cè)下一個(gè)單詞(Wu 等，2017)。然而，監(jiān)督分析器也有一些局限性：1)很少有語(yǔ)言具有用于監(jiān)督分析器訓(xùn)練的全面注釋數(shù)據(jù);2)在可用的語(yǔ)言數(shù)據(jù)中，語(yǔ)法規(guī)則往往被打破「如推特上的表達(dá)」;3)在實(shí)際運(yùn)用過(guò)程中，語(yǔ)言始終在變化，因此語(yǔ)法規(guī)則可能會(huì)演變。

另一方面，以無(wú)監(jiān)督方式從可用數(shù)據(jù)中學(xué)習(xí)樹(shù)結(jié)構(gòu)仍是一個(gè)未解決的問(wèn)題。訓(xùn)練過(guò)程中的繁瑣結(jié)構(gòu)(如左分支樹(shù)結(jié)構(gòu)、右分支樹(shù)結(jié)構(gòu)(Williams 等，2018))或強(qiáng)化學(xué)習(xí)訓(xùn)練困境(Yogatama 等，2016)，使許多研究無(wú)功而返。而且，一些方法的實(shí)現(xiàn)和訓(xùn)練相對(duì)復(fù)雜，如 Shen 等人提出的 PRPN(2017)。

循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)已被證明在語(yǔ)言建模任務(wù)中非常高效(Merity 等，2017;Melis 等，2017)。RNN 隱式地在數(shù)據(jù)上強(qiáng)加了鏈?zhǔn)浇Y(jié)構(gòu)。該鏈?zhǔn)浇Y(jié)構(gòu)似乎與語(yǔ)言的潛在非序列化結(jié)構(gòu)不一致，并且給運(yùn)用深度學(xué)習(xí)方法處理自然語(yǔ)言數(shù)據(jù)帶來(lái)了一些困難，如捕獲長(zhǎng)期依賴(lài)(Bengio 等，2009)、獲得良好泛化能力(Bowman 等，2015)及處理否定 (Socher 等，2013)等。同時(shí)，有證據(jù)表明，擁有充足能力的循環(huán)神經(jīng)網(wǎng)絡(luò)有潛力隱式地編碼這種樹(shù)結(jié)構(gòu)(Kuncoro 等，2018)。但問(wèn)題是，在模型架構(gòu)上強(qiáng)加樹(shù)結(jié)構(gòu)歸納先驗(yàn)會(huì)導(dǎo)致更好的語(yǔ)言模型嗎?

本文介紹了一種面向循環(huán)神經(jīng)網(wǎng)絡(luò)的新型歸納偏置：有序神經(jīng)元。這種歸納偏置增強(qiáng)了神經(jīng)元之間的依賴(lài)性，這種依賴(lài)性反映了每個(gè)神經(jīng)元內(nèi)所存儲(chǔ)信息的生命周期。換言之，一些高級(jí)神經(jīng)元儲(chǔ)存長(zhǎng)期信息，而低級(jí)神經(jīng)元儲(chǔ)存短期信息。為了避免高級(jí)和低級(jí)神經(jīng)元之間的固定劃分，本文進(jìn)一步提出了一種新的激活函數(shù) cumax()來(lái)主動(dòng)分配神經(jīng)元去存儲(chǔ)長(zhǎng)/短期信息?；?cumax()和長(zhǎng)短期記憶網(wǎng)絡(luò)(LSTM)架構(gòu)，本文設(shè)計(jì)了一種新模型──ON-LSTM，它使 RNN 模型能夠能夠在不破壞其序列形式的情況下執(zhí)行樹(shù)狀合成。該模型在語(yǔ)言建模、無(wú)監(jiān)督成分句法分析(unsupervised constituency parsing)、有針對(duì)性的語(yǔ)法評(píng)估(Marvin & Linzen, 2018)及邏輯推理(Bowman 等，2015)四個(gè)任務(wù)上表現(xiàn)優(yōu)異。其在無(wú)監(jiān)督成分句法分析任務(wù)上的結(jié)果表明，本文提出的歸納偏置與人類(lèi)專(zhuān)家提出語(yǔ)法原則是一致的。我們的實(shí)驗(yàn)還表明，就長(zhǎng)期依賴(lài)和較長(zhǎng)序列泛化而言，ON-LSTM 比標(biāo)準(zhǔn) LSTM 模型性能更佳，

論文：ORDERED NEURONS: INTEGRATING TREE STRUCTURES INTO RECURRENT NEURAL NETWORKS

論文鏈接：https://openreview.net/forum?id=B1l6qiR5F7

摘要：循環(huán)神經(jīng)網(wǎng)絡(luò)模型已被廣泛用于處理由潛在樹(shù)結(jié)構(gòu)控制的序列數(shù)據(jù)。以前的研究表明，RNN 模型(尤其是基于 LSTM 的模型)能夠?qū)W習(xí)利用潛在樹(shù)結(jié)構(gòu)。然而，它的性能卻始終落后于基于樹(shù)的模型。我們提出了一種新的歸納偏置──有序神經(jīng)元(Ordered Neuron)，它強(qiáng)制執(zhí)行了隱藏狀態(tài)神經(jīng)元之間更新頻率的順序。本文表明，有序神經(jīng)元能夠?qū)撛跇?shù)結(jié)構(gòu)明確整合到循環(huán)模型中。為此，我們提出了一種新的 RNN 單元：ON-LSTM，其在語(yǔ)言建模、無(wú)監(jiān)督成分句法分析、有針對(duì)性的語(yǔ)法評(píng)估及邏輯推理四個(gè)任務(wù)上表現(xiàn)優(yōu)異。

圖 1

圖 1：成分句法分析樹(shù)與 ON-LSTM 的關(guān)系。給定 token 序列 (x1, x2, x3)，其成分句法分析樹(shù)如圖(a)所示。圖(b)展示了樹(shù)結(jié)構(gòu)的塊狀圖，其中 S 與 VP 節(jié)點(diǎn)都跨越了不止一個(gè)時(shí)間步。高級(jí)節(jié)點(diǎn)的表征在跨越多個(gè)時(shí)間步時(shí)應(yīng)保持相對(duì)一致。圖(c)展示了每組神經(jīng)元在每個(gè)時(shí)間步的更新神經(jīng)元比例。在每個(gè)時(shí)間步，給定輸入詞，較深的灰色塊代表完全更新，較淺的灰色塊代表部分更新。三組神經(jīng)元的更新頻率不盡相同。較高級(jí)別的組更新頻率較低，而較低級(jí)別的組更新頻率較高。

ON-LSTM

本文提出了一種新的 RNN 單元──ON-LSTM，作為有序神經(jīng)元的實(shí)現(xiàn)。該新模型與標(biāo)準(zhǔn) LSTM 模型的架構(gòu)相似。

ON-LSTM 與標(biāo)準(zhǔn) LSTM 模型的唯一區(qū)別在于，我們排除了單元狀態(tài) ct 的更新功能，并以新的更新規(guī)則替代，后續(xù)章節(jié)將會(huì)詳細(xì)解釋。與之前一樣，運(yùn)用遺忘門(mén) ft 與輸入門(mén) it 控制單元狀態(tài) ct 上的清除和寫(xiě)入操作。一般來(lái)說(shuō)，由于標(biāo)準(zhǔn) LSTM 的門(mén)不會(huì)在其各個(gè)單元中強(qiáng)加拓?fù)浣Y(jié)構(gòu)，所以各個(gè)單元的行為不會(huì)反映出排序。

實(shí)驗(yàn)

表 1

表 1：賓州樹(shù)庫(kù)語(yǔ)言建模任務(wù)中驗(yàn)證集和測(cè)試集上的單個(gè)模型困惑。標(biāo)注「tied」的模型在嵌入和 softmax 權(quán)重上使用權(quán)重綁定。標(biāo)注「*」的模型重點(diǎn)關(guān)注改進(jìn) RNN 語(yǔ)言模型的 softmax 部分。

表 2

表 2：在完整的 WSJ10 和 WSJ 測(cè)試集上評(píng)估無(wú)標(biāo)記「parsing F1」的結(jié)果。本文的語(yǔ)言模型分三層，每層都提供了ˆdt 序列。本文給出了所有層的分析性能。RL-SPINN 和 ST-Gumbel 的結(jié)果在完整的 WSJ(Williams 等，2017)上評(píng)估。PRPN 模型在 WSJ 測(cè)試集(Htut 等，2018)上評(píng)估。

表 3

表 3：ON-LSTM 和 LSTM 在每個(gè)測(cè)試案例上的整體準(zhǔn)確率。「Long-term dependency」表示目標(biāo)詞對(duì)之間存在一個(gè)不相關(guān)的短語(yǔ)或從句，而「short-term dependency」意味著沒(méi)有這猴子那個(gè)分散注意力的情況。

【本文是51CTO專(zhuān)欄機(jī)構(gòu)大數(shù)據(jù)文摘的原創(chuàng)譯文，微信公眾號(hào)“大數(shù)據(jù)文摘（ id: BigDataDigest）”】

戳這里，看該作者更多好文