近年來，深度學習在人工智能的多個領域取得了顯著成績。微軟使用的152層深度神經(jīng)網(wǎng)絡在ImageNet的比賽上斬獲多項***，同時在圖像識別中超過了人類的識別水平。百度在中文語音識別上取得了97%的準確率，已經(jīng)超過了人類的識別能力。

隨著深度學習在越來越多的領域中取得了突破性進展，自然語言處理這一人工智能的重要領域吸引了大批的研究者的注意力。最近谷歌發(fā)布了基于深度學習的機器翻譯(GNMT)，和基于短語的機器翻譯相比，錯誤率降低了55%-85%以上，從而又引發(fā)了深度學習在自然語言處理上的熱潮。

自然語言處理是人工智能和語言學的交叉學科，在搜索引擎，問答系統(tǒng)，機器翻譯等人工智能領域發(fā)揮著重要作用。分詞，詞性標注，命名實體識別作為自然語言處理的基礎領域，同樣吸引著大批研究者的注意力，本篇就結合我們近期的一些探索從中文分詞角度探索深度學習在自然語言處理中的應用。

中文分詞是將自然語言文本劃分成詞語序列，目前主流方法為序列標注，即用BMES這個四個標簽去標注句子中的每一個字(B是詞首，M是詞中，E是詞尾，S是單字詞)。

對于 { 京東 搜索 與 大數(shù)據(jù) 平臺 數(shù)據(jù)挖掘 算法部 }

其標注為{ BE BE S BME BE BMME BME }

使用Keras實現(xiàn)了基于RNN的中文分詞，接下來就分別介紹一下Keras和中文分詞實戰(zhàn)。

1. Keras介紹

Keras 是一個高度模塊化的深度學習框架，使用python編寫，封裝了大量的函數(shù)接口，可支持CPU和GPU訓練。Keras提供了一系列模塊，這樣我們在實驗模型的時候只需要調用這些模塊就可以完成模型搭建，不用自己在去實現(xiàn)各層網(wǎng)絡。

主要模塊有Optimizers(優(yōu)化函數(shù)模塊)，常用的有SGD(隨機梯度下降)、 Adam;Objectives(目標函數(shù)模塊)，常用的有均方誤差，交差熵;Activations(激活函數(shù)模塊)，sigmoid用來做二分類、relu可解決梯度消失問題、softmax常用來做多分類;Layers(網(wǎng)絡層模塊)，提供了CNN(卷積層)、RNN(LSTM、GRU)、embeddings;Initializations(初始化模塊)，主要用于模型參數(shù)的初始化，常用的有均勻分布初始化，高斯分布初始化。

使用Keras進行模型試驗，可分為四個步驟(數(shù)據(jù)準備，模型構建, 模型訓練, 模型測試),本文也將基于這四個步驟探索基于RNN的中文分詞。

2. 中文分詞實戰(zhàn)

數(shù)據(jù)準備

訓練數(shù)據(jù)使用的是bakeoff2005中的北京大學的標注語料，train作為訓練樣本，test作為測試樣本。

統(tǒng)計訓練樣本中出現(xiàn)的字符并生成字典，同時將訓練樣本中字符全部映射成對應的字典索引(為了處理未登錄詞，將出現(xiàn)次數(shù)低于2次的字符映射為未登錄詞)。在序列標注分詞中，一個字的標簽受到上下文的影響，因而取該字的前后3個字作為特征。

模型構建

本文模型由一層Embedding層，2層LSTM，一個Dense輸出層構成，目標函數(shù)為交叉熵，優(yōu)化函數(shù)選擇adam。為了驗證方法的有效性，本文未采用外部語料預訓練詞向量，而是在訓練數(shù)據(jù)上訓練詞向量。

Embedding層完成從詞典索引到詞向量的映射過程，即輸入一個詞典索引，輸出該索引對應的詞向量，***層LSTM層輸入為詞向量序列，輸出為隱層輸出序列，第二層LSTM層輸入為前一層輸出序列，輸出為隱層個數(shù)，Dense輸出層輸入為第二層LSTM輸出，輸出為類別數(shù)。

在這里embeddingDim設為128，RNN序列長度設為7，LSTM隱層個數(shù)設為100，outputDims設為4，batch_size設為128。

模型訓練

分別在CPU和GPU(使用單卡)上進行模型訓練，使用單卡GPU的速度為CPU的4.7倍，未來還會測試單機多卡和多機多卡的性能。

CPU

GPU

模型測試

使用北京大學test進行測試，并使用bakeoff2005的測試腳本進行測試，結果如下所示：

3.總結和展望

深度學習的優(yōu)點是可以自動發(fā)現(xiàn)特征，大大減少了特征工程的工作量。目前深度學習已經(jīng)在語音和圖像等領域取得重大進展，自然語言與語音、圖像不同，是抽象符號，因而如何將深度學習應用于自然語言處理需要進行更多的研究和探索：針對不同任務的不同字詞表示、將先驗知識和深度學習相結合、Attention機制的運用。同時相對于標注數(shù)據(jù)，未標注數(shù)據(jù)量更多，如何運用未標注數(shù)據(jù)也是目前自然語言處理探索的熱點和難點。