本文旨在提供直觀簡明的深度學(xué)習(xí)引導(dǎo)，涵蓋深度學(xué)習(xí)的基本概念，而不涉及很多數(shù)學(xué)和理論細(xì)節(jié)。當(dāng)然如果要做更深入的研究，數(shù)學(xué)肯定是必不可少的，但是本系列主要還是用圖片和類比等方式，幫助初學(xué)者快速建立大局觀。

核心概念

機(jī)器學(xué)習(xí)(Machine Learning)

在機(jī)器學(xué)習(xí)中，我們(1)讀取數(shù)據(jù)，(2)訓(xùn)練模型，(3)使用模型對新數(shù)據(jù)做預(yù)測。訓(xùn)練可以看作是當(dāng)模型拿到新數(shù)據(jù)的時候、逐步學(xué)習(xí)一個的過程。在每一步，模型做出預(yù)測并且得到準(zhǔn)確度的反饋。反饋的形式即是某種衡量標(biāo)準(zhǔn)(比如與正確解的距離)下的誤差，再被用于修正預(yù)測誤差。

學(xué)習(xí)是一個在參數(shù)空間里循環(huán)往復(fù)的過程：當(dāng)你調(diào)整參數(shù)改正一次預(yù)測，但是模型卻可能把原先對的又搞錯了。需要很多次的迭代，模型才能具有良好的預(yù)測能力，這一“預(yù)測-修正”的過程一直持續(xù)到模型再無改良空間。

特征工程(Feature Engineering)

特征工程從數(shù)據(jù)中提取有用的模式，使之更容易被機(jī)器學(xué)習(xí)模型進(jìn)行分類。比如，把一堆綠色或藍(lán)色的像素區(qū)域作為標(biāo)準(zhǔn)，來判斷照片上是陸生動物還是水生動物。這一特征對于機(jī)器學(xué)習(xí)模型十分有效，因為其限制了需要考慮的類別數(shù)量。

在多數(shù)預(yù)測任務(wù)中，特征工程是取得好結(jié)果的必備技能。然而，因為不同的數(shù)據(jù)集有著不同的特征工程方法，所以很難得出普遍規(guī)律，只有一些大概的經(jīng)驗，這使得特征工程更是一門藝術(shù)而非科學(xué)。一個數(shù)據(jù)集里極其關(guān)鍵的特征，到了另一個數(shù)據(jù)集里可能沒有卵用(比如下一個數(shù)據(jù)集里全是植物)。正因為特征工程這么難，才會有科學(xué)家去研發(fā)自動提取特征的算法。

很多任務(wù)已經(jīng)可以自動化(比如物體識別、語音識別)，特征工程還是復(fù)雜任務(wù)中最有效的技術(shù)(比如Kaggle機(jī)器學(xué)習(xí)競賽中的大多數(shù)任務(wù))。

特征學(xué)習(xí)(Feature Learning)

特征學(xué)習(xí)算法尋找同類之間的共有模式，并自動提取用以分類或回歸。特征學(xué)習(xí)就是由算法自動完成的特征工程。在深度學(xué)習(xí)中，卷積層就極其擅長尋找圖片中的特征，并映射到下一層，形成非線性特征的層級結(jié)構(gòu)，復(fù)雜度逐漸提升(例如：圓圈，邊緣 -> 鼻子，眼睛，臉頰)。最后一層使用所有生成的特征來進(jìn)行分類或回歸(卷積網(wǎng)絡(luò)的最后一層，本質(zhì)上就是多項式邏輯回歸)。

圖1：深度學(xué)習(xí)算法學(xué)得的層級特征。  

每個特征都相當(dāng)于一個濾波器，

用特征(比如鼻子)去過濾輸入圖片。

如果這個特征找到了，相應(yīng)的單元就會產(chǎn)生高激勵，

在之后的分類階段中，就是此類別存在的高指標(biāo)。

圖1顯示了深度學(xué)習(xí)算法生成的特征，很難得的是，這些特征意義都很明確，因為大多數(shù)特征往往不知所云，特別是循環(huán)神經(jīng)網(wǎng)絡(luò)、LSTM或特別深的深度卷積網(wǎng)絡(luò)。

深度學(xué)習(xí)(Deep Learning)

在層級特征學(xué)習(xí)中，我們提取出了好幾層的非線性特征，并傳遞給分類器，分類器整合所有特征做出預(yù)測。我們有意堆疊這些深層的非線性特征，因為層數(shù)少了，學(xué)不出復(fù)雜特征。數(shù)學(xué)上可以證明，單層神經(jīng)網(wǎng)絡(luò)所能學(xué)習(xí)的最好特征，就是圓圈和邊緣，因為它們包含了單個非線性變換所能承載的最多信息。為了生成信息量更大的特征，我們不能直接操作這些輸入，而要對第一批特征(邊緣和圓圈)繼續(xù)進(jìn)行變換，以得到更復(fù)雜的特征。

研究顯示，人腦有著相同的工作機(jī)理：視錐細(xì)胞接受信息的第一層神經(jīng)，對邊緣和圓圈更加敏感，而更深處的大腦皮層則對更加復(fù)雜的結(jié)構(gòu)敏感，比如人臉。

層級特征學(xué)習(xí)誕生在深度學(xué)習(xí)之前，其結(jié)構(gòu)面臨很多嚴(yán)重問題，比如梯度消失——梯度在很深的層級處變得太小，以致于不能提供什么學(xué)習(xí)信息了。這使得層級結(jié)構(gòu)反而表現(xiàn)不如一些傳統(tǒng)機(jī)器學(xué)習(xí)算法(比如支持向量機(jī))。

為解決梯度消失問題，以便我們能夠訓(xùn)練幾十層的非線性層及特征，很多新的方法和策略應(yīng)運(yùn)而生，“深度學(xué)習(xí)”這個詞就來自于此。在2010年代早期，研究發(fā)現(xiàn)在GPU的幫助下，激勵函數(shù)擁有足以訓(xùn)練出深層結(jié)構(gòu)的梯度流，從此深度學(xué)習(xí)開始了穩(wěn)步發(fā)展。

深度學(xué)習(xí)并非總是與深度非線性層級特征綁定，有時也與序列數(shù)據(jù)中的長期非線性時間依賴相關(guān)。對于序列數(shù)據(jù)，多數(shù)其他算法只有最后10個時間步的記憶，而LSTM循環(huán)神經(jīng)網(wǎng)絡(luò)(1997年由Sepp Hochreiter和Jürgen Schmidhuber發(fā)明)，使網(wǎng)絡(luò)能夠追溯上百個時間步之前的活動以做出正確預(yù)測。盡管LSTM曾被雪藏將近10年，但自從2013年與卷積網(wǎng)絡(luò)結(jié)合以來，其應(yīng)用飛速成長。

基本概念

邏輯回歸(Logistic Regression)

回歸分析預(yù)測統(tǒng)計輸入變量之間的關(guān)系，以預(yù)測輸出變量。邏輯回歸用輸入變量，在有限個輸類別變量中產(chǎn)生輸出，比如“得癌了” / “沒得癌”，或者圖片的種類如“鳥” / “車” / “狗” / “貓” / “馬”。

邏輯回歸使用logistic sigmoid函數(shù)(見圖2)給輸入值賦予權(quán)重，產(chǎn)生二分類的預(yù)測(多項式邏輯回歸中，則是多分類)。

邏輯回歸與非線性感知機(jī)或沒有隱藏層的神經(jīng)網(wǎng)絡(luò)很像。主要區(qū)別在于，只要輸入變量滿足一些統(tǒng)計性質(zhì)，邏輯回歸就很易于解釋而且可靠。如果這些統(tǒng)計性質(zhì)成立，只需很少的輸入數(shù)據(jù)，就能產(chǎn)生很穩(wěn)的模型。因而邏輯回歸在很多數(shù)據(jù)稀疏的應(yīng)用中，具有極高價值。比如醫(yī)藥或社會科學(xué)，邏輯回歸被用來分析和解釋實驗結(jié)果。因為邏輯回歸簡單、快速，所以對大數(shù)據(jù)集也很友好。

在深度學(xué)習(xí)中，用于分類的神經(jīng)網(wǎng)絡(luò)中，最后幾層一般就是邏輯回歸。本系列將深度學(xué)習(xí)算法看作若干特征學(xué)習(xí)階段，然后將特征傳遞給邏輯回歸，對分類進(jìn)行輸入。

人工神經(jīng)網(wǎng)絡(luò)(Aritificial Neural Network)

人工神經(jīng)網(wǎng)絡(luò)(1)讀取輸入數(shù)據(jù)，(2)做計算加權(quán)和的變換，(3)對變換結(jié)果應(yīng)用非線性函數(shù)，計算出一個中間狀態(tài)。這三步合起來稱為一“層”，變換函數(shù)則稱為一個“單元”。中間狀態(tài)——特征——也是另一層的輸入。

通過這些步驟的重復(fù)，人工神經(jīng)網(wǎng)絡(luò)學(xué)的了很多層的非線性特征，最后再組合起來得出一個預(yù)測。神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)過程是產(chǎn)生誤差信號——網(wǎng)絡(luò)預(yù)測與期望值的差——再用這些誤差調(diào)整權(quán)重(或其他參數(shù))使預(yù)測結(jié)果更加準(zhǔn)確。

Kaiser：以下為幾個名詞的辨析，包括最近幾年的習(xí)慣變遷，我認(rèn)為不需要深究。

單元(Unit)

單元有時指一層中的激勵函數(shù)，輸入正是經(jīng)由這些非線性激勵函數(shù)進(jìn)行變換，比如logistic sigmoid函數(shù)。通常一個單元會連接若干輸入和多個輸出，也有更加復(fù)雜的，比如長短期記憶(LSTM)單元就包含多個激勵函數(shù)，并以特別的布局連接到非線性函數(shù)，或最大輸出單元。LSTM經(jīng)過對輸入的一系列非線性變換，計算最終的輸出。池化，卷積及其他輸入變換函數(shù)一般不稱作單元。

人工神經(jīng)元(Artificial Neuron)

人工神經(jīng)元——或神經(jīng)元——與“單元”是同義詞，只不過是為了表現(xiàn)出與神經(jīng)生物學(xué)和人腦的緊密聯(lián)系。實際上深度學(xué)習(xí)和大腦沒有太大關(guān)系，比如現(xiàn)在認(rèn)為，一個生物神經(jīng)元更像是一整個多層感知機(jī)，而不是單個人工神經(jīng)元。神經(jīng)元是在上一次AI寒冬時期被提出來的，目的是將最成功的神經(jīng)網(wǎng)絡(luò)與失敗棄置的感知機(jī)區(qū)別開來。不過自從2012年以后深度學(xué)習(xí)的巨大成功以來，媒體經(jīng)常拿“神經(jīng)元”這個詞來說事兒，并把深度學(xué)習(xí)比作人腦的擬態(tài)。這其實是具有誤導(dǎo)性，對深度學(xué)習(xí)領(lǐng)域來講也是危險的。如今業(yè)界不推薦使用“神經(jīng)元”這個詞，而改用更準(zhǔn)確的“單元”。

激勵函數(shù)(Acitivation Function)

激勵函數(shù)讀取加權(quán)數(shù)據(jù)(輸入數(shù)據(jù)和權(quán)重進(jìn)行矩陣乘法)，輸出數(shù)據(jù)的非線性變換。比如output = max(0, weight_{data})就是修正線性激勵函數(shù)(本質(zhì)上就是把負(fù)值變成0)。“單元”和“激勵函數(shù)”之間的區(qū)別是，單元可以更加復(fù)雜，比如一個單元可以包含若干個激勵函數(shù)(就像LSTM單元)或者更復(fù)雜的結(jié)構(gòu)(比如Maxout單元)。

Kaiser：原文這個例子顯然把簡單的問題說復(fù)雜了，建議跳過。

線性激勵函數(shù)，與非線性激勵函數(shù)的區(qū)別，可以通過一組加權(quán)值之間的關(guān)系體現(xiàn)：想象4個點A1, A2, B1, B2。點(A1 / A2)，和(B1 / B2)很接近，但是A1和B1, B2都很遠(yuǎn)，A2亦然。

經(jīng)過線性變換，點之間的關(guān)系會變化，比如A1和A2遠(yuǎn)離了，但同時B1和B2也遠(yuǎn)離了。但是(A1 / A2)和(B1 / B2)的關(guān)系不變。

而非線性變換則不同，我們可以增加A1和A2的距離，同時減小B1和B2的距離，如此就建立了復(fù)雜度更高的新關(guān)系。在深度學(xué)習(xí)中，每一次層的非線性激勵函數(shù)都創(chuàng)造了更復(fù)雜的特征。

而純線性變換，哪怕有1000層，也可以用一個單層來表示(因為一連串的矩陣相乘可以用一個矩陣乘法來表示)。這就是為什么非線性激勵函數(shù)在深度學(xué)習(xí)中如此重要。

層(Layer)

層是深度學(xué)習(xí)更高級的基本構(gòu)成單位。一層，就是接受加權(quán)輸入、經(jīng)過非線性激勵函數(shù)變換、作為輸出傳遞給下一層的容器。一層通常只含一種激勵函數(shù)，池化、卷積等等，所以可以簡單地與網(wǎng)絡(luò)其他部分作對比。第一層和最后一層分別稱為“輸入層”和“輸出層”，中間的都稱作“隱藏層”。

卷積深度學(xué)習(xí)

卷積(Convolution)

卷積是一種數(shù)學(xué)操作，表述了混合兩個函數(shù)或兩塊信息的規(guī)則：(1)特征映射或輸入數(shù)據(jù)嗎，與(2)卷積核混合，形成(3)變換特征映射。卷積也經(jīng)常被當(dāng)做是一種濾波器，卷積核(kernel)過濾特征映射以找到某種信息，比如一個卷積核可能是只找邊緣，而拋掉其他信息。

圖3：用邊緣檢測卷積核，對圖像進(jìn)行卷積操作。

卷積在物理和數(shù)學(xué)中都很重要，因為他建立了時域和空間(位置(0,30)的，像素值147)以及頻域(幅度0.3，頻率30Hz，相位60度)的橋梁。這一橋梁的建立是通過傅里葉變換：當(dāng)你對卷積核與特征映射都做傅里葉變換時，卷積操作就被極大簡化了(積分變成了相乘)。

圖4：用圖像窗在整個圖像上滑動計算卷積。

原始圖像(綠色)的圖像窗(黃色)

與卷積核(紅字)相乘再相加，

得到特征映射中的一個向量

(Convolved Feature里的粉紅單元)。

卷積，可以描述信息的擴(kuò)散。比如當(dāng)你把牛奶倒進(jìn)咖啡卻不攪拌，這是擴(kuò)散就發(fā)生了，而且可以通過卷積精確描述(像素向著圖像邊緣擴(kuò)散)。在量子力學(xué)當(dāng)中，這描述了當(dāng)你測量一個量子的位置時，其在特定位置出現(xiàn)的概率(像素在邊緣處于最高位置的概率)。在概率論中，者描述了互相關(guān)，也就是兩個序列的相似度(如果一個特征(如鼻子)里的像素，與一個圖像(比如臉)重疊，那么相似度就高)。在統(tǒng)計學(xué)中，卷積描述了正太輸入血獵的加權(quán)動平均(邊緣權(quán)重高，其他地方權(quán)重低)。另有其它很多不同角度的解釋。

Kaiser：這里的“邊緣”不同于之前的edge，原詞為contour，指決策邊界。比如對于人臉識別，人臉的輪廓就是contour，識別的重點。

不過對于深度學(xué)習(xí)，我們也不知道卷積的哪一種解釋才是正確的，互相關(guān)(cross-correlation)解釋是目前最有效的：卷積濾波器是特征檢測器，輸入(特征映射)被某個特征(kernel)所過濾，如果該特征被檢測到了，那么輸出就高。這也是圖像處理中互相關(guān)的解釋。

圖5： 圖像的互相關(guān)。

卷積核上下倒過來，就是互相關(guān)了。

核Kernel可以解釋為特征檢測器，

如果檢測到了，就會產(chǎn)生高輸出(白色)，

反之則為低輸出(黑色)。

池化/下采樣(Pooling/Sub-Sampling)

池化過程從特定區(qū)域讀取輸入，并壓縮為一個值(下采樣)。在卷積神經(jīng)網(wǎng)絡(luò)中，信息的集中是種很有用的性質(zhì)，這樣輸出連接通常接收的都是相似信息(信息像經(jīng)過漏斗一樣，流向?qū)?yīng)下一個卷積層的正確位置)。這提供了基本的旋轉(zhuǎn)/平移不變性。比如，如果臉不在圖片的中心位置，而是略有偏移，這應(yīng)該不影響識別，因為池化操作將信息導(dǎo)入到了正確位置，故卷積濾波器仍能檢測到臉。

池化區(qū)域越大，信息壓縮就越多，從而產(chǎn)生更“苗條”的網(wǎng)絡(luò)，也更容易配合顯存。但是如果池化面積太大，丟失信息太多，也會降低預(yù)測能力。

Kaiser：以下部分將之前羅列的概念串了起來，是全文的精華所在。

卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network, CNN)

卷積神經(jīng)網(wǎng)絡(luò)，或卷積網(wǎng)絡(luò)，使用卷積層過濾輸入以獲得有效信息。卷積層有的參數(shù)是自動學(xué)習(xí)獲得的，濾波器自動調(diào)整以提取最有用的信息(特征學(xué)習(xí))。比如對于一個普適的物體識別任務(wù)，物體的形狀可能是最有用的;而對于鳥類識別人物，顏色可能是最有用的(因為鳥的形狀都差不多，而顏色卻五花八門)。

一般我們使用多個卷積層過濾圖像，每一層之后獲得的信息，都越來越抽象(層級特征)。

卷積網(wǎng)絡(luò)使用池化層，獲得有限的平移/旋轉(zhuǎn)不變性(即使目標(biāo)不在通常位置，也能檢測出來)。池化也降低了內(nèi)存消耗，從而能夠使用更多卷積層。

最近的卷積網(wǎng)絡(luò)使用inception模塊，即1x1的卷積核進(jìn)一步降低內(nèi)存消耗，加速計算和訓(xùn)練過程。

圖6：一個交通標(biāo)志圖像被4個5x5卷積核濾波，

生成了4個特征映射，這些特征映射經(jīng)過“最大池化”。

下一層對之前下采樣過的圖像應(yīng)用10個5x5卷積核，

并在此池化。

最后一層是全連接層，

所有的特征都組合起來傳遞給分類器(本質(zhì)上就是邏輯回歸)。

Inception

卷積網(wǎng)絡(luò)中，inception模塊的設(shè)計初衷是為了以更高的計算效率，執(zhí)行更深、更大的卷積層。Inception使用1x1的卷積核，生成很小的特征映射。比如192個28x28的特征映射，可以經(jīng)過64個1x1的卷積，被壓縮成64個28x28的特征映射。因為尺寸縮小了，這些1x1的卷積后面還可以跟跟大的卷積，比如3x3，5x5。除了1x1卷積，最大池化也用來降維。

Inception模塊的輸出，所有的大卷積都拼接成一個大的特征映射，再傳遞給下一層(或inception模塊)。