Part 01

機(jī)器學(xué)習(xí)是什么？ 

實(shí)現(xiàn)人工智能的方法我們稱之為“機(jī)器學(xué)習(xí)”，在1956年的美國(guó)達(dá)特茅斯會(huì)議上，Arthur Samuel正式提出了“Machine Learning”這個(gè)概念。機(jī)器學(xué)習(xí)是人工智能的一個(gè)重要子領(lǐng)域，它專門研究計(jì)算機(jī)怎樣模擬或?qū)崿F(xiàn)人類的學(xué)習(xí)行為，通過(guò)大量的數(shù)據(jù)和樣本，獲取新的知識(shí)或技能，對(duì)已有的知識(shí)結(jié)構(gòu)進(jìn)行重組，使之改善自身的性能。通俗的講，就像人類一樣通過(guò)學(xué)習(xí)大量的歷史資料，對(duì)這個(gè)世界產(chǎn)生一定的認(rèn)知，從而獲取到新知識(shí)，提升自己。

圖1 輸入到輸出的映射圖

最常見(jiàn)的機(jī)器學(xué)習(xí)是一種學(xué)習(xí)如何從A得到B的人工智能，也就是“輸入”到“輸出”的映射，這種機(jī)器學(xué)習(xí)被稱為監(jiān)督學(xué)習(xí)。假設(shè)輸入A是一封電子郵件，輸出B表示“是”或“不是”垃圾郵件，那么我們得先訓(xùn)練一個(gè)模型，讓它具有自動(dòng)識(shí)別垃圾郵件的功能。首先我們先將一些郵件及其所具有的標(biāo)簽，一起輸入模型進(jìn)行訓(xùn)練，例如，我們告訴機(jī)器第一封是垃圾郵件，第二封不是垃圾郵件，第三封也不是垃圾郵件，以此類推。模型不斷捕捉郵件和這些標(biāo)簽之間的聯(lián)系，進(jìn)而進(jìn)行調(diào)整和完善，當(dāng)模型學(xué)習(xí)的差不多了，人工輸入一些不帶標(biāo)簽的新郵件，該模型就能夠?qū)π锣]件做出判斷是否為垃圾郵件。除此之外，生活中常見(jiàn)的監(jiān)督學(xué)習(xí)還有語(yǔ)音識(shí)別、無(wú)人駕駛、工業(yè)質(zhì)檢等。

圖1 智能家居客訴故障分類

Part 02

神經(jīng)網(wǎng)絡(luò)模型 

提到神經(jīng)網(wǎng)絡(luò)，大家第一反應(yīng)會(huì)想到什么呢？是不是想到了中學(xué)時(shí)期生物課上學(xué)過(guò)的神經(jīng)網(wǎng)絡(luò)，比如大腦神經(jīng)網(wǎng)絡(luò)中樞，脊柱神經(jīng)網(wǎng)絡(luò)中樞等等。但這里的神經(jīng)網(wǎng)絡(luò)并不是我們生物課上所學(xué)的神經(jīng)網(wǎng)絡(luò)，而是人工智能中的神經(jīng)網(wǎng)絡(luò)，也叫做人工神經(jīng)網(wǎng)絡(luò)，它是一種模仿生物神經(jīng)網(wǎng)絡(luò)行為特征，進(jìn)行分布式并行信息處理的算法數(shù)學(xué)模型。

圖2 神經(jīng)元結(jié)構(gòu)圖

人類的大腦神經(jīng)系統(tǒng)包含了860億個(gè)神經(jīng)元，每個(gè)神經(jīng)元上有上千個(gè)突觸與其他神經(jīng)元相連，神經(jīng)元可以接受其他神經(jīng)元的信息，也可以發(fā)送信息給其他神經(jīng)元，神經(jīng)元越多，層數(shù)就越多，構(gòu)成的神經(jīng)網(wǎng)絡(luò)就越復(fù)雜。這樣復(fù)雜的生物神經(jīng)網(wǎng)絡(luò)具有強(qiáng)大的功能，使我們可以通過(guò)觸覺(jué)、聽(tīng)覺(jué)、視覺(jué)等來(lái)感知這個(gè)世界，通過(guò)思考來(lái)進(jìn)行決策等等。人工神經(jīng)網(wǎng)絡(luò)不是被憑空創(chuàng)造出來(lái)的，而是科學(xué)家從中受到了啟發(fā)，用數(shù)學(xué)和計(jì)算機(jī)模擬的，最初科學(xué)家們?cè)O(shè)計(jì)出的人工神經(jīng)網(wǎng)絡(luò)非常簡(jiǎn)單，但經(jīng)過(guò)多年的演變發(fā)展到了多層的復(fù)雜網(wǎng)絡(luò)結(jié)構(gòu)，然后從復(fù)雜網(wǎng)絡(luò)發(fā)展到更復(fù)雜的人工神經(jīng)網(wǎng)絡(luò)，就像建樓房一樣越建越高，越建越密，但在AI領(lǐng)域中稱之為越來(lái)越深。

圖3 神經(jīng)網(wǎng)絡(luò)模型圖

目前為止，幾乎所有由神經(jīng)網(wǎng)絡(luò)創(chuàng)造出的價(jià)值都基于一種機(jī)器學(xué)習(xí)，就是上文提到的“監(jiān)督學(xué)習(xí)”。在監(jiān)督學(xué)習(xí)過(guò)程中，輸入“A”，學(xué)習(xí)得到一個(gè)函數(shù)，就能映射得到輸出“B”，將這個(gè)監(jiān)督學(xué)習(xí)過(guò)的組件嵌入到更大型的系統(tǒng)中，就能應(yīng)用在很多人工智能領(lǐng)域。除了相對(duì)標(biāo)準(zhǔn)的神經(jīng)網(wǎng)絡(luò)外，還有更深層的神經(jīng)網(wǎng)絡(luò)，但它被賦予了一個(gè)全新的名字——深度學(xué)習(xí)。

Part 03

深度學(xué)習(xí) 

2006年，加拿大多倫多大學(xué)教授、機(jī)器學(xué)習(xí)領(lǐng)域泰斗、神經(jīng)網(wǎng)絡(luò)之父—— Geoffrey Hinton 和他的學(xué)生 Ruslan Salakhutdinov 在頂尖學(xué)術(shù)刊物《科學(xué)》上發(fā)表了一篇文章，該文章提出了深層網(wǎng)絡(luò)訓(xùn)練中梯度消失問(wèn)題的解決方案：無(wú)監(jiān)督預(yù)訓(xùn)練對(duì)權(quán)值進(jìn)行初始化+有監(jiān)督訓(xùn)練微調(diào)。斯坦福大學(xué)、紐約大學(xué)、加拿大蒙特利爾大學(xué)等成為研究深度學(xué)習(xí)的重鎮(zhèn)，至此開(kāi)啟了深度學(xué)習(xí)在學(xué)術(shù)界和工業(yè)界的浪潮。

最早的神經(jīng)網(wǎng)絡(luò)實(shí)際應(yīng)用時(shí)，因訓(xùn)練速度慢、容易過(guò)擬合、經(jīng)常出現(xiàn)梯度消失以及在網(wǎng)絡(luò)層次比較少的情況下效果并不比其他算法更優(yōu)等原因，實(shí)際應(yīng)用的很少。中間很長(zhǎng)一段時(shí)間神經(jīng)網(wǎng)絡(luò)算法的研究一直處于停滯狀態(tài)。直到Geoffrey Hinton提出了新的解決方法——無(wú)監(jiān)督預(yù)訓(xùn)練對(duì)權(quán)值進(jìn)行初始化+有監(jiān)督訓(xùn)練微調(diào)。其與神經(jīng)網(wǎng)絡(luò)最大的不同點(diǎn)就是不需要標(biāo)簽數(shù)據(jù)、有更多的隱藏層，以及自下上升非監(jiān)督學(xué)習(xí)，結(jié)合自頂向下的監(jiān)督學(xué)習(xí)的方式。不僅如此，它還能利用空間相對(duì)關(guān)系，減少參數(shù)數(shù)目以提高訓(xùn)練性能。如卷積神經(jīng)網(wǎng)絡(luò)，長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)，深度殘差網(wǎng)絡(luò)等都屬于深度學(xué)習(xí)，其中深度殘差網(wǎng)絡(luò)的深度可以到達(dá)1000層，甚至更多。深層的網(wǎng)絡(luò)有助于挖掘數(shù)據(jù)中深層的特征，可以使得網(wǎng)絡(luò)擁有更強(qiáng)大的性能。

Part 04

總結(jié) 

機(jī)器學(xué)習(xí)是一種實(shí)現(xiàn)AI的方法，也是一門研究如何實(shí)現(xiàn)AI的學(xué)科，它最主要的一門技術(shù)是深度學(xué)習(xí)，而深度學(xué)習(xí)又是在神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上發(fā)展起來(lái)的，關(guān)系如下圖所示。

圖4 機(jī)器學(xué)習(xí)關(guān)系圖

深度學(xué)習(xí)給機(jī)器學(xué)習(xí)帶來(lái)了一個(gè)新浪潮，受到從學(xué)術(shù)界到工業(yè)界的廣泛重視。在應(yīng)用方面，深度學(xué)習(xí)使得語(yǔ)音圖像的智能識(shí)別取得驚人進(jìn)展。如果未來(lái)能在理論、建模方面，突破深度學(xué)習(xí)技術(shù)面臨的一系列難題，將加速推進(jìn)人工智能發(fā)展。