也許你覺得人工智能離你還有點(diǎn)遠(yuǎn)，只存在于谷歌那巨大無(wú)比的數(shù)據(jù)中心機(jī)房，或者充滿神秘感的麻省理工學(xué)院機(jī)器人實(shí)驗(yàn)室。其實(shí)，透過(guò)互聯(lián)網(wǎng)和智能手機(jī)，人工智能已經(jīng)開始滲入我們每天的日常生活。

假設(shè)你生活在筆者老家，福建美麗的海濱城市廈門。早晨起來(lái)，當(dāng)你打開手機(jī)里的“今日頭條”APP，看看今天有什么新聞時(shí)，“今日頭條”的人工智能推薦系統(tǒng)會(huì)根據(jù)你過(guò)去的閱讀情況，給你推薦你特別喜歡的NBA籃球明星庫(kù)里的贏球消息。上班路上，當(dāng)你打開“百度地圖”APP，用語(yǔ)音直接說(shuō)出了目的地“廈門大學(xué)”時(shí)，“百度地圖”會(huì)自動(dòng)識(shí)別你略帶福建口音的普通話，并為你導(dǎo)航了一條不那么堵車的線路。到了公司，當(dāng)你打開郵件系統(tǒng)時(shí)，基于人工智能的反垃圾郵件算法已經(jīng)為你屏蔽了幾十條垃圾郵件，默默地幫助你提高工作效率。你還可以利用“科大訊飛”的人工智能語(yǔ)音輸入軟件口述完成一篇重要文件，并采用“谷歌翻譯”將文件翻譯成英文和西班牙文，然后發(fā)給你國(guó)外的客戶。中午吃完午餐，你和同事到附近的公園散步，看到草坪上有一棵樹開著紅花，非常美麗，你想知道這種花叫什么，于是你打開手機(jī)中的“形色”APP，拍照上傳，很快，人工智能圖像識(shí)別算法識(shí)別出這種花學(xué)名叫紅花羊蹄甲，又稱紫荊花，花語(yǔ)象征著兄弟情誼……

在這些給我們帶來(lái)方便和快樂的人工智能算法背后，最核心的就是目前人工智能領(lǐng)域最火熱的深度學(xué)習(xí)技術(shù)。第2章講述了人工智能在象棋和圍棋領(lǐng)域超越人類世界冠軍的故事，Alpha Go圍棋軟件特別強(qiáng)大的原因，是它的策略網(wǎng)絡(luò)和估值網(wǎng)絡(luò)，而這兩個(gè)子系統(tǒng)的產(chǎn)生，靠的也是深度學(xué)習(xí)。

也許你會(huì)問(wèn)，什么是深度學(xué)習(xí)？簡(jiǎn)單地說(shuō)，機(jī)器學(xué)習(xí)是人工智能中很重要的一個(gè)學(xué)科，而深度學(xué)習(xí)是機(jī)器學(xué)習(xí)的一個(gè)分支。機(jī)器學(xué)習(xí)實(shí)現(xiàn)的是讓計(jì)算機(jī)透過(guò)大量的數(shù)據(jù)或以往的經(jīng)驗(yàn)來(lái)學(xué)習(xí)，不斷優(yōu)化計(jì)算機(jī)程序的性能，實(shí)現(xiàn)分類或預(yù)測(cè)等功能。深度學(xué)習(xí)可以讓擁有多個(gè)處理層的神經(jīng)網(wǎng)絡(luò)計(jì)算模型來(lái)學(xué)習(xí)具有多層次抽象數(shù)據(jù)的表示，簡(jiǎn)單地說(shuō)，深度學(xué)習(xí)能夠發(fā)現(xiàn)大數(shù)據(jù)中的復(fù)雜結(jié)構(gòu)。這些概念雖然聽起來(lái)有點(diǎn)復(fù)雜，但是在本書的后續(xù)部分會(huì)作進(jìn)一步的解釋。

近幾年來(lái)，深度學(xué)習(xí)在圖像識(shí)別、語(yǔ)音識(shí)別、自然語(yǔ)言處理、機(jī)器人、醫(yī)學(xué)自動(dòng)診斷、搜索引擎等方面都取得了非常驚人的成果，并且通過(guò)手機(jī)和互聯(lián)網(wǎng)開始全面影響人類的工作和生活。在本章中，讓我們來(lái)一起重溫深度學(xué)習(xí)的歷史，并且探討人工智能和深度學(xué)習(xí)的各種應(yīng)用。

早期的人工神經(jīng)網(wǎng)絡(luò)

深度學(xué)習(xí)的概念源于人工神經(jīng)網(wǎng)絡(luò)的研究，早期的神經(jīng)網(wǎng)絡(luò)模型試圖模仿人類神經(jīng)系統(tǒng)和大腦的學(xué)習(xí)機(jī)理。1943年，神經(jīng)生理學(xué)家沃倫·麥卡洛克（Warren Mc Culloch）和邏輯學(xué)家沃爾特·皮茨（Walter Pitts）聯(lián)合發(fā)表了重要論文《神經(jīng)活動(dòng)中內(nèi)在思想的邏輯演算》（A logical calculus of the ideas immanent in nervous activity）。在論文中，他們模擬人類神經(jīng)元細(xì)胞結(jié)構(gòu)提出了麥卡洛克-皮茨神經(jīng)元模型（McCulloch-Pitts Neuron Model，簡(jiǎn)稱MP模型，見圖3.1），首次將神經(jīng)元的概念引入計(jì)算領(lǐng)域，提出了第一個(gè)人工神經(jīng)元模型，從此開啟了神經(jīng)網(wǎng)絡(luò)的大門，表3.1是生物神經(jīng)元與MP模型。

圖3.1 MP模型

表3.1 生物神經(jīng)元與MP模型

MP模型大致模擬了人類神經(jīng)元的工作原理，就是將一些輸入信號(hào)進(jìn)行一些變換后得到輸出結(jié)果。在圖3.1中，圖的下部是一個(gè)人工神經(jīng)元，有N個(gè)輸入信號(hào)x1，x2，…，xN（對(duì)應(yīng)于人類神經(jīng)元的N個(gè)樹突，每個(gè)樹突與其他神經(jīng)元連接得到信號(hào)），每個(gè)信號(hào)對(duì)應(yīng)于一個(gè)權(quán)重（對(duì)應(yīng)于每個(gè)樹突連接的重要性），即W11，W12，…，W1N，計(jì)算這N個(gè)輸入的加權(quán)和，然后經(jīng)過(guò)一個(gè)閾值函數(shù)得到“0”或者“1”的輸出。輸出的結(jié)果，在人類神經(jīng)元中，“0”和“1”可以代表神經(jīng)元的“壓抑”和“激活”狀態(tài)，在人工神經(jīng)元中，“0”和“1”可以代表邏輯上的“No”和“Yes”。

1958年，心理學(xué)家弗蘭克·羅森布拉特（Flank Rosenblatt）教授提出了感知機(jī)模型（Perceptron），感知機(jī)是基于MP模型的單層神經(jīng)網(wǎng)絡(luò)，是首個(gè)可以根據(jù)樣例數(shù)據(jù)來(lái)學(xué)習(xí)權(quán)重特征的模型。對(duì)于線性可分為兩類的數(shù)據(jù)，按照感知機(jī)的誤差修正算法，可以根據(jù)樣例數(shù)據(jù)經(jīng)過(guò)多次迭代運(yùn)算，最終實(shí)現(xiàn)運(yùn)算收斂，確定每個(gè)輸入x對(duì)應(yīng)的權(quán)重W。我們把迭代運(yùn)算的過(guò)程稱為“神經(jīng)網(wǎng)絡(luò)的訓(xùn)練”，最終訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)可以對(duì)新的數(shù)據(jù)作分類預(yù)測(cè)。這就是最簡(jiǎn)單的“機(jī)器學(xué)習(xí)”的過(guò)程。

受感知機(jī)模型的啟發(fā)，20世紀(jì)60年代，有不少數(shù)學(xué)家、物理學(xué)家和計(jì)算機(jī)工程師投身于神經(jīng)網(wǎng)絡(luò)的研究。1969年時(shí)，著名的人工智能專家明斯基教授和西蒙·派珀特（Seymour Papert）教授出版了《感知機(jī)：計(jì)算幾何學(xué)導(dǎo)論》一書（Perceptrons∶An Introduction to Computational Geometry），書中證明了感知機(jī)模型只能解決線性可分問(wèn)題，明確指出了感知機(jī)無(wú)法解決異或問(wèn)題等非線性可分問(wèn)題。同時(shí)，書中也指出在當(dāng)時(shí)的計(jì)算能力之下，實(shí)現(xiàn)多層的神經(jīng)網(wǎng)絡(luò)幾乎是不可能的事情。明斯基教授和派珀特教授對(duì)感知機(jī)研究的悲觀預(yù)測(cè)，導(dǎo)致了神經(jīng)網(wǎng)絡(luò)研究的第一次低潮，此書出版后的十多年，基于神經(jīng)網(wǎng)絡(luò)的研究幾乎處于停滯狀態(tài)。

一代宗師杰弗里·辛頓

1986年，深度學(xué)習(xí)的一代宗師杰弗里·辛頓（Geoffrey Hinton）教授開始嶄露頭角，這一年，辛頓教授、大衛(wèi)·魯梅哈特（David Rumelhart）教授和羅納德·威廉姆斯（Ronald Willliams）教授在《自然》雜志上發(fā)表了重要論文《通過(guò)反向傳播算法實(shí)現(xiàn)表征學(xué)習(xí)》（Learning Representations by Back-propagating Errors），文章中提出的反向傳播算法大幅度降低了訓(xùn)練神經(jīng)網(wǎng)絡(luò)所需要的時(shí)間。直到30年后的今天，反向傳播算法仍然是訓(xùn)練神經(jīng)網(wǎng)絡(luò)的基本方法。同時(shí)，辛頓教授倡導(dǎo)的深層神經(jīng)網(wǎng)絡(luò)，也可以很好地解決異或問(wèn)題和其他的線性不可分問(wèn)題。

辛頓教授（見圖3.2），1947年出生在英國(guó)。他出生于一個(gè)非常傳奇的家族，他爺爺?shù)耐夤褪莻ゴ蟮臄?shù)學(xué)家喬治·布爾（George Boole），布爾代數(shù)的奠基人。喬治·布爾的太太叫瑪麗·埃佛勒斯（Mary Everest），是一位作家，著有《代數(shù)的哲學(xué)和樂趣》?，旣?middot;埃佛勒斯的叔叔是喬治·埃佛勒斯（George Everest），英國(guó)著名的測(cè)繪學(xué)家和探險(xiǎn)家，曾經(jīng)擔(dān)任當(dāng)時(shí)的英國(guó)殖民地印度的測(cè)量局局長(zhǎng)，領(lǐng)導(dǎo)了喜馬拉雅山脈的測(cè)量工作。后來(lái)英國(guó)人以他的姓氏命名了世界最高峰——珠穆朗瑪峰，英文名為Mount Everest。辛頓教授全名Geoffrey Everest Hinton，當(dāng)年他家人給他命名Everest時(shí)，也許已經(jīng)對(duì)他未來(lái)勇攀科學(xué)高峰許下了祝福。順便幫文藝青年“八卦”一下，喬治·布爾的小女兒伏尼契（Ethel Lilian Voynich），就是中國(guó)讀者特別喜歡的一本小說(shuō)《牛虻》的作者，她本人的生活和愛情也極其精彩，傳說(shuō)她與超級(jí)間諜西德尼·雷里（Sidney Reilly，電影《007》中詹姆斯·邦德（James Bond）的原型人物）還有過(guò)一段浪漫的愛情，在這里就不再贅述了。

[[391581]]

圖3.2 一代宗師辛頓教授

辛頓教授的父親霍華德·埃佛勒斯·辛頓（Howard Everest Hinton）是昆蟲學(xué)家，曾祖父查爾斯·霍華德·辛頓（Charles Howard Hinton）是一個(gè)知名的數(shù)學(xué)家和最早期的科普作家和科幻小說(shuō)家。從高中時(shí)代開始，辛頓就對(duì)人類大腦和神經(jīng)網(wǎng)絡(luò)的奧秘深深著迷。1970年，辛頓畢業(yè)于劍橋大學(xué)，本科拿的是實(shí)驗(yàn)心理學(xué)的學(xué)士學(xué)位。1978年獲得愛丁堡大學(xué)的人工智能博士學(xué)位，曾經(jīng)在卡內(nèi)基梅隆大學(xué)計(jì)算機(jī)系工作過(guò)5年。后來(lái)，他移居加拿大，成為多倫多大學(xué)的一位著名教授。

在辛頓教授科研生涯的前20多年里，雖然取得了不少成果，但是因?yàn)橛?jì)算機(jī)的計(jì)算速度還不夠快，深層神經(jīng)網(wǎng)絡(luò)的優(yōu)化較為困難，所以基于深層神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)并未在學(xué)術(shù)界取得足夠的重視，發(fā)表文章和獲取科研經(jīng)費(fèi)也都比較困難。辛頓教授非常堅(jiān)定地默默堅(jiān)持自己的研究工作，同時(shí)培養(yǎng)了不少優(yōu)秀的學(xué)生和合作者，包括后來(lái)深度學(xué)習(xí)領(lǐng)域大名鼎鼎的延恩·樂存（Yann LeCun）和約書亞·本吉奧（Yoshua Bengio）。

2004年，依靠來(lái)自加拿大高級(jí)研究所的資金支持，辛頓教授創(chuàng)立了“神經(jīng)計(jì)算和自適應(yīng)感知”項(xiàng)目，簡(jiǎn)稱NCAP項(xiàng)目。NCAP項(xiàng)目的目的是創(chuàng)建一個(gè)世界一流的團(tuán)隊(duì)，致力于生物智能的模擬，也就是模擬出大腦運(yùn)用視覺、聽覺和書面語(yǔ)言的線索來(lái)做出理解并對(duì)它的環(huán)境做出反應(yīng)這一過(guò)程。辛頓教授精心挑選了研究人員，邀請(qǐng)了來(lái)自計(jì)算機(jī)科學(xué)、生物、電子工程、神經(jīng)科學(xué)、物理學(xué)和心理學(xué)等領(lǐng)域的專家參與NCAP項(xiàng)目。后來(lái)的事實(shí)證明，辛頓教授建立這樣的跨學(xué)科合作項(xiàng)目對(duì)人工智能的研究是一個(gè)偉大的創(chuàng)舉，定期參加NCAP項(xiàng)目研討會(huì)的許多研究人員，比如延恩·樂存、約書亞·本吉奧和吳恩達(dá)（Andrew Ng），如圖3.3所示，后來(lái)也都取得了非常突出的成果。最核心的是這一團(tuán)隊(duì)系統(tǒng)地打造了一批更高效的深度學(xué)習(xí)算法，最終，他們的杰出成果推動(dòng)了深度學(xué)習(xí)成為人工智能領(lǐng)域的主流方向。2012年，辛頓教授獲得有“加拿大諾貝爾獎(jiǎng)”之稱的基廉獎(jiǎng)（Killam Prizes），這是加拿大的國(guó)家最高科學(xué)獎(jiǎng)。

[[391582]]

圖3.3 左至右為樂存、辛頓、本吉奧和吳恩達(dá)

2013年，谷歌公司收購(gòu)了辛頓教授創(chuàng)立的DNN Research公司，實(shí)際上，這家公司沒什么產(chǎn)品和客戶，只有3個(gè)深度學(xué)習(xí)領(lǐng)域的牛人，辛頓教授和他的兩個(gè)學(xué)生，分別是曾經(jīng)贏得2012年的Image Net大賽的埃里克斯·克里澤夫斯基（Alex Krizhevsky）和以利亞·蘇斯科夫（Ilya Sutskever）。有人調(diào)侃Google花了幾千萬(wàn)美元買了幾篇論文，筆者認(rèn)為，谷歌這種大手筆引進(jìn)世界最頂尖人才的方式，正好體現(xiàn)了谷歌兩位老板拉里·佩奇（Lawrence Edward Page）和謝爾蓋·布林（Sergey Brin）面向未來(lái)的雄才大略，非常值得中國(guó)的企業(yè)家學(xué)習(xí)。2014年，谷歌花4億美元收購(gòu)Deep Mind公司時(shí)，Deep Mind公司也就是剛剛在《自然》雜志發(fā)表了一篇利用強(qiáng)化學(xué)習(xí)算法玩計(jì)算機(jī)游戲論文的小公司，很多人都不理解為什么這家公司值這么多錢。后來(lái)Deep Mind研發(fā)了震驚世界的Alpha Go之后，人們才開始相信佩奇和布林的遠(yuǎn)見。