幾乎每一門編程語言，都有一個數(shù)據(jù)類型叫做Boolean，它只有兩個值：真和假。

這是為了紀(jì)念發(fā)明布爾代數(shù)的數(shù)學(xué)家喬治·布爾。

圖片

喬治·布爾英年早逝，他絕對想不到，他的小女兒艾捷爾·麗蓮·伏尼契寫了一本著名的小說《牛虻》。

他更不可能想到，他還有一位玄孫：Geoffrey E. Hinton（辛頓），將家族的榮耀推向了巔峰，辛頓不但成了深度學(xué)習(xí)之父，還獲得了圖靈獎和諾貝爾獎。

圖片

1.算法的積累

辛頓出生于1947年，先在劍橋大學(xué)獲得了實驗心理學(xué)學(xué)士，然后跑到愛丁堡大學(xué)拿到了博士學(xué)位，他的論文是《放松及其在視覺中的作用》。

這聽起來和計算機毫無關(guān)系，辛頓為啥會進入到人工智能領(lǐng)域呢？

因為當(dāng)時的人工智能和計算機科學(xué)、心理學(xué)和神經(jīng)科學(xué)“糾纏不清”，每個學(xué)科都試圖按照自己的領(lǐng)域來描繪技術(shù)的前景。

比如早在1958年，在海軍的資助下，康奈爾大學(xué)教授弗蘭克·羅森布拉特發(fā)明了一個模仿人腦的數(shù)學(xué)系統(tǒng)：感知機。

圖片

感知機有 400 個光傳感器，它們一起充當(dāng)視網(wǎng)膜，將信息傳送給大約 1,000 個“神經(jīng)元”，這些神經(jīng)元進行處理并產(chǎn)生單一輸出。

用一系列的打孔卡訓(xùn)練以后，感知機居然自己學(xué)會了識別卡片上的標(biāo)記是在左側(cè)還是右側(cè)，這事兒轟動一時，媒體甚至報道“海軍設(shè)計了一個會思考的科學(xué)怪物”！

我們現(xiàn)在知道，這就是第一個神經(jīng)網(wǎng)絡(luò)。

不過，這個神經(jīng)網(wǎng)絡(luò)只有一層自適應(yīng)的權(quán)重，想要完成復(fù)雜的任務(wù)，需要建立一個多層的，每一層都向下一層提供信息，這樣就可以學(xué)習(xí)感知機無法學(xué)習(xí)的復(fù)雜圖形。 

但是研究人員找不到很好的方法來訓(xùn)練它們，人工智能進入了第一個寒冬。

1978年，辛頓來到加州大學(xué)圣地亞哥分校做博士后研究，在這里他和David Rumelhart和Ronald Williams合作，重新“發(fā)現(xiàn)”了用于訓(xùn)練神經(jīng)網(wǎng)絡(luò)的反向傳播算法，特別是證明了該算法可以使多層神經(jīng)網(wǎng)絡(luò)調(diào)整自身的權(quán)重，從而學(xué)習(xí)多層特征，完成語言和視覺的任務(wù)。

這是一個極其重要的突破，反向傳播成為當(dāng)今深度學(xué)習(xí)的基礎(chǔ)。

1987年，出于對里根政府的不滿，辛頓來到了加拿大，加入了多倫多大學(xué)。

雖然辛頓遠(yuǎn)離了傳統(tǒng)的人工智能中心，但是牛人在哪里，哪里就是中心。

辛頓培養(yǎng)了很多著名的學(xué)生，其中一位就是來自法國的博士后楊立昆。

圖片

楊立昆把反向傳播算法應(yīng)用到了卷積神經(jīng)網(wǎng)絡(luò)（CNN）上，他開發(fā)的LeNet在識別手寫數(shù)字方面非常出色，在當(dāng)時的技術(shù)條件下就能取得低于1%的錯誤率。

圖片

圖片

LeNet后來成功商業(yè)化，被金融用來識別支票上的數(shù)字。

圖片

2019年，楊立昆和辛頓一起獲得了計算機界最高獎：圖靈獎。

雖然卷積神經(jīng)網(wǎng)絡(luò)在識別數(shù)字方面表現(xiàn)優(yōu)秀，但是在處理圖像方面就力不從心了，因為圖像識別需要更多、更深的網(wǎng)絡(luò)隱藏層，當(dāng)時計算機的計算能力是遠(yuǎn)遠(yuǎn)不夠的。

神經(jīng)網(wǎng)絡(luò)還需要人工智能之外的兩項技術(shù)來鋪平道路：

• 大量的訓(xùn)練數(shù)據(jù)
• 足夠的算力。神經(jīng)網(wǎng)絡(luò)訓(xùn)練涉及大量重復(fù)的矩陣乘法，最好是并行完成。

2.數(shù)據(jù)和算力

在過去的20年，一切都發(fā)生了重大變化。

互聯(lián)網(wǎng)蓬勃發(fā)展，數(shù)據(jù)變得無處不在，尤其是智能手機的出現(xiàn)，讓文本、圖像、視頻變得唾手可得。

而算力的解決竟然來自于游戲行業(yè)，游戲中的圖像渲染需要繁重的處理，Nvidia 等公司 開發(fā)了圖形處理單元 ( GPU)芯片，游戲開發(fā)人員使用 GPU進行復(fù)雜的著色和幾何變換。

那些渴望強大計算能力的計算機科學(xué)家立刻意識到，他們可以“欺騙”GPU 執(zhí)行其他任務(wù)，例如訓(xùn)練神經(jīng)網(wǎng)絡(luò)。

Nvidia 注意到了這一趨勢，它創(chuàng)建了CUDA，讓研究人員可以輕松使用GPU進行通用數(shù)據(jù)處理。

從 2006 年開始，李飛飛計劃建立一個圖像數(shù)據(jù)集，涵蓋英語中所有名詞，用于訓(xùn)練人工智能。

圖片

她和她的研究生開始在互聯(lián)網(wǎng)上收集圖像，并使用WordNet對它們進行分類。

由于任務(wù)極其艱巨，李飛飛和她的合作者最終使用亞馬遜的 Mechanical Turk 平臺將標(biāo)記圖像的任務(wù)眾包給了零工。

圖片

2009 年ImageNet正式完工，比之前的任何圖像數(shù)據(jù)集都大幾個數(shù)量級。

李飛飛希望它的出現(xiàn)能幫助AI實現(xiàn)新的突破，并于 2010 年發(fā)起了一場競賽，激勵研究團隊改進他們的圖像識別算法。

現(xiàn)在我們有了神經(jīng)網(wǎng)絡(luò)和算法，訓(xùn)練數(shù)據(jù)集，以及GPU算力，就差一個人把它們都結(jié)合起來，震撼世界了。

3.AlexNet

當(dāng)辛頓的博士生Ilya Sutskever 看到ImageNet時，立刻想起了Alex Krizhevsky。

（左護法Illya，右護法Alex)

Alex是一位GPU編程大師，擅長從一個裝有GPU的電腦中壓榨出最后一點性能。

Ilya說服Alex，開始一個新項目，針對ImageNet訓(xùn)練一個卷積神經(jīng)網(wǎng)絡(luò)，參加ImageNet訓(xùn)練。

辛頓也加入了這個項目，擔(dān)任首席研究員。

Alex和自己的父母住在一起，他用自己臥室的一臺電腦來訓(xùn)練神經(jīng)網(wǎng)絡(luò)，電腦上只有兩張Nvidia 顯卡。

圖片

在一年的時間內(nèi)，Alex不斷地調(diào)整神經(jīng)網(wǎng)絡(luò)的參數(shù)，重新進行訓(xùn)練，直到2012年，這個名叫AlexNet的神經(jīng)網(wǎng)絡(luò)在競賽中以15%的錯誤率大幅領(lǐng)先第二名的26%，以壓倒性的優(yōu)勢贏得競賽，一鳴驚人。

看到AlexNet的論文，紐約大學(xué)楊立昆實驗室的學(xué)生們感受到了巨大的失落和遺憾。

因為AlexNet使用卷積神經(jīng)網(wǎng)絡(luò)，正是楊立昆80年代最拿手的工作。

經(jīng)過30年的奮斗，他們跌跌撞撞地走到了最后一關(guān)，卻眼看著別人破門而入。

楊立昆在當(dāng)晚討論AlexNet論文的時候，說到：“多倫多大學(xué)的學(xué)生比紐約大學(xué)的學(xué)生行動更快?！?nbsp;

當(dāng)其他資深研究員對AlexNet存在懷疑，認(rèn)為它無法應(yīng)用到真實世界的數(shù)據(jù)集上時，楊立昆旗幟鮮明地支持了自己老師的項目：這就是人工智能的轉(zhuǎn)折點！

楊立昆是對的，隨后幾年的ImageNet競賽中，幾乎每個項目都使用了神經(jīng)網(wǎng)絡(luò)，到2017年許多參賽者的錯誤率已經(jīng)降至5%，主辦方隨即結(jié)束了競賽。

神經(jīng)網(wǎng)絡(luò)在接下來的十年迅速發(fā)展，AlphaGo擊敗了圍棋世界冠軍，AI可以合成逼真的語音，創(chuàng)建圖像。

最終，Ilya Sutskever共同創(chuàng)辦的公司OpenAI發(fā)布了ChatGPT。

AlexNet是點燃深度學(xué)習(xí)的燎原之火，它不但開啟了技術(shù)革新，還促進了產(chǎn)業(yè)重構(gòu)，甚至引發(fā)了社會變革，開啟人類深度科技化，說它是改變?nèi)祟惷\的軟件是不為過的。

4.結(jié)語

百度認(rèn)識到了AlexNet的潛力，微軟，Google也認(rèn)識到了，電子郵件紛至沓來，他們都力邀辛頓團隊加盟，百度甚至為三人開出了1200萬美元的超高價碼。

但是Ilya和Alex主張成立一個公司，辛頓采納了學(xué)生的意見，創(chuàng)建了DNNresearch公司，以對外拍賣的方式來實現(xiàn)價值最大化。

經(jīng)過激烈的競爭，Google以4400萬美元的價格，將這個只有三名員工、沒有產(chǎn)品也沒有歷史的初創(chuàng)公司收入囊中，百度錯失了AI教父辛頓。

辛頓堅持三人平分這筆錢，但是Ilya和Alex堅持老師應(yīng)該拿到更大的份額：40%。辛頓說：“這體現(xiàn)了他們是什么樣的人，但沒有體現(xiàn)出我是什么樣的人?！?/p>

2020年，美國的計算機歷史博物館和Google聯(lián)系，想收錄Alex這個改變?nèi)祟愂澜绲能浖?jīng)過5年的協(xié)商，原汁原味的AlexNet終于在GitHub上開源發(fā)布：

圖片

縱觀AlexNet的出現(xiàn)過程，真是一代又一代人的不斷努力，不斷接力的結(jié)果。如果辛頓的團隊沒做出來，楊立昆的團隊，或者別的團隊也能完成臨門一腳，在當(dāng)時的條件下，真是萬事俱備，只欠東風(fēng)了。

至于AlexNet開啟的道路是不是通向通用人工智能之路，我們只有拭目以待了。