2016年8月26-27日，由51CTO.com主辦的【W(wǎng)OT2016移動互聯(lián)網(wǎng)技術(shù)峰會】在北京粵財JW萬豪酒店隆重召開。自2012年以來，WOT品牌大會秉承專注技術(shù)、服務(wù)技術(shù)人員的理念已經(jīng)成功舉辦十一屆，不僅積累了大量的專家資源，更獲得廣大IT從業(yè)者和技術(shù)愛好者的認(rèn)可和好評，并成為業(yè)界重要的技術(shù)分享及人脈拓展平臺。

 

本次【W(wǎng)OT2016移動互聯(lián)網(wǎng)技術(shù)峰會】分為10大技術(shù)主題，分別是應(yīng)用架構(gòu)、平臺技術(shù)、創(chuàng)新技術(shù)、VR技術(shù)、前端技術(shù)、性能優(yōu)化、直播技術(shù)、運維與安全、數(shù)據(jù)分析、APP技術(shù)專場。51CTO.com作為本次大會的主辦方，將通過快速報道、現(xiàn)場專訪與后期視頻等多種形式,向廣大用戶全方位展示這場技術(shù)盛宴。

 

下面是大會主會場上來自Google 美國總部的Android高級架構(gòu)師梁宇凌老師帶來的主題為《深度學(xué)習(xí)（Deep Learning）的處理方式與應(yīng)用》的演講實錄。

 

大家好，我來自谷歌，我在谷歌工作了4、 5年，我在谷歌工作了3個不同的部門。我現(xiàn)在的工作內(nèi)容是主動預(yù)測助手產(chǎn)品里面的深度學(xué)習(xí)方面的內(nèi)容。今天很高興能為大家分享一下我的一些工作經(jīng)驗，關(guān)于深度學(xué)習(xí)一些心得和經(jīng)驗。

 

首先介紹一下什么是深度學(xué)習(xí)，然后，我想說一說對大家的產(chǎn)品構(gòu)建有什么意義。

 

我想在座的各位的產(chǎn)品有用到機(jī)器學(xué)習(xí)的大約應(yīng)該有10分之一，機(jī)器深度學(xué)習(xí)應(yīng)該是更少。深度學(xué)習(xí)，就是現(xiàn)在非?；?。如果說今年在硅谷，國內(nèi)技術(shù)圈最火趨勢，第一個VR，第二個虛擬現(xiàn)實，第三，就是人工智能。都是為什么這樣的火。這個跟之前的有區(qū)別和聯(lián)系？

 

今天我們大概流程就是三大塊。第一，講一下機(jī)器學(xué)習(xí)怎么回事。第二，深度學(xué)習(xí)原理簡介。第三，深度學(xué)習(xí)產(chǎn)品構(gòu)建。 

 

到今天為止，硅谷有上百家公司在做不同程度的深度學(xué)習(xí)。如果把機(jī)器學(xué)習(xí)看成一個簡單的過程，這個里面有一些數(shù)據(jù)，數(shù)據(jù)進(jìn)去了以后，一個黑盒子以后，出來一個結(jié)果，做持續(xù)一個預(yù)測。那為什么要關(guān)注機(jī)器學(xué)習(xí)？基本上機(jī)器學(xué)習(xí)跟以前的定性編程不一樣的地方，我們有效面對大部分的應(yīng)用程序，不可以覆蓋到的情況。什么意思？我們寫程序的時候，就是慣用想法就是把一些業(yè)務(wù)邏輯弄到里面，如果這個人就是有這種喜好，給他一個推薦。這個情況出現(xiàn)的時候，我們給他一個結(jié)果。但是，實際上在現(xiàn)在移動的時代，其實數(shù)據(jù)這個情況太多了。所以，機(jī)器學(xué)習(xí)，通過數(shù)據(jù)當(dāng)中學(xué)到這個規(guī)律，把這個規(guī)律在產(chǎn)品當(dāng)中通過其他方式可以得到一個判斷，省去了手動學(xué)習(xí)的規(guī)則的必要。然后，現(xiàn)在都是在講產(chǎn)品需要做一些個人定制，這個應(yīng)對當(dāng)前的用戶一個情況，是未來新的用戶加進(jìn)來，還是要不斷地迭代跟進(jìn)。我們從一個數(shù)據(jù)當(dāng)中學(xué)習(xí)到就是會更好。

 

而這個其實更有趣一些東西，其實深度學(xué)習(xí)，機(jī)器學(xué)習(xí)里面深度學(xué)習(xí)現(xiàn)在還可以做到很多以前不可以做到的東西。意味著什么？學(xué)術(shù)界看起來，我們?nèi)祟惖闹巧踢M(jìn)一步地被逼近以外，對于更多從業(yè)者來講，開闊了很多的機(jī)會，這些做到的事情里面就可以發(fā)現(xiàn)一些商機(jī)。這里兩個例子，在大家的右手邊兒就是用深度學(xué)習(xí)繪畫的例子，那左邊就是一張普通的圖片，右面就是一個星空像，今天AI可以傳一個圖片，指定一個藝術(shù)風(fēng)格，要梵高這種風(fēng)格，就可以把這個照片按照梵高風(fēng)格畫出來，不只是這個。如果大家去外國網(wǎng)站，它還有幾十種風(fēng)格可以選，在半個小時以后，用深度學(xué)習(xí)畫出來一個畫像，而右手邊實際上就是深度學(xué)習(xí)，自動配字幕的過程。就是機(jī)器描述這個圖片，做的就是什么呢？首先就是用圖象識別的方法，就是在這個圖當(dāng)中找到各種關(guān)鍵的物件。就是把這些轉(zhuǎn)換成文字，生成一些語句，對這些進(jìn)行排序，最后得出什么呢？就是給人描述一個結(jié)果。這個就是深度學(xué)習(xí)在理解處理的領(lǐng)域，最近得到的一些非常好的一些結(jié)果。大家可以看到，這個基本上最后一行一個女人拿著相機(jī)在人群當(dāng)中，就是原來描述這個圖片會寫的到的東西。

 

機(jī)器學(xué)習(xí)架構(gòu)就是這樣的，一般分兩大部分。第一就是訓(xùn)練，因為要機(jī)器學(xué)習(xí)就是給你一些預(yù)測，你必須有一個學(xué)習(xí)的過程。我們需要有訓(xùn)練的數(shù)據(jù)。比如說，一般來說，我們數(shù)據(jù)其實都是來自于用戶使用產(chǎn)品的生成日志。這個日志放到一個計算機(jī)，放到機(jī)器學(xué)習(xí)的里面，生成一個模型。把這個模型存起來，大部分時間還是存云端，現(xiàn)在有一個新趨勢，就是把它向客戶端，移動終端推。這個模型經(jīng)過訓(xùn)練以后可以做到預(yù)測。然后，新數(shù)據(jù)進(jìn)來的時候，沒有看過新數(shù)據(jù)，還是可以根據(jù)以往數(shù)據(jù)做一個比較類似的判斷。基本上就是訓(xùn)練跟預(yù)測兩個部分。

 

主要的機(jī)器學(xué)習(xí)類型分三大塊。第一就是機(jī)器學(xué)習(xí)，大家看一些教科書，都是會看到。監(jiān)督學(xué)習(xí)，訓(xùn)練數(shù)據(jù)有被標(biāo)記的。例如說，我要做一個預(yù)測房價這樣一個應(yīng)用，數(shù)據(jù)，一邊兒說賣房子的記錄，這個房子是5環(huán)3環(huán)以內(nèi)的，多少平米，這個附近的有什么名勝景點？就是會有一個標(biāo)記，就是這個房子出售價格多少？這個機(jī)器學(xué)習(xí)就是學(xué)習(xí)了這些，房子大小。我們預(yù)測到房價，最后跟這個實際的房價做一個對比，然后進(jìn)行一個學(xué)習(xí)。接下來也是詳細(xì)看一下無監(jiān)督學(xué)習(xí)，現(xiàn)在特定場景就是做一個用戶畫像。比如說，就像剛剛老師做的Stitch Fix，就是為用戶做購買推薦。然后，其實你要把用戶進(jìn)行一個歸類跟畫像，如果手動就是太慢，這個是什么大媽類型的，這個是畢業(yè)生類型的。我們一般的做法就是什么呢？我們搞一個無監(jiān)督學(xué)習(xí)的算法，如果可視化以后，這個里面就是有數(shù)據(jù)的。再進(jìn)去看，分析具體這些特征是什么？人工發(fā)明一個標(biāo)記，這些其實就是大媽的。

 

第三，就是強(qiáng)化學(xué)習(xí)，在學(xué)界里面有人講了，這個也算無監(jiān)督學(xué)習(xí)，我個人認(rèn)為，有一個反饋的函數(shù)。所以，也不是完全沒有標(biāo)記，什么是強(qiáng)化學(xué)習(xí)？我們都是知道，AlphaGo下圍棋，還有就是自動玩兒游戲，就是再一個固定規(guī)則之下，通過不斷地做一些行為，然后，得到現(xiàn)場一些反饋進(jìn)行學(xué)習(xí)的一個過程。

 

我們實際上在做了一個模型判斷以后，我們預(yù)測這個房子賣100萬。但是，實際售價200萬，我們做一個判斷，這個判斷是錯誤的挺離譜，差一半。我們用函數(shù)反映這個結(jié)果的，這個離實際差多遠(yuǎn)，這個損失模型，這個損失很重要的一個作用，就是用它找到最佳的參數(shù)？怎么找到呢？記得嗎？就是在大學(xué)里面學(xué)的高數(shù)。給你一個曲線的梯度，我們計算損失函數(shù)，因為不斷地進(jìn)行一個梯度下降，我們找到最后的函數(shù)。在深度學(xué)習(xí)里，因為最后不可以成為限性，其實一樣的原理，還是可以用的。

 

深度學(xué)習(xí)又是機(jī)器學(xué)習(xí)里面的分支，通過科學(xué)里面的一些人腦構(gòu)造方法，來構(gòu)造的一個人工智能一個模型，這個60年代就開始流行。由于當(dāng)時種種原因沒有流行起來，這個是很好的一個想法。但是，這個跑起來不可以的，是需要更多的計算能力。但是，在2012年的時候，圖像世界有一個計算，斯坦福一個教授創(chuàng)立的?；旧厦磕旯靖鷮W(xué)校在競賽里面嘗試，把這個錯誤率降到盡可能很低。12年的時候有一個交換深度學(xué)習(xí)模型，一下子降到8，當(dāng)時引起很大的轟動。有一點像在奧運會刷記錄那個感覺，接下來深度學(xué)習(xí)各種競賽當(dāng)中說數(shù)據(jù)。

 

深度學(xué)習(xí)奇妙的地方，因為就是造物過程模擬這個AI，所以，我覺得實際上是做出智能來。做深度學(xué)習(xí)的時候，深度模型做出來以后，拿到結(jié)果。自己不知道為什么結(jié)果這樣的。研究一下，自己為什么勝出？然后，解讀一下，為什么這個模型可以再發(fā)一下呢？深度學(xué)習(xí)的應(yīng)用場景，語音識別，計算機(jī)數(shù)學(xué)。所以，就看一下，像大家在云搜索上面的準(zhǔn)確率提高了，這個效果也是很好的。

 

那深度學(xué)習(xí)讓人興奮的地方，我說一下。這個在12年的時候，因為開使用深度學(xué)習(xí)就是直線下降，今天已經(jīng)超過人類這個水平。所以，大家可能還記得，計算機(jī)里面有一個東西叫做圖靈測試，一個人機(jī)對話，因為我們把圖靈測試廣義看一下，只是針對單向用戶，人是分不清楚，計算機(jī)做的，還是人做的。做一個廣義，圖像識別，這個計算機(jī)為基礎(chǔ)的我們通過這個測試。另外就是微軟發(fā)表的一個，就是這個語音識別上面一個效果，這個就是更加明顯了，就是10年沒有進(jìn)步的一個情況深度學(xué)習(xí)一下子下降了。所以，學(xué)界，大家就是瘋掉的一個。

 

為什么這個深度學(xué)習(xí)現(xiàn)在可以火？還在講為什么可以火？這個是更廣為人知，左邊就是剛剛講的，一個雜志的封面。右面就是圍棋，李世石打敗一個系統(tǒng)。所以，這個情況下，就算是在學(xué)界里面，其實已經(jīng)不只學(xué)界，工業(yè)界也是在應(yīng)用，谷歌也是在用，語音，圖象數(shù)據(jù)，也是有很強(qiáng)的能力。所以，他覺得這個是非常適合谷歌應(yīng)用的一個。所以，在左手邊兒一個圖片可以看到，谷歌在內(nèi)部的應(yīng)用學(xué)習(xí)，就是深度學(xué)習(xí)的一個項目的數(shù)量。右手邊可以看到一堆的產(chǎn)品。

 

為什么深度學(xué)習(xí)以前不可以，現(xiàn)在可以呢？百度的首席科學(xué)家講過非常好的一個說法，機(jī)器學(xué)習(xí)其實有一點像火箭升空的原理，火箭看起來很簡單，就是一個巨大引擎，一個原料把一個東西升空了，需要足夠原料，需要足夠強(qiáng)大的引擎。沒有原料，法國足夠引擎就是會掉下來，這個說起來，什么是原料？就是今天的數(shù)據(jù)。因為有了移動終端以后，我們每天收到大量的數(shù)據(jù)，這個擴(kuò)展到智能家居，擴(kuò)展到車載。今天收集到數(shù)據(jù)量會增加，不會減少。今天的計算得益于游戲玩兒家，顯卡發(fā)展了以后，這個顯卡可以加速機(jī)器學(xué)習(xí)的。然后，再加上云計算，分布式發(fā)展，讓大規(guī)模地訓(xùn)練成為了可能。之后，在這兩個數(shù)據(jù)跟計算能力都是有了保障情況下，學(xué)術(shù)界在這個基礎(chǔ)上面做了很多的算法改善。

 

那在移動應(yīng)用深度學(xué)習(xí)什么意義？今天很流行做聊天機(jī)器人，因為深度學(xué)習(xí)，語音識別正確率大大提高，效果就是更好，就是有更多的數(shù)據(jù)。可以讓用戶跟著我們系統(tǒng)做更好更密切的交互。然后，拿到各種各樣的數(shù)據(jù)。

 

接下來，剛剛講到的方法，也是在推薦系統(tǒng)，也是用戶畫像可以做到很大的幫助。還有一個，就是深度學(xué)習(xí)，在今天發(fā)展出來了，就是學(xué)術(shù)界里面，算法上不斷進(jìn)行創(chuàng)新。在工業(yè)界里面，硬件上面也是不斷地發(fā)展?，F(xiàn)在已經(jīng)有幾家公司做一些針對端的這種深度學(xué)習(xí)的芯片，剛剛也是講的，GPO可以做到很好加速?，F(xiàn)在都是把算法寫到芯片里面進(jìn)行直接的硬件加速，所以非常期待以后在手機(jī)，還有可穿戴設(shè)備做到很好。

 

這個產(chǎn)品可以用上深度學(xué)習(xí)嗎？有幾個判斷的標(biāo)準(zhǔn)。很多數(shù)據(jù)，第二，有沒有計算的能力？因為有各種各樣的開源的框架，谷歌的還有其他的，都是有不同的一些工具。不同的公司業(yè)務(wù)開放API，問題有這個大數(shù)據(jù)嗎？因為深度學(xué)習(xí)需要什么呢？就是需要傳統(tǒng)機(jī)器學(xué)習(xí)。然后，還有一個很重要的，往往大家會忽略掉的。做一個機(jī)器學(xué)習(xí)了以后，做完以后怎么樣？有一套完善的評估的一套體系。有一些東西不可以被評估，我做機(jī)器學(xué)習(xí)評估模型，讓用戶變得更開心。他怎么開心？這個就是很難定義，通過一些參數(shù)，或者其他。

 

未來數(shù)據(jù)看一下，可能是訓(xùn)練覺得這個好，但是，用戶并不買帳，用戶活躍度下降，這個什么原因？是不斷迭代優(yōu)化。

 

最后講一下深度學(xué)習(xí)的一個行業(yè)版圖。這個是在分析的，就是硅谷的深度學(xué)習(xí)的各個領(lǐng)域，我們其實可以看到，從核心技術(shù)，其實有密密麻麻的，從大到小，亞馬遜，到谷歌這樣大巨頭，到創(chuàng)業(yè)公司都是有的。有很多的創(chuàng)業(yè)公司就是用機(jī)器學(xué)習(xí)。像做很多的2B的，2B還沒有顛覆，怎么用機(jī)器學(xué)習(xí)，就是讓這個流程更高效，還有就是機(jī)器學(xué)習(xí)顛覆這個行業(yè)，最著名就是無人駕駛汽車，到今天已經(jīng)源源不只是谷歌了，百度幾家做了。好幾家創(chuàng)業(yè)公司都是做類似的事情。據(jù)我所知，接下來還有創(chuàng)業(yè)公司會做這樣的技術(shù)。這是一件非常好的事情。接下來，無人駕駛汽車的發(fā)展非常值得期待的。

 

然后，剛剛講到VR，更多是AR，機(jī)器學(xué)習(xí)上面有很大的應(yīng)用，為什么用機(jī)器學(xué)習(xí)？就是回到計算機(jī)視覺上面一些應(yīng)用，也是非常有幫助的。

 

最后總結(jié)一下。深度學(xué)習(xí)，就是神經(jīng)網(wǎng)絡(luò)在今天的大數(shù)據(jù)，80年代，神經(jīng)網(wǎng)絡(luò)火一陣子以后，在現(xiàn)在天時地利人和條件下重新復(fù)蘇，跟以前沒有太大的分別。但是，在這個數(shù)據(jù)跟計算能力保障了以后有很大的發(fā)展，接下來學(xué)術(shù)界在這個基礎(chǔ)上面做很多的算法改進(jìn)。在這個連續(xù)數(shù)據(jù)領(lǐng)域，視覺，語音，語義上面做了顛覆性突破。像CNN，RNN，等深度學(xué)習(xí)方法，不應(yīng)該看成學(xué)術(shù)界里面用。而是保持比較開放的一個態(tài)度，學(xué)術(shù)界在這個方面做出這樣的東西，應(yīng)用到產(chǎn)品當(dāng)中。這個硬件加速在移動終端的機(jī)器學(xué)習(xí)會做的越來越好。這個是我的一些分享，謝謝大家。

 

以上是51CTO.com記者從【W(wǎng)OT2016移動互聯(lián)網(wǎng)技術(shù)峰會】一線為您帶來的精彩報道。一大波精彩內(nèi)容報道正在襲來，敬請持續(xù)關(guān)注！