【51CTO.com原創(chuàng)稿件】2017年7月21日-22日，由51CTO主辦的以人工智能為主題的WOTI2017全球創(chuàng)新技術峰會在北京富力萬麗酒店隆重舉行。峰會期間，30+AI明星，數(shù)十場圍繞人工智能主題的精彩演講與圓桌論壇緩緩揭開面紗。除了場內(nèi)的精彩演講，場外還有專門為AI愛好者搭建的動手實驗室和科技體驗區(qū)，這一切都讓本次大會亮點十足。

7月21日上午WOTI2017主會場，西安電子科技大學教授、中國人工智能學會副理事長焦李成先生進行了主題為《人工智能時代后深度學習的挑戰(zhàn)與思考》的精彩演講。以下是演講實錄，讓我們先睹為快！

[[197625]]

西安電子科技大學教授、中國人工智能學會副理事長焦李成先生

非常高興，也感謝大會組委會的邀請。我剛才聽了前面的報告，現(xiàn)在講這個報告有壓力，但是也有動力，什么意思呢？昨天大家都關注的一件事情，國務院下一代人工智能計劃正式頒布，這個對全國人民全世界人民都是一件大事，應該說醞釀已久的人工智能2.0終于出臺，但這個計劃說不準，可能會在800到1500億國家政府的投入，希望能夠在10到15年時間做一點事情。另外一個，因為前一段時間，我作為人工智能學會副理事長，也一直在參與智能人工技術一級學科論證，在這個計劃中間也體現(xiàn)了人工智能學科和人才培養(yǎng)相應的計劃。第三個，昨天晚上，有的專家可能會收到，有的還沒收到。國家基金委信息學部要成立六處，因為以前都知道有電子信息、計算機控制、光電、半導體，很綜合，現(xiàn)在增加的六處就是人工智能處，把原來的幾乎與人工智能相關的研究方向、領域都列到了六處。以后報國家自然基金，不管各類項目，包括優(yōu)青、杰青、重大，都會在六處進行評審。這三件事情和我們在座每位同志都有關系。所以我說講這件事情對我們來講也是一個非常好的起點。為什么要講人工智能時代的深度學習的挑戰(zhàn)與思考？

講這個問題也難也容易，難的是太深的我也不知道，容易的是人工智能都很熱，大家都很清楚。我是三十年前開始從事這個領域的學習和研究，那個時候我大概做了將近二十年的大會報告，很少有企業(yè)參與，基本上都是學術界在做，因為很少有企業(yè)界有這樣的動力，或者說有這樣的成果，有這樣的發(fā)展?，F(xiàn)在從深度學習開始也僅僅只有幾年時間，發(fā)展到這樣，應該說沒有哪個公司不參與，沒有哪個公司置身事外，沒有哪個大學不參與，沒有哪個領域不涉及。從這個意義上講，這個領域成為大家關注的，所以熱大家也就感興趣。但是到底這個領域應該往下怎么發(fā)展，深度和人工智能是一個什么樣的關系。應該說這永遠是一個值得探討的話題，或者說現(xiàn)在是理論準備好了，剩下只管用；還是說理論還是要更深的發(fā)展，講理論的人說這個理論發(fā)展不夠，技術很薄弱。講應用的人說你看我用的多好。這兩個之間的認知有多大的差別，我們應該怎樣理解這樣的差別？

我大概從四個方面來回顧。

我們這個時代的機遇，深度的機遇，尤其是大家都在講深度有多少年的歷史，其實從國內(nèi)國外來講，也就十年的歷史，前邊有神經(jīng)網(wǎng)絡，沒提深度，所以說也沒那么熱。第二，神經(jīng)網(wǎng)絡本身發(fā)展的歷史很長，但是從第一個神經(jīng)元的模型或者MP的模型，從神經(jīng)網(wǎng)絡的第一個學習規(guī)則算起到現(xiàn)在也已經(jīng)有七十年的歷史，從某種意義上講，比人工智能的歷史還要早十年。第三，深度學習作為人工智能領域中間大家關注的領域，現(xiàn)在我們應該關注哪些問題。第四，將來深度學習到底向哪個方向發(fā)展，我們做一些探討。

第一， 深度學習現(xiàn)在這么熱，神經(jīng)網(wǎng)絡也研究了那么多年，為啥中間有段時間沒熱起來呢？原因到底在哪里？其實這三件事應該說結(jié)合在一起才有基礎，缺一不可。神經(jīng)網(wǎng)絡發(fā)展到現(xiàn)在，包括深度的基礎理論，這個時代基本成熟。但神經(jīng)網(wǎng)絡的應用，尤其面向大數(shù)據(jù)，面向現(xiàn)有快速發(fā)展計算平臺的時候，它才找到了自己的機會。所以說，大數(shù)據(jù)、神經(jīng)網(wǎng)絡新的模型或者新的算法，加上現(xiàn)有的能夠滿足深度學習和訓練的高性能的計算平臺，使得深度學習遇到了新的機遇。既然是基于數(shù)據(jù)的，其實我覺得對于數(shù)據(jù)的特性應該有更深的了解。我們有那么多的數(shù)據(jù)，但是了解多少？數(shù)據(jù)里包含多少黃金，期待我們?nèi)ネ诰?，這是一件值得探討的事情。

同時，隨著計算機技術的發(fā)展，或者集成電路技術的發(fā)展，大家都一窩蜂的GPU，每個人都知道GPU是不現(xiàn)實的，這個時候深度怎么算，深度怎么用，深度怎么能夠進入到各個實驗室、千家萬戶，進入到研究生的桌前，也是值得探討的。當然，哪些人工智能的領域，哪些人工智能應用的領域，值得我們用深度去做它，也是需要探討的。所有這些，都只是剛剛開始，而不是說已經(jīng)到了非常成熟的地步，當然，這是我個人的觀點。

第二， 講到神經(jīng)網(wǎng)絡的七十年，雖然大家都很熟悉，大會組委會也一直叮囑我給大家講一些干貨。但我想這一頁是我最想講的，神經(jīng)網(wǎng)絡發(fā)展七十年，這七十年的歷史辛酸、曲折，到現(xiàn)在大家是在享受這七十年帶來的輝煌。但是回顧過去是為了更好的把握現(xiàn)在，也是為了更好的創(chuàng)造未來。這張圖里大家看到的都是所謂深度的明星，深度的熱點，應該說他們對深度的學習起了非常重要的推動作用。但是不要忘了，神經(jīng)網(wǎng)絡和深度學習能有今天，起到非常重要的奠基性作用的人，這個我多花幾分鐘。三層神經(jīng)網(wǎng)絡，BP雖然算的很慢，但第一次表明了任意復雜的問題是可以學習的，是可以訓練的，同樣是可以分類、識別、推理和理解的，這件事情理論上講是可行的，只是現(xiàn)在提到的真正要用到的地步，它的推廣能力怎么樣，它的精度怎么樣，它的效率怎么樣，是應用的瓶頸問題，而不是理論的瓶頸問題。

第三， Hebb學習預測，包括MP模型，第一次提出感知器的時候，那是人工智能第一次剛提出非常輝煌的時候，他第一次給出了可學習的單個神經(jīng)網(wǎng)絡模型，之后給出的模型是斯坦福大學、美國科學院的院士，他給出了一個模型，這個模型也表明了系統(tǒng)可以學習，現(xiàn)在大家普遍用的信號處理的基本算法，就是神經(jīng)網(wǎng)絡的算法。這是很輝煌的時候，由PC機的發(fā)明者提出的。這段時間神經(jīng)網(wǎng)絡發(fā)展非常輝煌，一批科學家為其奠定了很好的基礎。

哈佛大學畢業(yè)的Rumelhart，也是美國后來自然科學基金會的主任，他發(fā)明了BP算法，這個人大概就一米六的個子，但蘊涵無窮的能量。按照現(xiàn)在的觀點，他的論文不能畢業(yè)。這段時間他也很艱苦，找工作也很困難，沒有基金，沒有錢。到八十年代初，特別要提到的人，提到的團隊，第一個是美國科學院的院士，也是物理學家，三篇文章奠定了他在科學界的地位。兩篇是連續(xù)的網(wǎng)絡模型及其神經(jīng)網(wǎng)絡的應用，也就開辟了神經(jīng)網(wǎng)絡在組合優(yōu)化問題中的應用，三篇文章就奠定了他在這個領域的地位。

第四，    所以說這些人奠定了神經(jīng)網(wǎng)絡的基礎。我是在八十年代中期開始接觸網(wǎng)絡，引以為自豪的中間有幾個人，蔡少長（音）、汪德亮（音），包括現(xiàn)在在香港政府的徐雷（音），也提出了隨機的算法，一批華人在這個領域當時有重要的貢獻。

請記住，這一批人在不同領域，但都是九十年代神經(jīng)網(wǎng)絡的先驅(qū)，北京大學的石先生都是在做神經(jīng)網(wǎng)絡，你們做的深度識別、人臉識別就是石先生開辟的。再到后來西南交大的科研專家，上海交大的一批人，包括現(xiàn)在中科院的科學家，他們都是神經(jīng)網(wǎng)絡領域做的非常好的，還有東南大學，北京郵電大學等等。他們有力推動了神經(jīng)網(wǎng)絡的發(fā)展，正是因為有了他們才有了今天的發(fā)展，但那個時候很少有企業(yè)界參與，所以沒有現(xiàn)在輝煌。但這個發(fā)展正好奠定了現(xiàn)在深度學習的基礎。

現(xiàn)在的深度熱，其實已持續(xù)了相當長的時間，第三次再發(fā)現(xiàn)BP算法，但是那個時候?qū)崿F(xiàn)起來、應用起來大家都感覺到，關鍵是應用需求沒有那么廣，所以那時沒有傳播那么快。再過十年，大概是06年，才開始有這些人的出現(xiàn)。真正用起來是2010年左右到現(xiàn)在，才有這樣的發(fā)展。所以我用了比較長的時間講神經(jīng)網(wǎng)絡七十年，是為了說明深度的來之不易，而且深度是前人，這些先驅(qū)奠定的工作。應該說，那個時候我們做大會學術報告很少有企業(yè)界參與，因為沒有那么多需求。

第三個，深度學習集中在什么地方，現(xiàn)在好像深度無處不在，好像到處都能用，好像各個都有結(jié)果。其實我想說的是，剛剛開始，看到的都只是表面上的東西，真正離解決問題還有很長遠的距離。深度是能解決許多問題，深度是基于用數(shù)據(jù)，用序列，用優(yōu)化的辦法來達到我們所求的最優(yōu)解，這是深度所需要的，深度所擅長的，也能用得上的。當然也得益于計算技術的發(fā)展，所以大家最直接看到的是AlphaGo、無人超市，亞馬遜首席科學家之一就是我的學生，他在美國已經(jīng)待了將近十年，他們花了四年時間做了亞馬遜Go，應該說，科學無國界，深度無國界，大家用的很廣。但我想說的是，看到自然語音處理、頭像處理、刷臉，昨天刷臉比賽，前三名又是中國人。我想我們不要滿足于這個，包括科大訊飛給總理翻譯的時候，示范了深度神經(jīng)網(wǎng)絡的應用或者學習的應用。當然，真正的應用還在后面。

我想說的兩個問題是現(xiàn)在深度沒有解決的，第一個，我們現(xiàn)在講的是基于大數(shù)據(jù)，小數(shù)據(jù)怎么樣？大數(shù)據(jù)完了以后，即使是大數(shù)據(jù)，同樣針對復雜的問題是小樣本。第二個，百度、阿里、蘋果、Google他們能消費得起，老百姓消費得起嗎？老百姓消費不起的時候怎么樣用深度做大數(shù)據(jù)，所以說這些問題都是相輔相成的。第三個，現(xiàn)有的基本模型，打遍天下無敵手的CNN是有很多局限的，從這個意義上講，大家看到了它的輝煌，但我更想說不夠，對于知識的處理，遠遠沒有到位，因為想讓機器和人一樣做，但我們面對更多的是知識，而不是數(shù)據(jù)，這個時候想讓機器像人一樣能聽會看會說，還能道聽途說，我總覺得這中間沒有知識的運用是不夠的。很多專家講過，基于數(shù)據(jù)的，基于知識的，同時小樣本的問題，值得我們?nèi)ヌ接?。在這個意義上講，深度模型真正要達到對所有這些簡易，我們講分類識別，說實話，還沒有到簡易的地方，做到只可意會，不可言傳，能夠談情說愛的地步，或者一個語言一個表情能夠表達很深含義的地方，我們還有很長的路要走。

到現(xiàn)在為止，我這個名字起的有點自己把自己掉坑里。第一代深度都是大家很熟悉的，但是很初步的，我個人認為是應用的模型，又是練習的模型，真正我剛才說的這些問題要去匹配，要去求解，現(xiàn)在第二代深度已經(jīng)能夠嶄露頭角，其實很多模型剛剛出來。我最終的想法也是希望能夠把第二代神經(jīng)網(wǎng)絡介紹的細一點。怎么樣能夠?qū)Ω兄Q策、簡易、認知、推理，當然，硬件技術發(fā)展也要匹配這樣的需求。我想說的是，這個時代你的數(shù)據(jù)，你的模型，你的計算，怎么樣能夠協(xié)調(diào)的統(tǒng)一，這個東西不統(tǒng)一，任何一個再強，你的潛力是發(fā)揮不出來的。所以說，這是我借用徐宗本老師的話，人工智能一類是模擬人腦工作機制，我想說的是模擬自然機制，另一類是快速認識，這兩條路都是智能之路，深度還涉及不到。第二個是無人駕駛，所有對環(huán)境的感知，對地理的感知，這個應該怎么做，我覺得還是不夠的。所以很多模型是因為數(shù)據(jù)的特性而生成的，第二類模型更面向于問題，而不是構架。無人超市只是個平臺，只是個由頭，真正涉及到的是更貼近大眾化為老百姓服務的智能行為，智能到底有多遠，我問過亞馬遜Go，就是計算機識別傳感器融合，深度學習，獲取數(shù)據(jù)，準備訓練數(shù)據(jù)，分類學習，有效識別，構成了現(xiàn)在的亞馬遜Go。

機器翻譯不用說，過去做的很熱，但也有瓶頸，現(xiàn)在深度學習使它獲得很好的發(fā)展。

深度學習第一個是數(shù)據(jù)，第二個是模型，第三個是計算，這里的模型和原來機器學習一樣，同樣涉及到模型選擇的問題，因為任何問題不是說拿一個通用模型能解決的，如果拿一個通用模型都解決了就不用我們這些人做了。所以說，模型選擇是和數(shù)據(jù)、和問題匹配的第一步，從這個意義上講，怎么樣去做，還有很長的路要走。

我們這里做了兩件事，第一個是建立平臺，我們建了兩套，第一套是圖像數(shù)據(jù)的，第二套是大數(shù)據(jù)的，深度學習平臺，這個平臺是以人民幣為代價的。我們下一步做的兩件事情，把他們?nèi)孔兂捎布酒度胂到y(tǒng)，當然，這上面我們做了一些工作，沒有這個平臺做起來很困難，做這個也是因為我們有國家的需求。我們做的這些問題，深度卷積網(wǎng)絡模型，這里的卷積我們考慮了兩個問題，第一個是拿哪些數(shù)據(jù)，拿哪些樣本送進去訓練是有講究的，人是通過聲音、語言、文字、圖像的這些傳感器獲得關鍵的、吸收的重要的信息，送到大腦里，用腦神經(jīng)元網(wǎng)絡進行處理，是這樣一個過程。而現(xiàn)在的深度學習很少考慮，雖然圖像數(shù)據(jù)占80%，但圖像數(shù)據(jù)是怎么獲得的，里面蘊涵哪些內(nèi)容，哪些是關鍵的，哪些是不關鍵的，這個時候是有講究的。

另外，從結(jié)構，從并行處理，一直到中間怎樣簡化數(shù)據(jù)，怎樣優(yōu)化目標的輸出，用什么樣的高效訓練算法，做了一些選擇。這里我們也用不同的模型進行了交叉驗證，也進行了相應的比較。這個是我們做出來的，對高分辨結(jié)果做出來的結(jié)果，應該說相當清楚。這個是對下面實時跟蹤的。另外兩件事情，對偶范式，利用稀疏性、生成性，三個匹配做一件事情。對偶學習對深度學習有指導意義，從這個意義上講，我對偶是受損的，但可以用來為深度服務，建立模型，建立算法服務，它會使你的問題變得簡單的多，有效的多。另外一個，稀疏性，我們做了相當長的時間，中間承擔了國家重大項目，例如973項目，人腦學習一定是一個learning，同時它的表示也是稀疏的。從這個意義上講，我們深度應該關注的一個重點方向，也就是說，要像腦子像自然學的更像一點，稀疏性不可或缺。另外一個，對于現(xiàn)在的智能行為模擬，簡單深度是不夠的，面向數(shù)據(jù)，面向模型的選擇，生成性、判別性、學習性和測試，必須是有機的結(jié)合在一起，才能使一個通用的理論性的算法變得更加有效，變得和真正的大數(shù)據(jù)復雜問題相匹配。

我想說的是，不是哪個模型更好，而是對數(shù)據(jù)進行必要的處理和編碼，使你的模型變成有效模型的關鍵之一，從這個意義上講，有好多工作要做。這是我們做的，對于各種圖片之間風格的轉(zhuǎn)換。我們實驗室從2013年到現(xiàn)在，三個小團隊，獲得三個國家自然科學二等獎，我們高老師團隊就是從照片生成圖像，從素描再生成照片，相互轉(zhuǎn)換的過程中間，做出了非常出色的結(jié)果。包括今年拿到國家自然科學基金二等獎，都是找到了稀疏表征的有效辦法，才使得后面的學習和訓練更加有效。這個我不想說了，是細的，他們的邏輯結(jié)構。

我想說的是，大家看到的是網(wǎng)絡應用，其實遙感應用更加復雜，我們每天每個人拿著你們的微信，拿著你們的手機，滴滴打車，所有的GPS定位都是海陸空感知、處理、學習和識別，從這個意義上講對遙感的處理是我們現(xiàn)在非常重要的。我們國家非常慶幸的有白斗系統(tǒng)，構成我們自己的有自主知識產(chǎn)權的系統(tǒng)。利用神經(jīng)網(wǎng)絡平臺，不僅是高效的、并行的，同樣也是分布的，這個話大家都在說，但實際上你要把它真正變成現(xiàn)實，變成你有效的學習、訓練、分類算法，你要從模型、軟件、硬件，包括數(shù)據(jù)的優(yōu)化、調(diào)度和管理，不是一件容易的事情。我們大概做了這樣一件事情，生成網(wǎng)絡，生成對抗，包括能夠體現(xiàn)感知與決策功能的強化學習模型。我覺得這件事情大家應該關注，從中國傳統(tǒng)哲學家角度來講，舉一反三是非常重要的，我個人認為，我起了個名叫強化學習，我覺得這對它本質(zhì)的內(nèi)容是有感覺的，有的人就不一樣。

對于未來我們怎么思考，我剛才已經(jīng)講到了。講到未來一定講到現(xiàn)在，基于數(shù)據(jù)的大家在做，但基于知識的遠遠不夠，基于海量大數(shù)據(jù)是熱了，但考慮小樣本關鍵樣本是不夠的，基于通用的是夠的，稀疏性是不夠的，感知、推理和決策是擺在我們目前的任務，對于深度來講，同樣也是新問題。當然，圍繞智能制造，圍繞“互聯(lián)網(wǎng)+”，圍繞人工智能現(xiàn)在叫2.0或者下一代叫2.0，要做的事很多，這里不僅僅是大數(shù)據(jù)，你要把大數(shù)據(jù)變成你貼心的小棉襖，這件事情有很長的路要走。當然，模型是不夠的，從這個意義上講，未來的道路還很長，這個我想簡單一點。未來能夠和諧的進行感知、應用，人機共處，人做人的事，機器人做機器人的事，我覺得是非常好的一件事情，但是要做到不那么容易。包括后面用生成，用稀疏，還有很長的路要走，不是我們拿著CNN就打遍天下。

我們回顧了昨天，今天大家也共同討論了一下，明天做啥？深度強化學習，深度遷移學習，從功能來講，還要加上感知、學習、訓練，一直到現(xiàn)在要加入反饋，加入知識，要把學習變成一個動力學，變成一個網(wǎng)絡，還有很長的路，再往下一步我就不知道了。應該說我們有一個好的環(huán)境，這是建立大系統(tǒng)，也有好的團隊，希望大家多交流。因為最近是連著的，包括前面的英特爾，包括阿里，包括華為，大賽我們都拿了很多冠軍，這些都是用深度學習和機器學習做的。這是剛拿的華為冠軍，智能盲杖，還有眼控輪椅和手控輪椅，我們把深度落在實處，大家可以簡單看一下這個盲杖。

這些工具是實時的，也是用深度網(wǎng)絡做的，包括我們最近做的眼控和手控，智能輪椅，至少對大家的健康做點貢獻。我就講這么多，謝謝大家。

51CTO記者將持續(xù)為您帶來WOTI2017全球創(chuàng)新技術峰會前方精彩報道，敬請期待！

【51CTO原創(chuàng)稿件，合作站點轉(zhuǎn)載請注明原文作者和出處為51CTO.com】