人工智能的主要發(fā)展及其驅動力
今天的演講是賈陽清為阿里巴巴CIO學院舉辦的有關人工智能(AI)技術的特殊培訓課程準備的。 在現(xiàn)場直播中，賈陽清討論了AI涉及的工程和產品實踐。 首先，他介紹了AI及其應用。 然后，參與者討論了AI系統(tǒng)中的重要問題，包括推動算法創(chuàng)新的計算能力的突破以及云平臺可提供的價值。 最后，賈先生分析了大數(shù)據(jù)與AI之間的關系，討論了企業(yè)應如何接受AI，并提出了公司智能化戰(zhàn)略的重點。
5商業(yè)價值和人工智能原理| 數(shù)據(jù)驅動的投資者
難以獲得商業(yè)價值。 我的意思是非常辛苦…就高級分析而言，該過程甚至…
演算法
人工智能已經成為一種重要的技術趨勢。 現(xiàn)在各行各業(yè)都在擁抱AI，并且與AI的聯(lián)系更加緊密。 下圖列出了AI發(fā)揮重要作用的領域，不僅包括與AI密切相關的領域，還包括由AI間接賦予的那些領域。
在我們超越自己之前，我們需要了解AI，其應用程序和系統(tǒng)背后的思想。
隨著AI在過去80年來的發(fā)展，我們已經從圖靈測試到全民面對變革取得了成就。 機器像人類一樣使用AI來回答問題并創(chuàng)建或執(zhí)行計算和分析任務。 在某些領域，計算機已經實現(xiàn)了人類的能力。 例如，2019年發(fā)布的人臉變化應用程序基于AI領域中深度學習和神經網絡的廣泛應用。
當前，在我們的日常工作和生活中使用了許多AI應用程序來代替人工工作。 例如，埃隆·馬斯克(Elon Musk)的AI項目能夠模擬人腦的操作。 但是，隨著AI的飛速發(fā)展，也出現(xiàn)了一些我想稱之為"假AI"的例子。
在AI的開發(fā)過程中，我們不得不面對幾個虛假的AI項目，例如，一個嚴重的虛假AI項目，欺騙了2億元人民幣(超過2800萬美元)的投資者。 因此，我們需要更好地了解什么是AI以及如何使用AI。
在學術界，人工智能的定義有些不同。 人工智能是對人類智能的模擬，能夠接收和分類信息，合理地執(zhí)行一系列任務并基于此做出決策。
它的主要特征之一是采取理性行動的能力。
AI過程從感知到決策反饋。 決定AI系統(tǒng)是否可以采取適當行動的關鍵因素是它們如何感知有關外部世界的信息。 由于AI試圖模擬人的大腦，因此感知過程實際上是理解和學習的過程。 這是深度學習試圖通過AI解決的問題。
深度學習
只有當外部信息(例如視頻，文本或語音命令)轉換為機器語言時，AI才能接受和響應。 從AI的早期開始，科學家就開始考慮和研究此問題。
隨后，人們開始討論和研究如何通過視覺感知來輸入信息。 2012年，加拿大多倫多大學ImageNet競賽的獲勝者Geoffrey Hinton和他的學生Alex Krizhevsky設計了一個解決方案。 那年之后，提出了更深的神經網絡，例如著名的VGG和GoogLeNet。 這些神經網絡為傳統(tǒng)的機器學習分類算法提供了出色的性能。
AlexNet深度學習的發(fā)展歷史
簡而言之，AlexNet的目的是從大量對象中準確識別命令中所需的對象。 該模型的應用加速了圖像識別領域的發(fā)展，目前已被廣泛使用。
像我們的人腦一樣，神經網絡使用多層次的學習模型，并且隨著它們的不斷學習而變得越來越復雜。 假設您想從數(shù)百萬個圖像中找到標記為"貓"的圖像，并在一個非常大的數(shù)據(jù)集上訓練一個經過編輯的視覺網絡模型。 然后，通過模型迭代實施更復雜的訓練。
目前，常用的RestNet模型的深度超過一百層，并結合了一些最新的科學研究發(fā)現(xiàn)，例如下圖底部所示的快速橋連接。 這使用戶可以快速有效地訓練深度網絡。 最終，這解決了視覺感知的問題。
阿里云：智能航空圍裙管理
該解決方案使用AI來識別飛機類型，登機門和機場車輛，并將它們反映在實際地圖上。 它還允許用戶在飛行過程中看到飛機的軌跡。 該信息可以用作AI管理的輸入信息，從而使機場的運營更加方便和有效。
如前所述，深度學習是一種重要的感知模式和方法。 深度學習算法主要包括：
- 資料標記
- 算法模型開發(fā)
- 高性能的分布式培訓
- 模型優(yōu)化
- 模型部署
感知之后，AI系統(tǒng)需要做出決策。 深度學習是一種黑盒操作，可以學習和感知外部信息，但不能提供任何解釋感知問題原因的反饋。 因此，分析和反饋需要決策能力。
傳統(tǒng)機器學習的示例主要包括決策樹算法和邏輯回歸。 例如，銀行發(fā)放貸款的過程是一個決策過程，在平衡各種因素后輸出決策。 我們可以使用決策樹輸出"是"或"否"的判斷，以確定是否授予貸款。 Logistic回歸是指兩種數(shù)據(jù)之間的相關性。 這是一種輸出精確解的數(shù)學方法。
實際上，深度學習和機器學習是互補的。 深度學習可以解決感知問題，例如計算機視覺和語音識別。 它使用神經網絡體系結構解決了許多感知問題，但無法解釋感知問題。 傳統(tǒng)的機器學習不提供這種用戶友好的感知功能。 但是，它的模型相對較小，可以直接解釋，這在財務和風險控制方案中是必需的。
人工智能早已應用于廣告領域。 淘寶是最常見的廣告場景之一。 賣方首先根據(jù)消費者的個人瀏覽信息調查用戶的偏好，然后通過智能推薦系統(tǒng)推送與消費者搜索相關的產品。 這種智能算法的廣泛應用使用戶信息挖掘更加高效和精確。
感知和決策都取決于算法。
- 感知：感知過程與深度學習算法有關，涉及數(shù)據(jù)標記，算法模型開發(fā)，高性能分布式訓練，性能優(yōu)化和模型部署。
- 決策：決策過程與傳統(tǒng)的機器學習算法和深度學習算法有關。 它涉及行業(yè)行為數(shù)據(jù)的收集，結構化和非結構化數(shù)據(jù)處理，數(shù)據(jù)和算法的組合建模，算法開發(fā)培訓和調整，模型部署以及實時培訓反饋。
人工智能系統(tǒng)
隨著算法的快速發(fā)展，相應的基礎架構支持變得越來越重要。 這需要AI系統(tǒng)的支持。 構建AI或機器學習系統(tǒng)的兩個基本因素是算法和計算能力。 算法創(chuàng)新是由計算能力的突破驅動的。
下圖顯示了到2019年AI所需的計算能力。與AlphaGo Zero所需的計算能力相比，AlexNet對計算能力的需求增加了300,000倍。 在這種情況下，算法迭代和算法實現(xiàn)的解決方案對系統(tǒng)提出了更高的要求。
下圖顯示了AlexNet在2013年的系統(tǒng)。只需在機器上添加GPU，培訓費用約為每天500瓦，共7天。 這意味著業(yè)務模型的迭代周期約為一周。
在當今企業(yè)需要快速開發(fā)廣告推薦和其他模型的時代，一個星期的模型迭代周期太長了。 因此，越來越多的人對使用大型集群或芯片為AI系統(tǒng)提供更高的計算能力感興趣。 根據(jù)麻省理工學院在2014年進行的比較，一個人在一分鐘內可以處理約77張圖像，而單個GPU可以在同一時期內處理230張圖像。 盡管單個GPU的處理速度不會比人類的處理速度快多少，但我們可以通過GPU集群來實現(xiàn)更大規(guī)模，更快的計算。 如下圖所示，512個GPU群集在一分鐘內可以處理600,00張圖像。
在設計AI系統(tǒng)時，您需要專注于如何實現(xiàn)高性能存儲，實現(xiàn)機器之間的快速通信以及維護分布式集群的穩(wěn)定性。 目前，阿里云擁有一個內部Eflops平臺，該平臺可在三分鐘內實現(xiàn)10´1的計算，每分鐘消耗128 KW的電量。 這樣的系統(tǒng)在2015年之前是不可想象的。我們實現(xiàn)這種功能的能力主要是由于大規(guī)模集群和系統(tǒng)底層芯片的可擴展性。
目前，世界上許多企業(yè)，特別是中國的企業(yè)正在研究和開發(fā)高性能芯片，阿里巴巴也不例外。 2019年，阿里巴巴發(fā)布了全球性能最高的AI推理芯片，漢光800。該芯片在實際的城市大腦和航空大腦場景中進行了測試，達到了每秒近80萬張圖像的峰值性能。 這表示性能比上一代提高了約4000%。
通過增加軟件和硬件的復雜度，資源管理，有效的調度和系統(tǒng)范圍的優(yōu)化，增加系統(tǒng)復雜度會帶來一系列問題。 這是系統(tǒng)開發(fā)過程中所有各方都必須面對的挑戰(zhàn)。
您必須注意，AI集群不是通用集群。 在AI訓練期間，子任務需要定期同步，并且不同機器之間需要高性能的通信。 在大多數(shù)情況下，使用基于GPU或NPU的專用組件。 當前，不同的計算模型和交互模式對AI培訓構成了重大挑戰(zhàn)。
人工智能用于各種阿里巴巴業(yè)務場景。 因此，我們可以使用實際的AI應用程序來優(yōu)化平臺設計。 例如，淘寶移動的Pailitao(Snap-and-search)分類模型具有數(shù)百萬個類別，淘寶的Voice + NLP解決方案以及Alimama的廣告推薦系統(tǒng)。
經過優(yōu)化的Apsara AI平臺分為三層，分別是底層的基礎架構，中間的培訓和推理框架以及頂層的開發(fā)平臺。 AI平臺有三種重要類型：
- 輕量級AI開發(fā)平臺：這些平臺可幫助算法和數(shù)據(jù)科學家執(zhí)行一鍵式開發(fā)，調試和部署。
- 人工智能和大數(shù)據(jù)協(xié)作開發(fā)平臺：這些平臺可幫助用戶快速開發(fā)面向大數(shù)據(jù)的業(yè)務系統(tǒng)。
- AI推理服務平臺：這些平臺解決了計算資源問題，并提供了推理所需的模型訓練，部署和性能監(jiān)控。
這三種類型的平臺支持算法API的輸出以及垂直域平臺和大腦解決方案的開發(fā)。
在深度學習領域，斯坦福大學推出了一個稱為DAWNBench的基準。 與以前的優(yōu)秀性能相比，阿里云的機器學習解決方案將性能提高了約10%。
如今，人工智能技術功能在提高資產利用率和滿足不同場景的需求方面發(fā)揮著重要作用。 全面的AI技術能力主要取決于以下基礎架構和服務：
- 基本硬件：提供一般的計算能力和AI計算能力。 它還通過基礎架構即服務(IaaS)提供云功能。
- AI云服務：此基礎平臺即服務(PaaS)層通過易于訪問的軟件和硬件環(huán)境提供了適合絕大多數(shù)用戶的計算能力。
- 高性能計算：這將加速核心AI計算引擎。
- AI系統(tǒng)框架：這提供了AI計算模型和跨體系結構建模，迭代和部署的完整抽象。
- AI托管平臺：這提高了算法研發(fā)的共享部署和輸出效率。 它還提供了具有較高用戶粘性的開發(fā)平臺。
智能計算與數(shù)據(jù)計算
人工智能用于智能計算，大數(shù)據(jù)用于數(shù)據(jù)計算。 兩種功能相互補充。
人工智能的數(shù)據(jù)支持
前面提到的算法和計算能力需要大數(shù)據(jù)量的支持。 數(shù)據(jù)是算法和計算能力價值的重要體現(xiàn)。
以下兩張圖片分別顯示了2005年和2013年的教皇觀眾。 隨著移動互聯(lián)網的發(fā)展，數(shù)據(jù)呈指數(shù)級增長，大量可用數(shù)據(jù)改善了深度學習的性能。
1998年，小型MNIST系統(tǒng)的訓練數(shù)據(jù)僅為10 MB，2009年ImageNet的訓練數(shù)據(jù)為200 GB，2017年WebVision具有3 TB數(shù)據(jù)集，典型產品的視覺系統(tǒng)需要1 PB數(shù)據(jù)。 大量的數(shù)據(jù)已幫助阿里巴巴幾乎線性地提高了其性能。
讓我們看一個我們都熟悉的常見場景，以說明更大的數(shù)據(jù)量如何提高性能。 在X射線醫(yī)學診斷領域，研究表明，醫(yī)生從X射線圖像診斷疾病的能力與他們所查看的X射線圖像的數(shù)量直接相關。 他們檢查的圖像越多，診斷準確性就越高。 類似地，可以通過大型計算機系統(tǒng)在更多數(shù)據(jù)上訓練當前的醫(yī)療引擎系統(tǒng)，以實現(xiàn)更準確的醫(yī)療診斷。
AI使大數(shù)據(jù)更智能
下圖顯示了大數(shù)據(jù)領域的趨勢。 當前，大數(shù)據(jù)領域希望提取更多信息，實現(xiàn)實時計算，AI平臺并執(zhí)行在線預測。 所有這些趨勢表明，大數(shù)據(jù)的智能不斷提高。
當前，從多個數(shù)據(jù)源獲取不同類型的數(shù)據(jù)，包括結構化，半結構化和非結構化數(shù)據(jù)，并將其存儲在數(shù)據(jù)倉庫中。 為了利用這些數(shù)據(jù)的潛在價值，需要智能計算。 在廣告推薦的情況下，數(shù)據(jù)源是用戶在淘寶上的點擊，瀏覽和購買。 數(shù)據(jù)通過脫機或實時同步以及脫機或實時提取-轉換-加載(ETL)寫入數(shù)據(jù)倉庫。 然后，基于數(shù)據(jù)倉庫或數(shù)據(jù)湖解決方案生成并訓練各種數(shù)據(jù)模型。 最后，訓練結果通過數(shù)據(jù)服務輸出。 如您所見，數(shù)據(jù)理解和使用過程變得越來越智能。
幾年前，混合事務/分析處理(HTAP)包括OLTP和OLAP。 OLAP可以進一步分為大數(shù)據(jù)，離線和實時分析。 不同的引擎適用于具有不同數(shù)據(jù)量的案例。 當前，數(shù)據(jù)服務變得越來越重要。 在某些智能客戶服務場景中，實時AI推理服務和應用程序需要數(shù)據(jù)提取模型。 因此，找到一種將分析與服務結合起來的方法至關重要。 這就是為什么我們目前正在追求混合服務和分析處理(HSAP)的原因。 結合AI，我們可以通過離線和實時數(shù)據(jù)倉庫從數(shù)據(jù)中提取見解，并通過在線服務將此類見解呈現(xiàn)給用戶。
阿里巴巴已經在自己的應用程序中開發(fā)了基于人工智能的大數(shù)據(jù)方法和解決方案。 Double 11 Shopping Festival中的離線計算(批處理)，實時計算(流計算)，交互式分析和圖形計算方案已與Apsara AI平臺相結合，提供了由Apsara支持的新一代Apsara大數(shù)據(jù)產品 AI。
與人工智能類似，大數(shù)據(jù)也注重性能。 根據(jù)TPC基準測試，2019年，阿里云的大數(shù)據(jù)平臺MaxCompute和E-MapReduce在計算性能和成本效益方面顯示出顯著優(yōu)勢。 下圖顯示了基準測試結果。
阿里巴巴的AlimeBot目前通過應用基于AI的深度學習和智能感知技術，在用戶服務場景中為用戶提供智能語音交互服務。 為了實現(xiàn)智能性能，它必須與大數(shù)據(jù)業(yè)務系統(tǒng)緊密聯(lián)系，例如物流或用戶數(shù)據(jù)系統(tǒng)。
這使我們想到了下一個問題：企業(yè)應如何接受AI? 簡而言之，要使AI成為現(xiàn)實，我們應該從應用程序需求出發(fā)，逐步進行技術創(chuàng)新，就像愛迪生如何改進電燈泡一樣。 云提供了低成本，高性能和高穩(wěn)定性的基礎架構，但是對我們而言，關鍵是明確定義我們的需求。
在過去的幾年中，AI領域一直致力于算法創(chuàng)新和演示，但這還遠遠不夠。
AI算法只是系統(tǒng)的一部分。 在實施AI時，企業(yè)還必須考慮如何收集數(shù)據(jù)，獲得有用的功能以及執(zhí)行驗證，流程管理和資源管理。
人工智能不是萬能的，但也不能忽略。 當企業(yè)采用AI時，必須首先從業(yè)務考慮出發(fā)。 隨著數(shù)據(jù)量和算法數(shù)量的增加，建立一支了解業(yè)務的數(shù)據(jù)工程師和算法工程師團隊至關重要。 這是智能企業(yè)成功的關鍵。 我們已經提到的所有算法，計算能力和數(shù)據(jù)解決方案都可以通過使用云中當前可用的服務和解決方案來實現(xiàn)。 這可以幫助企業(yè)更快地實施AI。
