阿里賈揚(yáng)清：通過大數(shù)據(jù)和 AI 能力，為企業(yè)提供升級(jí)的動(dòng)力
原創(chuàng)【51CTO.com原創(chuàng)稿件】對(duì)企業(yè)來說，業(yè)務(wù)要?jiǎng)?chuàng)新、要提高效率，僅僅把數(shù)據(jù)管好、用好還不夠，還需要AI技術(shù)的加持。“大數(shù)據(jù)和AI密不可分，二者結(jié)合在一起，才能幫助企業(yè)在數(shù)字時(shí)代從容應(yīng)對(duì)不確定性。” 阿里巴巴副總裁、阿里云計(jì)算平臺(tái)負(fù)責(zé)人賈揚(yáng)清表示。
然而很多企業(yè)在進(jìn)入AI領(lǐng)域時(shí)會(huì)發(fā)現(xiàn)，算法等技術(shù)已經(jīng)不再是關(guān)鍵痛點(diǎn)，AI工程化落地場(chǎng)景、快速搭建AI工程化技術(shù)方案才是難以逾越的鴻溝。
什么是AI工程化，如何實(shí)施AI工程化，阿里云如何支持用戶的AI工程化，賈揚(yáng)清對(duì)此進(jìn)行了深入介紹。
從供給角度看，AI 工程化是數(shù)據(jù)和算力的云原生化
眾所周知，AI靠數(shù)據(jù)和算力來驅(qū)動(dòng)。無論是計(jì)算機(jī)視覺、自然語言處理，還是其他的 AI 系統(tǒng)，都與數(shù)據(jù)量密不可分。
然而根據(jù)摩爾定律，每 18 個(gè)月，CPU 單核的計(jì)算能力就會(huì)增長(zhǎng)一倍。但 2008 年前后，摩爾定律就開始失效，算力的增速開始逐漸變緩。
同時(shí)，隨著數(shù)據(jù)量的增多，模型變得越來越精準(zhǔn)，無論是在數(shù)據(jù)還是計(jì)算，都需要一個(gè)更大規(guī)模、更大體量的底座，來支撐AI 的需求。
日前，阿里巴巴與清華大學(xué)合作發(fā)布的超大規(guī)模中文多模態(tài)預(yù)訓(xùn)練千億參數(shù)模型M6，其數(shù)據(jù)集包含超過1.9 TB圖像和292GB文本，參數(shù)規(guī)模達(dá)到1000億，可以完成產(chǎn)品描述生成、視覺問答、問答、中國(guó)詩歌生成等跨模態(tài)任務(wù)。
從核心技術(shù)角度看，AI 工程化是調(diào)度和編程范式的規(guī)?；?/strong>
構(gòu)建大規(guī)模、大體量底座往往面臨著成本問題。首先，訓(xùn)練大模型需要GPU來做大規(guī)模計(jì)算。如英偉達(dá)的 DGX2，售價(jià)為每臺(tái)20 萬美元。一個(gè)訓(xùn)練模型需要64臺(tái)機(jī)器、512個(gè)GPU。如果搭建一個(gè)專門用來做大規(guī)模訓(xùn)練的集群，可能需要約一個(gè)億的成本。
阿里云在訓(xùn)練M6模型的時(shí)候，利用了生產(chǎn)機(jī)器明顯的“潮汐效應(yīng)”：白天在線服務(wù)量高，機(jī)器用的多，晚上流量少，計(jì)算量低。把 AI 計(jì)算任務(wù)分成一小塊一小塊的任務(wù)，部署在資源空閑的機(jī)器上，通過這樣的方式，基本上可以實(shí)現(xiàn)在訓(xùn)練M6模型的時(shí)候，不用買新的機(jī)器，而是在現(xiàn)有生產(chǎn)的集群上，利用這種潮汐能力，把計(jì)算量提出來。
第二是人的成本。AI 沒有相對(duì)清晰的、以目標(biāo)為導(dǎo)向的框架，也不能簡(jiǎn)單的實(shí)現(xiàn)復(fù)制。AI 程序要在機(jī)器、資源之間調(diào)度數(shù)據(jù)，要把一個(gè)算法放到參數(shù)服務(wù)器上，給各種機(jī)器發(fā)布指令。因此，AI 工程師需要寫很多復(fù)雜的代碼。
如何更好地做到資源調(diào)度和資源調(diào)配，以及如何讓工程師更容易撰寫分布式編程范式，特別是如何規(guī)模化，這是另外一個(gè)明顯的需求。
阿里云設(shè)計(jì)了一個(gè)相對(duì)簡(jiǎn)單、干凈的編程框架 Whale，讓開發(fā)者能夠更容易地從單機(jī)的編程范式跳到分布式的編程范式。比如，只需告訴 Whale，將模型分為 4 個(gè) stage，Whale 就會(huì)自動(dòng)把這些 stage 放到不同的機(jī)器上去做運(yùn)算。
從需求或者出口的角度看，AI 工程化是開發(fā)和服務(wù)的標(biāo)準(zhǔn)化、普惠化
AI 有很多有趣的模型，為了使這些模型能夠更加緊密地應(yīng)用在實(shí)際場(chǎng)景中，還需要做很多工作。但并不是每個(gè)人都有時(shí)間來學(xué)習(xí) AI 如何建模，如何訓(xùn)練和部署等。
所以，阿里云一直在思考如何讓開發(fā)者更容易使用高大上的 AI 技術(shù)。
阿里云機(jī)器學(xué)習(xí)平臺(tái) PAI 團(tuán)隊(duì)，基于阿里云 IaaS 產(chǎn)品，在云上構(gòu)建了一個(gè)完整的 AI 開發(fā)全生命周期的管理體系：從寫模型，到訓(xùn)練模型，再到部署模型。
阿里云機(jī)器學(xué)習(xí)平臺(tái)PAI依托于云端計(jì)算降低存儲(chǔ)和計(jì)算的成本。同時(shí)為了能夠讓算法更快地演進(jìn)，需要提供很多的工具，讓算法工程師能夠非常方便地利用到系統(tǒng)計(jì)算的能力以及數(shù)據(jù)的能力。其中，Studio 平臺(tái)提供可視化建模，DLC 平臺(tái)（Deep Learning Container）提供云原生一站式的深度學(xué)習(xí)訓(xùn)練，DSW 平臺(tái)（Data Science Workshop）提供交互式建模， EAS 平臺(tái)（Elastic Algorithm Service ）提供更簡(jiǎn)易、省心的模型推理服務(wù)。
截至目前，通過大數(shù)據(jù)、AI 平臺(tái)，阿里云已經(jīng)服務(wù)了各行各業(yè)的客戶，如寶鋼、三一集團(tuán)、四川農(nóng)信、太平洋保險(xiǎn)、小紅書、VIPKID、斗魚等。阿里云希望通過大數(shù)據(jù)和 AI 能力，為企業(yè)提供升級(jí)的動(dòng)力。
【51CTO原創(chuàng)稿件，合作站點(diǎn)轉(zhuǎn)載請(qǐng)注明原文作者和出處為51CTO.com】
