如果說(shuō)前50年是AI的潛伏期，那么，2017就是人工智能的全面爆發(fā)年。我們?cè)诟餍懈鳂I(yè)都可以看到AI的身影，包括各廠商推出的自研AI算法，以及滿屏的基于AI的智能化探索和研究。無(wú)可否認(rèn)的是，人工智能技術(shù)已經(jīng)滲透到生活的各個(gè)領(lǐng)域當(dāng)中。那么，在AI技術(shù)實(shí)際落地的過(guò)程中，會(huì)遇到什么樣的瓶頸？基于深度學(xué)習(xí)的框架這么多，企業(yè)該如何選擇最適合自己的那一條道兒？

[[215185]]

12月9日UCloud收官戰(zhàn)，聚焦AI技術(shù)的落地實(shí)踐，通過(guò)高可用的異構(gòu)AI計(jì)算平臺(tái)構(gòu)建過(guò)程、如何流程化地生產(chǎn)和發(fā)布AI產(chǎn)品、及深度學(xué)習(xí)性能優(yōu)化工具和實(shí)現(xiàn)等內(nèi)容分享，為開(kāi)發(fā)者在快速落地AI應(yīng)用和產(chǎn)品上提供了一些可用的方法和途徑。

美團(tuán)丁雪濤：美團(tuán)配送智能網(wǎng)絡(luò)規(guī)劃系統(tǒng)

美團(tuán)配送已承擔(dān)日千萬(wàn)級(jí)單量的配送，為上百萬(wàn)商家和千萬(wàn)級(jí)用戶提供服務(wù)。這其中如何建立配送網(wǎng)絡(luò)的規(guī)劃工具和規(guī)劃策略至關(guān)重要，不過(guò)，僅僅依靠人工來(lái)對(duì)百萬(wàn)級(jí)別的網(wǎng)絡(luò)進(jìn)行調(diào)整，不但效率低成本高，而且標(biāo)準(zhǔn)不一。來(lái)自美團(tuán)的資深技術(shù)專(zhuān)家丁雪濤，就美團(tuán)配送網(wǎng)絡(luò)的總體設(shè)計(jì)和規(guī)劃、商家配送范圍的策略和算法演進(jìn)、區(qū)域規(guī)劃的策略等內(nèi)容展開(kāi)了深入分享。

[[215186]]

美團(tuán)的整個(gè)配送網(wǎng)絡(luò)整體設(shè)計(jì)包括三個(gè)核心概念：取件范圍、送件范圍以及配送范圍。取件范圍表示加盟商的勢(shì)力范圍，每一個(gè)商家對(duì)應(yīng)一個(gè)獨(dú)立的配送團(tuán)隊(duì)，勢(shì)力范圍即配送小哥能夠?yàn)槟男┑胤饺〖?送件范圍的目的是為配送團(tuán)隊(duì)規(guī)劃一個(gè)整體可以到達(dá)用戶的地；配送范圍是指商家的配送范圍，只有在這個(gè)配送范圍內(nèi)的用戶才可以看到這樣一個(gè)商家。

那么，美團(tuán)怎樣規(guī)劃取件范圍和配送范圍呢？在取件范圍的規(guī)劃上，美團(tuán)以效率、體驗(yàn)和公平為基準(zhǔn)點(diǎn)，制定了生成劃分方案。即基于聚類(lèi)和多目標(biāo)優(yōu)化，來(lái)生成候選劃分方案，通過(guò)迭代反饋，將生成的候選方案輸入到仿真系統(tǒng)，通過(guò)真實(shí)歷史訂單騎手配置來(lái)模擬配送過(guò)程，得出效率和體驗(yàn)評(píng)估報(bào)告。

在配送范圍的規(guī)劃上，美團(tuán)首先將配送場(chǎng)景劃分為常規(guī)配送范圍、惡劣天氣范圍、閑時(shí)配送范圍、新商家范圍等等，通過(guò)block決策、導(dǎo)航路線畫(huà)圖、中間指標(biāo)、商家推薦、機(jī)器學(xué)習(xí)預(yù)估多種技術(shù)手段，分析出不同場(chǎng)景下最優(yōu)的配送范圍。

UCloud 宋翔：構(gòu)建商用AI平臺(tái)的挑戰(zhàn)與思考

隨后，UCloud 高級(jí)研發(fā)工程師宋翔，結(jié)合UCloud在AI PaaS產(chǎn)品研發(fā)過(guò)程中遇到的問(wèn)題，以及AI平臺(tái)構(gòu)建過(guò)程中的挑戰(zhàn)與解決方案，為現(xiàn)場(chǎng)參會(huì)者深入講解了如何構(gòu)建一個(gè)高可用的異構(gòu)AI計(jì)算平臺(tái)。

[[215187]]

宋翔表示，目前業(yè)界主流的AI算法和框架非常多，算法包括VCG、LSTM、RestNet、Fast-RCNN等等，而框架又有TensorFlow、Keras、Caffe、MXNet等，其組合種類(lèi)更加讓人眼花繚亂。那么，如何在繁雜的組合里選擇合適的算法和框架？宋翔分享了AI平臺(tái)構(gòu)建需要考慮的五大要素：算法兼容性、平臺(tái)擴(kuò)展性、集群化、縱向拓展、易用性，用戶可以以這五大要素為基準(zhǔn)點(diǎn)，根據(jù)平臺(tái)構(gòu)建的目的來(lái)搭配最適合的算法和框架。

基于以上五大要素，UCloud構(gòu)建了自有的AI基礎(chǔ)平臺(tái)，里面包含AI訓(xùn)練和AI在線服務(wù)兩大核心功能。如下圖所示，最上層是訓(xùn)練日志和TensorBoard框架，下面接著就是圖形化界面，這里面主要是完成一些基本的部署操作，右側(cè)是Python SDK接口，接入層下面即為平臺(tái)核心的AI Train和AI Service，最底層封裝了所有的硬件和存儲(chǔ)接入。這個(gè)平臺(tái)看起來(lái)雖然簡(jiǎn)單，但基本上包含了AI商用平臺(tái)的常用功能和接口，可以說(shuō)是麻雀雖小，五臟俱全。

談起AI平臺(tái)的實(shí)現(xiàn)過(guò)程，宋翔表示，AI框架的構(gòu)建最重要的兩點(diǎn)就是保障平臺(tái)的兼容性和可靠性。在兼容性上，UCloud采用了容器封裝和數(shù)據(jù)接入兩種方法實(shí)現(xiàn)環(huán)境的分離 ，將不同功能的AI框架、依賴環(huán)境、硬件設(shè)備、存儲(chǔ)分隔開(kāi)來(lái)，讓不同的模塊實(shí)現(xiàn)不同的功能?？煽啃缘膶?shí)現(xiàn)上，UCloud主要采用負(fù)載均衡、請(qǐng)求調(diào)度算法優(yōu)化、性能監(jiān)控以及高可用的部署等方式，完成全局的彈性擴(kuò)容。

值得一提的是，UCloud在GitHub開(kāi)源了自身基于AI基礎(chǔ)平臺(tái)的公共鏡像庫(kù)和SDK，用戶可以通過(guò)開(kāi)源的SDK，將UCloud開(kāi)源的鏡像庫(kù)打包成自身可以應(yīng)用的鏡像，開(kāi)發(fā)者可以在本地鏡像使用，也可以放在UCloud的在線服務(wù)或者說(shuō)訓(xùn)練的平臺(tái)，這些都是完全兼容的。感興趣的同學(xué)也可以訪問(wèn)鏈接 https://github.com/ucloud/uai-sdk/，進(jìn)行深入了解和演練。

UCloud范融：如何輕裝上陣玩轉(zhuǎn)AI

在產(chǎn)品化AI服務(wù)的過(guò)程中，普遍都會(huì)遇到基礎(chǔ)資源管理、使用、封裝等等問(wèn)題，如何提升AI產(chǎn)品研發(fā)效率，簡(jiǎn)化非核心業(yè)務(wù)的研發(fā)流程是各個(gè)公司最關(guān)心的問(wèn)題之一。來(lái)自UCloud高級(jí)研發(fā)工程師范融，現(xiàn)場(chǎng)結(jié)合動(dòng)手實(shí)踐，詳細(xì)分享了如何流程化地生產(chǎn)和發(fā)布AI產(chǎn)品，節(jié)省開(kāi)發(fā)時(shí)間和成本。

本地開(kāi)發(fā)AI之前，開(kāi)發(fā)者需要提前配置基礎(chǔ)的環(huán)境，包括CPU、GPU的支持，以及深度學(xué)習(xí)框架準(zhǔn)備和科學(xué)計(jì)算庫(kù)的加載等，基礎(chǔ)環(huán)境配置完成之后，即可進(jìn)行開(kāi)發(fā)工作。下圖為UCloud AI本地開(kāi)發(fā)的整個(gè)過(guò)程，下層是基礎(chǔ)環(huán)境的配置，上面白框是應(yīng)用代碼部分，這部分主要解決兩個(gè)的問(wèn)題，一個(gè)是數(shù)據(jù)的訓(xùn)練，一個(gè)是數(shù)據(jù)的預(yù)測(cè)。一般來(lái)說(shuō)預(yù)測(cè)網(wǎng)絡(luò)和訓(xùn)練網(wǎng)絡(luò)是類(lèi)似的，如果預(yù)測(cè)模型和預(yù)測(cè)程序不止在本地運(yùn)行，則需要加一個(gè)Web服務(wù)框架。

為了簡(jiǎn)化應(yīng)用代碼的部署和構(gòu)建過(guò)程，UCloud提供了一些開(kāi)源的工具和框架（上圖藍(lán)色框架的所有內(nèi)容），包括輔助工具里面的代碼打包和自動(dòng)部署工具，開(kāi)發(fā)者也可以在UCloud提供的SDK里面免費(fèi)下載使用，省去許多部署煩惱。

AI本地訓(xùn)練雖然安全性比較高，但在資源申請(qǐng)和迭代開(kāi)發(fā)方面具有一定的局限性，例如資源擴(kuò)容較慢，多任務(wù)穿行是等待時(shí)間較長(zhǎng)，調(diào)參困難等。范融認(rèn)為，合理的將部分AI Train放在云端實(shí)現(xiàn)，可以有效的完成云端資源的按需申請(qǐng)、多任務(wù)并行處理以及任務(wù)參數(shù)記錄等工作。在數(shù)據(jù)的上云實(shí)踐方面，UCloud提供了比較完善的工具和方法，用戶只需通過(guò)代碼改寫(xiě)、打包鏡像、上傳訓(xùn)練數(shù)據(jù)以及啟動(dòng)任務(wù)四個(gè)步驟即可輕松上云。

Intel何普江：深度學(xué)習(xí)性能優(yōu)化工具及實(shí)踐

UCloud的兩位講師分享了AI落地實(shí)踐的一些平臺(tái)構(gòu)建思路和方法，來(lái)自Intel何普江，則現(xiàn)場(chǎng)分享了基于深度學(xué)習(xí)的性能優(yōu)化工具和實(shí)踐經(jīng)驗(yàn)，包括在高性能計(jì)算庫(kù)（MKL和MKL-DNN）和框架（Intel發(fā)行版Caffe）的使用、注意事項(xiàng)和一些經(jīng)驗(yàn)，以及基于CPU的高效的RNN設(shè)計(jì)實(shí)現(xiàn)過(guò)程。

[[215188]]

Intel數(shù)學(xué)核心函數(shù)庫(kù)（MKL）是一套高度優(yōu)化、線程安全的數(shù)學(xué)例程、函數(shù)，能加速機(jī)器學(xué)習(xí)、科學(xué)研究、工程、財(cái)務(wù)和設(shè)計(jì)等領(lǐng)域的數(shù)學(xué)處理，并提供了稠密及稀疏線性代數(shù) (BLAS, LAPACK, PARDISO), FFTs, Vector Math, Summary Statistics 等支持，具有標(biāo)準(zhǔn)的API以及高度優(yōu)化的特點(diǎn)，最大限度發(fā)揮多核心和 SIMD指令的優(yōu)勢(shì)。

與MKL不同的是，MKL-DNN是一個(gè)開(kāi)源的深度學(xué)習(xí)框架。下圖為使用Intel MKL-DNN進(jìn)行推理的過(guò)程，有兩種方式可以實(shí)現(xiàn)這個(gè)過(guò)程，一種是訓(xùn)練好的模型，直接進(jìn)入模型轉(zhuǎn)換器，然后再用topo.txt（網(wǎng)絡(luò)拓?fù)洌┥蒊nference.cpp（基于MKL-DNN的Inference代碼，在初始化的時(shí)候會(huì)加載weights.bin），這套邏輯需要用到Intel自身的網(wǎng)絡(luò)拓?fù)淠Ｐ偷闹虚g表示形式。另外一種方式是待topo.txt生成后，再用簡(jiǎn)單的代碼轉(zhuǎn)換器，實(shí)現(xiàn)輕量級(jí)的InferenceFramework.cpp（輕量級(jí)Inference框架，可以解析topo.txt并加載weights.bin）。

Caffe是一個(gè)清晰、可讀性高、快速的深度學(xué)習(xí)框架，Intel發(fā)行版的Caffe同樣也是開(kāi)源框架，它基于BAIR/BVLC Caffe改進(jìn)而來(lái)，Intel在BAIR/BVLC Caffe的基礎(chǔ)上添加了流行檢測(cè)網(wǎng)絡(luò)的支持（如SSD），同時(shí)，也支持多節(jié)點(diǎn)訓(xùn)練以及CAFFE、MKL2017和MKLDNN三種引擎。在RNN的優(yōu)化上，何普江介紹到，Intel主要對(duì)高效的GEMM實(shí)現(xiàn)、一些小操作的合并、并行化元素級(jí)操作、合理的數(shù)據(jù)排布以及低精度表示上進(jìn)行了系列改進(jìn)實(shí)踐，優(yōu)化之后的CPU性能基本上可以比GPU高甚至高出不少。

寫(xiě)在最后

這次分享從平臺(tái)、方法和工具等不同角度，全面詮釋和講解了開(kāi)發(fā)者該如何從0開(kāi)始快速落地AI產(chǎn)品。雖然目前人工智能技術(shù)整體都還處在探索階段，不過(guò)相信大家定能從這次分享中吸取精華，有所收獲，在并將其應(yīng)用在未來(lái)的開(kāi)發(fā)者之路上。UCan下午茶2017系列沙龍，在走過(guò)了北京、上海、深圳、廣州等一系列城市后，于美麗的杭州湖畔完美收官。