華為全場(chǎng)景 AI 計(jì)算框架MindSpore開(kāi)源!
華為Mindspore AI計(jì)算框架正式開(kāi)源,標(biāo)志著華為向自己的AI夢(mèng)想,邁出了新的一步,而深度學(xué)習(xí)開(kāi)源領(lǐng)域,又迎來(lái)了一位重量級(jí)的玩家。全場(chǎng)景適用、端云邊協(xié)同、低門檻開(kāi)發(fā)、高效分布式并行計(jì)算,MindSpore將為AI領(lǐng)域帶來(lái)一場(chǎng)怎樣的革命?
一家做硬件起家的公司,進(jìn)入AI領(lǐng)域后也是專撿硬骨頭啃。
起初,他們?cè)煨?,一做就?0年,一投就是4000億,誕生了天罡、麒麟、昇騰等我們耳熟能詳?shù)男酒?/p>
如今,他們做AI框架,想要降低AI開(kāi)發(fā)門檻,讓開(kāi)發(fā)者可以輕松的移植代碼,并實(shí)現(xiàn)全場(chǎng)景按需協(xié)同。
這背后,只為了一個(gè)目的:萬(wàn)物互聯(lián)。
是的,這家公司就是華為。
距離2018年10月10日華為輪值董事長(zhǎng)徐直軍在華為全連接大會(huì)上公布MindSpore,已經(jīng)一年多了。
一年多前,華為讓大家知道,在AI框架江湖將出現(xiàn)一個(gè)后起之秀;一年多后的今天,華為MindSpore首席科學(xué)家陳雷宣布,國(guó)內(nèi)首個(gè)全場(chǎng)景AI計(jì)算框架MindSpore正式開(kāi)源!
如此好用的框架將于4月份正式開(kāi)始公測(cè),到時(shí)開(kāi)發(fā)者就可以親身體驗(yàn)了。
MindSpore降世:為華為在2萬(wàn)億美元大藍(lán)海中保駕護(hù)航
華為副董事長(zhǎng)胡厚崑曾經(jīng)在華為全連接大會(huì)上表示:“我們面臨的是一個(gè)2萬(wàn)億美元的計(jì)算產(chǎn)業(yè)大藍(lán)海。”
目前華為已經(jīng)有了在這片巨大的藍(lán)海中遠(yuǎn)航的硬件基礎(chǔ),那么接下來(lái)就要在軟件上跟進(jìn)。
然而,海上風(fēng)浪大。
第一股風(fēng)浪,就是技術(shù)戰(zhàn)和貿(mào)易戰(zhàn),因此華為必須擁有自主可控的全場(chǎng)景計(jì)算框架來(lái)抵御這股足以掀翻整艘大船的風(fēng)浪。
第二股風(fēng)浪,是目前計(jì)算框架存在開(kāi)發(fā)門檻高、運(yùn)行成本高、部署難度大等等亟待解決的問(wèn)題。
作為華為支持端、邊、云全場(chǎng)景的開(kāi)源深度學(xué)習(xí)訓(xùn)練推理框架,MindSpore一出生就承擔(dān)著這個(gè)年紀(jì)不該有的重大使命。

往小處說(shuō),MindSpore當(dāng)前主要應(yīng)用于計(jì)算機(jī)視覺(jué)、自然語(yǔ)言處理等AI領(lǐng)域,能夠?yàn)閿?shù)據(jù)科學(xué)家和算法工程師提供設(shè)計(jì)友好、運(yùn)行高效的開(kāi)發(fā)體驗(yàn),同時(shí)解決了昇騰AI處理器原生支持及軟硬件協(xié)同優(yōu)化的問(wèn)題。
往大處說(shuō),它的戰(zhàn)略意義在于構(gòu)筑面向全球的人工智能開(kāi)源社區(qū),推動(dòng)人工智能軟硬件應(yīng)用生態(tài)繁榮發(fā)展。

強(qiáng)大的核心特性,助力高效實(shí)戰(zhàn)開(kāi)發(fā)
開(kāi)發(fā)者只需要掌握張量(Tensor)、算子(Operator)、單元(Cell)以及模型(Model)這4個(gè)基本概念及Python編程基礎(chǔ),即可利用MindSpore提供的高級(jí)API進(jìn)行實(shí)戰(zhàn)開(kāi)發(fā)。
陳雷介紹了Mindspore的關(guān)鍵特性路標(biāo)的變化,并且承諾會(huì)不斷根據(jù)開(kāi)發(fā)者的需求,對(duì)Mindspore進(jìn)行改進(jìn),力求滿足開(kāi)發(fā)者最關(guān)心、最核心的需求。

接下來(lái)我們看下MindSpore的核心特性。
自動(dòng)微分
當(dāng)前主流的深度學(xué)習(xí)框架主要有三種自動(dòng)微分技術(shù):網(wǎng)絡(luò)在編譯時(shí)轉(zhuǎn)換為靜態(tài)數(shù)據(jù)流圖(TensorFlow),在靜態(tài)圖上做自動(dòng)微分;以記錄操作符重載的方式,動(dòng)態(tài)生成數(shù)據(jù)流圖(PyTorch),在動(dòng)態(tài)圖上自動(dòng)微分。
而 MindSpore 采用基于源碼轉(zhuǎn)換的通用自動(dòng)微分:以即時(shí)編譯(JIT)的方式在中間表達(dá)(編譯過(guò)程中程序的表達(dá)形式)上做自動(dòng)微分變換,支持while/if/for等復(fù)雜的控制流結(jié)構(gòu)、支持高階函數(shù)和閉包等靈活的函數(shù)式編程方式。
自動(dòng)并行
MindSpore自動(dòng)并行能夠用串行算法代碼,自動(dòng)實(shí)現(xiàn)分布式并行訓(xùn)練,并且保持高性能。分布式并行訓(xùn)練的范式有數(shù)據(jù)并行和模型并行,以及由這兩種范式組合出來(lái)的混合并行。
MindSpore自動(dòng)并行采用了一種全新的分布式并行訓(xùn)練模式,融合了數(shù)據(jù)并行、模型并行和混合并行。
高效數(shù)據(jù)處理
MindSpore中的MindData負(fù)責(zé)完成訓(xùn)練過(guò)程中數(shù)據(jù)的pipeline處理,包括數(shù)據(jù)加載、數(shù)據(jù)增強(qiáng)、導(dǎo)入訓(xùn)練,并提供簡(jiǎn)單易用的編程接口和覆蓋CV/NLP等全場(chǎng)景的豐富數(shù)據(jù)處理能力。MindData提供c_transforms模塊和py_transforms模塊,來(lái)進(jìn)行數(shù)據(jù)增強(qiáng),用戶也可以自定義算子來(lái)做數(shù)據(jù)增強(qiáng)。
高效圖執(zhí)行引擎
MindSpore的圖處理操作,縱向看總共分為三層,分別是執(zhí)行控制層、業(yè)務(wù)功能層、數(shù)據(jù)管理層。橫向展開(kāi)分析,可細(xì)分為六大步驟,分別是圖準(zhǔn)備、圖拆分、圖優(yōu)化、圖編譯、圖加載和圖執(zhí)行。通過(guò)上述圖操作,MindSpore圖引擎可以將前端下發(fā)的圖轉(zhuǎn)換為一種可以在昇騰硬件上高效運(yùn)行的圖模式。
深度優(yōu)化的模型集市
MindSpore計(jì)劃2020年Q4提供超過(guò)30+的深度優(yōu)化模型,可供開(kāi)發(fā)者直接使用。

此外,MindSpore還提供了可視化工具,可以對(duì)單次訓(xùn)練可視化以及多次訓(xùn)練的模型溯源,幫助開(kāi)發(fā)者快速發(fā)現(xiàn)模型訓(xùn)練過(guò)程的問(wèn)題。
先進(jìn)的設(shè)計(jì)理念,低門檻分布式全場(chǎng)景
MindSpore的推出,是基于華為對(duì)行業(yè)痛點(diǎn)的深刻洞察,即AI研究與應(yīng)用之間存在巨大的鴻溝。
為了跨越這個(gè)鴻溝,MindSpore提出了三大設(shè)計(jì)理念。
新編程范式
基于數(shù)學(xué)原生表達(dá)的AI編程新范式,讓開(kāi)發(fā)者可以聚焦AI創(chuàng)新和探索,一行代碼實(shí)現(xiàn)自動(dòng)搜索并行策略,無(wú)需關(guān)注底層架構(gòu)即可實(shí)現(xiàn)并行。

新執(zhí)行模式
On-Device整圖卸載執(zhí)行,深度圖優(yōu)化,充分發(fā)揮算力。和友商相比,MindSpore上Resnet50圖像分類的訓(xùn)練時(shí)間降低了23%,Bert中文預(yù)訓(xùn)練時(shí)間降低了62%,訓(xùn)練時(shí)間大幅縮短。

全場(chǎng)景按需協(xié)同
MindSpore實(shí)現(xiàn)了一套框架端邊云全場(chǎng)景部署,一次開(kāi)發(fā)多處高效執(zhí)行,開(kāi)發(fā)和部署效率直線上升。

全力服務(wù)好開(kāi)發(fā)者、高校和開(kāi)源社區(qū),制定有針對(duì)性的扶持計(jì)劃
華為深知,開(kāi)發(fā)者、高??蒲小㈤_(kāi)源社區(qū)是整個(gè)生態(tài)中,最關(guān)鍵的角色。針對(duì)三個(gè)不同的群體,華為分別給出了非常具體的定制化扶持計(jì)劃。
針對(duì)開(kāi)發(fā)者,提供:
- 線上免費(fèi)資源
- 全年不少于10場(chǎng)的技術(shù)沙龍
- 舉辦MindSpore開(kāi)發(fā)者大賽
針對(duì)高校,提供:
- 專項(xiàng)創(chuàng)新基金激勵(lì)
- MindSpore教學(xué)扶持
針對(duì)開(kāi)源社區(qū),提供:
- 聘請(qǐng)頂級(jí)專家入駐社區(qū)
- 招募committer參與社區(qū)核心項(xiàng)目
- 歡迎企業(yè)和組織參與社區(qū)建設(shè)

MindSpore初露端倪,前景可期
光說(shuō)不練假把式,MindSpore應(yīng)用前景如何,市場(chǎng)檢驗(yàn)了才知道。
或許你已經(jīng)享受到了MindSpore帶來(lái)的好處,對(duì)此卻毫無(wú)覺(jué)察,比如銷量爆棚的榮耀、NOVA等系列手機(jī),都是MindSpore商用的成功案例。























