本節(jié)將介紹深度學(xué)習(xí)領(lǐng)域中常用的10種深度學(xué)習(xí)框架，包括MindSpore、PaddlePaddle、PyTorch及TensorFlow等。

1.MindSpore

2020年3月28日，華為在2020開發(fā)者大會(huì)上宣布全場(chǎng)景AI計(jì)算框架MindSpore在碼云正式開源，企業(yè)級(jí)AI應(yīng)用開發(fā)者套件ModelArts Pro也在華為云上線。該框架是一款支持端、邊、云獨(dú)立/協(xié)同的統(tǒng)一訓(xùn)練和推理框架。圖3-23展示了MindSpore框架的結(jié)構(gòu)。

圖3-23　MindSpore框架的結(jié)構(gòu)

其API包括Python版本、C++版本及Java版本，MindSpore旨在提升數(shù)據(jù)科學(xué)家和算法工程師的開發(fā)體驗(yàn)，并為Ascend AI處理器提供原生支持及軟硬件協(xié)同優(yōu)化。圖3-24所示即為MindSpore官網(wǎng)。

圖3-24　MindSpore官網(wǎng)

2.MegEngine

2020年3月25日，北京曠視科技有限公司宣布開源其AI生產(chǎn)力平臺(tái)Brain++的核心組件——MegEngine。圖3-25展示了MegEngine的架構(gòu)，它是一個(gè)快速、可擴(kuò)展、易于使用且支持自動(dòng)求導(dǎo)的深度學(xué)習(xí)框架，包括三個(gè)特性——?jiǎng)屿o結(jié)合的訓(xùn)練能力、訓(xùn)練推理一體化及全平臺(tái)高效支持。

圖3-25　MegEngine的架構(gòu)

除此之外，為了方便開發(fā)者遷移并降低學(xué)習(xí)成本，曠視團(tuán)隊(duì)還對(duì)MegEngine框架做了全面升級(jí)，在整個(gè)框架的接口設(shè)計(jì)及接口命令等方面，尊重開發(fā)者在PyTorch機(jī)器學(xué)習(xí)和數(shù)學(xué)計(jì)算的使用習(xí)慣，讓開發(fā)者可以在最短時(shí)間內(nèi)快速上手。MegEngine官網(wǎng)如圖3-26所示。

圖3-26　MegEngine官網(wǎng)

值得一提的是，為了方便開發(fā)者學(xué)習(xí)，曠視團(tuán)隊(duì)還上線了MegStudio在線深度學(xué)習(xí)開發(fā)平臺(tái)，提供數(shù)據(jù)、模型及免費(fèi)的算力服務(wù)，幫助開發(fā)者快速、高效地進(jìn)行深度學(xué)習(xí)開發(fā)。MegStudio官網(wǎng)如圖3-27所示。

圖3-27　MegStudio官網(wǎng)

3.Jittor

2020年3月20日，北京信息科學(xué)與技術(shù)國(guó)家研究中心可視媒體智能計(jì)算團(tuán)隊(duì)宣布開源其深度學(xué)習(xí)框架——Jittor(計(jì)圖)。Jittor官網(wǎng)如圖3-28所示。

圖3-28　Jittor官網(wǎng)

該框架完全基于動(dòng)態(tài)編譯，內(nèi)部使用創(chuàng)新的元算子和統(tǒng)一計(jì)算圖。元算子和NumPy一樣易于使用，并且超越NumPy，能夠?qū)崿F(xiàn)更復(fù)雜更高效的操作。而統(tǒng)一計(jì)算圖則融合了靜態(tài)計(jì)算圖和動(dòng)態(tài)計(jì)算圖的優(yōu)點(diǎn)，在易于使用的同時(shí)，提供了高性能的優(yōu)化。圖3-29展示了Jittor與TensorFlow和PyTorch的特性對(duì)比。

圖3-29　框架比較(圖片來(lái)源：清華大學(xué)官網(wǎng))

4.PaddlePaddle

2018年7月，百度開源了其深度學(xué)習(xí)框架飛槳(PaddlePaddle v0.14)，該版本包含CV、NLP、語(yǔ)音、強(qiáng)化學(xué)習(xí)等模型。經(jīng)過(guò)大約3年的發(fā)展，2021年3月，飛槳2.0正式版發(fā)布，該框架以百度多年的深度學(xué)習(xí)技術(shù)研究和業(yè)務(wù)應(yīng)用為基礎(chǔ)，是中國(guó)首個(gè)自主研發(fā)、功能完備、開源開放的產(chǎn)業(yè)級(jí)深度學(xué)習(xí)平臺(tái)，集深度學(xué)習(xí)核心訓(xùn)練與推理框架、基礎(chǔ)模型庫(kù)、端到端開發(fā)套件和豐富的工具組建于一體，可幫助開發(fā)者快速實(shí)現(xiàn)AI想法，快速上線AI業(yè)務(wù)。值得一提的是，百度還為我們提供了在線深度學(xué)習(xí)平臺(tái)AI Studio。圖3-30所示即為飛槳官網(wǎng)。

圖3-30　飛槳官網(wǎng)

5.NCNN

NCNN 是騰訊優(yōu)圖實(shí)驗(yàn)室的某個(gè)開源項(xiàng)目，是一個(gè)為手機(jī)端優(yōu)化的高性能神經(jīng)網(wǎng)絡(luò)前向計(jì)算框架。該框架從設(shè)計(jì)之初就考慮手機(jī)端的部署和使用，無(wú)第三方依賴，跨平臺(tái)，手機(jī)端CPU的速度快于目前所有已知的開源框架。基于NCNN，開發(fā)者能夠?qū)⑸疃葘W(xué)習(xí)算法輕松移植到手機(jī)端并高效執(zhí)行，開發(fā)出人工智能APP。NCNN目前已在騰訊多款應(yīng)用(如QQ、Qzone、天天P圖、微信等)中使用。圖3-31所示即為騰訊優(yōu)圖官網(wǎng)。

圖3-31　騰訊優(yōu)圖官網(wǎng)

6.Caffe

2013年9月，賈揚(yáng)清在GitHub正式開源Caffe，該框架的英文全稱為Convolutional Architecture For Fast Embedding，它是一個(gè)清晰、高效的深度學(xué)習(xí)框架，核心語(yǔ)言是C++，其代碼和框架都比較簡(jiǎn)單，代碼易于擴(kuò)展，運(yùn)行速度快，也適合深入分析，十分適合初學(xué)者學(xué)習(xí)。

2017年4月18日，Meta(原Facebook)開源了Caffe2，其開發(fā)重點(diǎn)是性能和跨平臺(tái)的部署，而Meta旗下的PyTorch則專注于快速原型設(shè)計(jì)和研究的靈活性。圖3-32所示即為Caffe2官網(wǎng)。

圖3-32　Caffe2官網(wǎng)

7.MXNet

2016年11月，亞馬遜正式開源MXNet。該框架是一個(gè)輕量級(jí)、可移植、靈活的分布式深度學(xué)習(xí)框架，支持CNN、RNN和LSTM模型，為圖像、手寫文字、語(yǔ)音識(shí)別和預(yù)測(cè)及自然語(yǔ)言處理提供了出色的工具，其優(yōu)勢(shì)在于對(duì)分布式的支持和對(duì)內(nèi)存、顯存的優(yōu)化。同樣的深度學(xué)習(xí)模型在MXNet中往往占用較少的內(nèi)存和顯存。MXNet官網(wǎng)如圖3-33所示。

圖3-33　MXNet官網(wǎng)

8.Keras

2015年3月，谷歌正式開源Keras，其最初版本同時(shí)支持CNN和RNN，該框架以TensorFlow、Theano、CNTK作為底層引擎，并將其函數(shù)統(tǒng)一封裝。Keras官網(wǎng)如圖3-34所示。

圖3-34　Keras官網(wǎng)

2017年，Keras成為TensorFlow的默認(rèn)API。至此，谷歌大力主推Keras+TensorFlow的深度學(xué)習(xí)框架，在TensorFlow 2.4.1版本中，Keras已經(jīng)集成到TensorFlow中，并以tf.keras模塊供開發(fā)者使用，如圖3-35所示。

圖3-35　tf.keras模塊

9.PyTorch

2017年1月，Meta人工智能研究院在GitHub上開源了PyTorch深度學(xué)習(xí)框架，Meta用Python重寫了基于Lua語(yǔ)言的深度學(xué)習(xí)庫(kù)Torch，并繼承了其靈活、動(dòng)態(tài)的編程環(huán)境和友好的界面，支持以快速和靈活的方式構(gòu)建動(dòng)態(tài)神經(jīng)網(wǎng)絡(luò)，還允許在訓(xùn)練過(guò)程中快速更改代碼而不妨礙其性能，還在此基礎(chǔ)上新增了自動(dòng)求導(dǎo)系統(tǒng)，使其成為流行的動(dòng)態(tài)圖框架。

PyTorch重構(gòu)和統(tǒng)一了Caffe2和PyTorch 0.4框架的代碼庫(kù)，刪除了重復(fù)的組件并共享上層抽象，支持高效的圖模式執(zhí)行、移動(dòng)端部署和廣泛的供應(yīng)商集成等，同時(shí)具有PyTorch和Caffe2的優(yōu)勢(shì)。PyTorch官網(wǎng)如圖3-36所示。

圖3-36　PyTorch官網(wǎng)

10.TensorFlow

2015年11月，谷歌正式開源TensorFlow。該框架由谷歌大腦團(tuán)隊(duì)開發(fā)，是一款用于機(jī)器學(xué)習(xí)的端到端開源平臺(tái)，它擁有一個(gè)全面而靈活的生態(tài)系統(tǒng)。其中包含各種工具、庫(kù)和社區(qū)資源，可以幫助開發(fā)者輕松地構(gòu)建和部署由機(jī)器學(xué)習(xí)提供支持的應(yīng)用。該框架具有如下3個(gè)顯著的特點(diǎn)。

輕松構(gòu)建模型：在即時(shí)執(zhí)行環(huán)境中使用Keras等直觀的高階API輕松地構(gòu)建和訓(xùn)練機(jī)器學(xué)習(xí)模型，該環(huán)境使我們能夠快速迭代模型并輕松地調(diào)試模型。

隨時(shí)隨地進(jìn)行可靠的機(jī)器學(xué)習(xí)生產(chǎn)：無(wú)論使用哪種語(yǔ)言，開發(fā)人員都可以在云端、本地、瀏覽器或設(shè)備上輕松地訓(xùn)練和部署模型。

強(qiáng)大的研究試驗(yàn)：快速地將概念轉(zhuǎn)換成代碼，然后創(chuàng)建出先進(jìn)的模型，并最終對(duì)外發(fā)布。

目前，TensorFlow是所有深度學(xué)習(xí)框架中生態(tài)最完整的框架之一，它由C++語(yǔ)言開發(fā)，支持Python、JavaScript、C++、Java、Swift、R等語(yǔ)言的調(diào)用。圖3-37所示即為TensorFlow官網(wǎng)。

圖3-37　TensorFlow官網(wǎng)