本節(jié)將介紹深度學(xué)習(xí)領(lǐng)域中常用的10種深度學(xué)習(xí)框架，包括MindSpore、PaddlePaddle、PyTorch及TensorFlow等。

1.MindSpore

2020年3月28日，華為在2020開發(fā)者大會上宣布全場景AI計算框架MindSpore在碼云正式開源，企業(yè)級AI應(yīng)用開發(fā)者套件ModelArts Pro也在華為云上線。該框架是一款支持端、邊、云獨立/協(xié)同的統(tǒng)一訓(xùn)練和推理框架。圖3-23展示了MindSpore框架的結(jié)構(gòu)。

圖3-23　MindSpore框架的結(jié)構(gòu)

其API包括Python版本、C++版本及Java版本，MindSpore旨在提升數(shù)據(jù)科學(xué)家和算法工程師的開發(fā)體驗，并為Ascend AI處理器提供原生支持及軟硬件協(xié)同優(yōu)化。圖3-24所示即為MindSpore官網(wǎng)。

圖3-24　MindSpore官網(wǎng)

2.MegEngine

2020年3月25日，北京曠視科技有限公司宣布開源其AI生產(chǎn)力平臺Brain++的核心組件——MegEngine。圖3-25展示了MegEngine的架構(gòu)，它是一個快速、可擴展、易于使用且支持自動求導(dǎo)的深度學(xué)習(xí)框架，包括三個特性——動靜結(jié)合的訓(xùn)練能力、訓(xùn)練推理一體化及全平臺高效支持。

圖3-25　MegEngine的架構(gòu)

除此之外，為了方便開發(fā)者遷移并降低學(xué)習(xí)成本，曠視團隊還對MegEngine框架做了全面升級，在整個框架的接口設(shè)計及接口命令等方面，尊重開發(fā)者在PyTorch機器學(xué)習(xí)和數(shù)學(xué)計算的使用習(xí)慣，讓開發(fā)者可以在最短時間內(nèi)快速上手。MegEngine官網(wǎng)如圖3-26所示。

圖3-26　MegEngine官網(wǎng)

值得一提的是，為了方便開發(fā)者學(xué)習(xí)，曠視團隊還上線了MegStudio在線深度學(xué)習(xí)開發(fā)平臺，提供數(shù)據(jù)、模型及免費的算力服務(wù)，幫助開發(fā)者快速、高效地進行深度學(xué)習(xí)開發(fā)。MegStudio官網(wǎng)如圖3-27所示。

圖3-27　MegStudio官網(wǎng)

3.Jittor

2020年3月20日，北京信息科學(xué)與技術(shù)國家研究中心可視媒體智能計算團隊宣布開源其深度學(xué)習(xí)框架——Jittor(計圖)。Jittor官網(wǎng)如圖3-28所示。

圖3-28　Jittor官網(wǎng)

該框架完全基于動態(tài)編譯，內(nèi)部使用創(chuàng)新的元算子和統(tǒng)一計算圖。元算子和NumPy一樣易于使用，并且超越NumPy，能夠?qū)崿F(xiàn)更復(fù)雜更高效的操作。而統(tǒng)一計算圖則融合了靜態(tài)計算圖和動態(tài)計算圖的優(yōu)點，在易于使用的同時，提供了高性能的優(yōu)化。圖3-29展示了Jittor與TensorFlow和PyTorch的特性對比。

圖3-29　框架比較(圖片來源：清華大學(xué)官網(wǎng))

4.PaddlePaddle

2018年7月，百度開源了其深度學(xué)習(xí)框架飛槳(PaddlePaddle v0.14)，該版本包含CV、NLP、語音、強化學(xué)習(xí)等模型。經(jīng)過大約3年的發(fā)展，2021年3月，飛槳2.0正式版發(fā)布，該框架以百度多年的深度學(xué)習(xí)技術(shù)研究和業(yè)務(wù)應(yīng)用為基礎(chǔ)，是中國首個自主研發(fā)、功能完備、開源開放的產(chǎn)業(yè)級深度學(xué)習(xí)平臺，集深度學(xué)習(xí)核心訓(xùn)練與推理框架、基礎(chǔ)模型庫、端到端開發(fā)套件和豐富的工具組建于一體，可幫助開發(fā)者快速實現(xiàn)AI想法，快速上線AI業(yè)務(wù)。值得一提的是，百度還為我們提供了在線深度學(xué)習(xí)平臺AI Studio。圖3-30所示即為飛槳官網(wǎng)。

圖3-30　飛槳官網(wǎng)

5.NCNN

NCNN 是騰訊優(yōu)圖實驗室的某個開源項目，是一個為手機端優(yōu)化的高性能神經(jīng)網(wǎng)絡(luò)前向計算框架。該框架從設(shè)計之初就考慮手機端的部署和使用，無第三方依賴，跨平臺，手機端CPU的速度快于目前所有已知的開源框架?；贜CNN，開發(fā)者能夠?qū)⑸疃葘W(xué)習(xí)算法輕松移植到手機端并高效執(zhí)行，開發(fā)出人工智能APP。NCNN目前已在騰訊多款應(yīng)用(如QQ、Qzone、天天P圖、微信等)中使用。圖3-31所示即為騰訊優(yōu)圖官網(wǎng)。

圖3-31　騰訊優(yōu)圖官網(wǎng)

6.Caffe

2013年9月，賈揚清在GitHub正式開源Caffe，該框架的英文全稱為Convolutional Architecture For Fast Embedding，它是一個清晰、高效的深度學(xué)習(xí)框架，核心語言是C++，其代碼和框架都比較簡單，代碼易于擴展，運行速度快，也適合深入分析，十分適合初學(xué)者學(xué)習(xí)。

2017年4月18日，Meta(原Facebook)開源了Caffe2，其開發(fā)重點是性能和跨平臺的部署，而Meta旗下的PyTorch則專注于快速原型設(shè)計和研究的靈活性。圖3-32所示即為Caffe2官網(wǎng)。

圖3-32　Caffe2官網(wǎng)

7.MXNet

2016年11月，亞馬遜正式開源MXNet。該框架是一個輕量級、可移植、靈活的分布式深度學(xué)習(xí)框架，支持CNN、RNN和LSTM模型，為圖像、手寫文字、語音識別和預(yù)測及自然語言處理提供了出色的工具，其優(yōu)勢在于對分布式的支持和對內(nèi)存、顯存的優(yōu)化。同樣的深度學(xué)習(xí)模型在MXNet中往往占用較少的內(nèi)存和顯存。MXNet官網(wǎng)如圖3-33所示。

圖3-33　MXNet官網(wǎng)

8.Keras

2015年3月，谷歌正式開源Keras，其最初版本同時支持CNN和RNN，該框架以TensorFlow、Theano、CNTK作為底層引擎，并將其函數(shù)統(tǒng)一封裝。Keras官網(wǎng)如圖3-34所示。

圖3-34　Keras官網(wǎng)

2017年，Keras成為TensorFlow的默認API。至此，谷歌大力主推Keras+TensorFlow的深度學(xué)習(xí)框架，在TensorFlow 2.4.1版本中，Keras已經(jīng)集成到TensorFlow中，并以tf.keras模塊供開發(fā)者使用，如圖3-35所示。

圖3-35　tf.keras模塊

9.PyTorch

2017年1月，Meta人工智能研究院在GitHub上開源了PyTorch深度學(xué)習(xí)框架，Meta用Python重寫了基于Lua語言的深度學(xué)習(xí)庫Torch，并繼承了其靈活、動態(tài)的編程環(huán)境和友好的界面，支持以快速和靈活的方式構(gòu)建動態(tài)神經(jīng)網(wǎng)絡(luò)，還允許在訓(xùn)練過程中快速更改代碼而不妨礙其性能，還在此基礎(chǔ)上新增了自動求導(dǎo)系統(tǒng)，使其成為流行的動態(tài)圖框架。

PyTorch重構(gòu)和統(tǒng)一了Caffe2和PyTorch 0.4框架的代碼庫，刪除了重復(fù)的組件并共享上層抽象，支持高效的圖模式執(zhí)行、移動端部署和廣泛的供應(yīng)商集成等，同時具有PyTorch和Caffe2的優(yōu)勢。PyTorch官網(wǎng)如圖3-36所示。

圖3-36　PyTorch官網(wǎng)

10.TensorFlow

2015年11月，谷歌正式開源TensorFlow。該框架由谷歌大腦團隊開發(fā)，是一款用于機器學(xué)習(xí)的端到端開源平臺，它擁有一個全面而靈活的生態(tài)系統(tǒng)。其中包含各種工具、庫和社區(qū)資源，可以幫助開發(fā)者輕松地構(gòu)建和部署由機器學(xué)習(xí)提供支持的應(yīng)用。該框架具有如下3個顯著的特點。

輕松構(gòu)建模型：在即時執(zhí)行環(huán)境中使用Keras等直觀的高階API輕松地構(gòu)建和訓(xùn)練機器學(xué)習(xí)模型，該環(huán)境使我們能夠快速迭代模型并輕松地調(diào)試模型。

隨時隨地進行可靠的機器學(xué)習(xí)生產(chǎn)：無論使用哪種語言，開發(fā)人員都可以在云端、本地、瀏覽器或設(shè)備上輕松地訓(xùn)練和部署模型。

強大的研究試驗：快速地將概念轉(zhuǎn)換成代碼，然后創(chuàng)建出先進的模型，并最終對外發(fā)布。

目前，TensorFlow是所有深度學(xué)習(xí)框架中生態(tài)最完整的框架之一，它由C++語言開發(fā)，支持Python、JavaScript、C++、Java、Swift、R等語言的調(diào)用。圖3-37所示即為TensorFlow官網(wǎng)。

圖3-37　TensorFlow官網(wǎng)