從PyTorch到Mxnet ，對(duì)比這些Python深度學(xué)習(xí)框架。選擇什么深度學(xué)習(xí)框架一直是開發(fā)者非常關(guān)心的一個(gè)話題，而且深度學(xué)習(xí)框架之間的「戰(zhàn)爭(zhēng)」也越來越激烈。隨著 Python 逐漸成為機(jī)器學(xué)習(xí)社區(qū)***的語言，支持 Python 的深度學(xué)習(xí)框架的性能也值得關(guān)注。Indico Data Solutions 的 CTO Madison May 根據(jù)他們公司在產(chǎn)品和開發(fā)過程中的經(jīng)驗(yàn)對(duì) Python 深度學(xué)習(xí)框架進(jìn)行了對(duì)比，希望這篇文章能對(duì)讀者有所幫助。

[[258848]]

Python 深度學(xué)習(xí)生態(tài)系統(tǒng)在這幾年中的演變實(shí)屬驚艷。pylearn2，已經(jīng)不再被積極地開發(fā)或者維護(hù)，大量的深度學(xué)習(xí)庫開始接替它的位置。這些庫每一個(gè)都各有千秋。我們已經(jīng)在 indico 的產(chǎn)品或者開發(fā)中使用了以下列表中的大部分的技術(shù)，但是對(duì)于剩下一些我們沒有使用的，我將會(huì)借鑒他人的經(jīng)驗(yàn)來幫助給出 Python 深度學(xué)習(xí)生態(tài)系統(tǒng)的清晰的、詳盡的理解。

確切地說，我們將會(huì)關(guān)注：

Theano

Lasagne

Blocks

TensorFlow

Keras

MXNet

PyTorch

下面是對(duì)這 7 大 Python 深度學(xué)習(xí)框架的描述以及優(yōu)缺點(diǎn)的介紹。

Theano

描述：Theano 是一個(gè) Python 庫，允許你定義、優(yōu)化并且有效地評(píng)估涉及到多維數(shù)組的數(shù)學(xué)表達(dá)式。它與 GPUs 一起工作并且在符號(hào)微分方面表現(xiàn)優(yōu)秀。

概述：Theano 是數(shù)值計(jì)算的主力，它支持了許多我們列表當(dāng)中的其他的深度學(xué)習(xí)框架。Theano 由 Frédéric Bastien 創(chuàng)建，這是蒙特利爾大學(xué)機(jī)器學(xué)習(xí)研究所(MILA)背后的一個(gè)非常優(yōu)秀的研究團(tuán)隊(duì)。它的 API 水平較低，并且為了寫出效率高的 Theano，你需要對(duì)隱藏在其他框架幕后的算法相當(dāng)?shù)氖煜ぁＨ绻阌兄S富的學(xué)術(shù)機(jī)器學(xué)習(xí)知識(shí)，正在尋找你的模型的精細(xì)的控制方法，或者想要實(shí)現(xiàn)一個(gè)新奇的或者不同尋常的模型，Theano 是你的***庫?？偠灾瑸榱遂`活性，Theano 犧牲了易用性。

優(yōu)點(diǎn)：

靈活

正確使用時(shí)的高性能

缺點(diǎn)：

較高的學(xué)習(xí)難度

低水平的 API

編譯復(fù)雜的符號(hào)圖可能很慢

Lasagne

描述：在 Theano 上建立和訓(xùn)練神經(jīng)網(wǎng)絡(luò)的輕量級(jí)庫

概述：因?yàn)?Theano 致力于成為符號(hào)數(shù)學(xué)中***且***的庫，Lasagne 提供了在 Theano 頂部的抽象，這使得它更適合于深度學(xué)習(xí)。它主要由當(dāng)前 DeepMind 研究科學(xué)家 Sander Dieleman 編寫并維護(hù)。Lasagne 并非是根據(jù)符號(hào)變量之間的函數(shù)關(guān)系來指定網(wǎng)絡(luò)模型，而是允許用戶在層級(jí)思考，為用戶提供了例如「Conv2DLayer」和「DropoutLayer」的構(gòu)建塊。Lasagne 在犧牲了很少的靈活性的同時(shí)，提供了豐富的公共組件來幫助圖層定義、圖層初始化、模型正則化、模型監(jiān)控和模型訓(xùn)練。

優(yōu)點(diǎn)：

仍舊非常靈活

比 Theano 更高級(jí)的抽象

文檔和代碼中包含了各種 Pasta Puns

缺點(diǎn)：

社區(qū)小

Blocks

描述：用于構(gòu)建和訓(xùn)練神經(jīng)網(wǎng)絡(luò)的 Theano 框架

概述：與 Lasagne 類似，Blocks 是在 Theano 頂部添加一個(gè)抽象層使深度學(xué)習(xí)模型比編寫原始的 Theano 更清晰、更簡(jiǎn)單、定義更加標(biāo)準(zhǔn)化。它是由蒙特利爾大學(xué)機(jī)器學(xué)習(xí)研究所(MILA)編寫，其中一些人為搭建 Theano 和***個(gè)神經(jīng)網(wǎng)絡(luò)定義的高級(jí)接口(已經(jīng)淘汰的 PyLearn2)貢獻(xiàn)了自己的一份力量。比起 Lasagne，Blocks 靈活一點(diǎn)，代價(jià)是入門臺(tái)階較高，想要高效的使用它有不小的難度。除此之外，Blocks 對(duì)遞歸神經(jīng)網(wǎng)絡(luò)架構(gòu)(recurrent neural network architectures)有很好的支持，所以如果你有興趣探索這種類型的模型，它值得一看。除了 TensorFlow，對(duì)于許多我們已經(jīng)部署在 indico 產(chǎn)品中的 API，Blocks 是其***庫。

優(yōu)點(diǎn)：

仍舊非常靈活

比 Theano 更高級(jí)的抽象

易于測(cè)試

缺點(diǎn)：

較高的學(xué)習(xí)難度

更小的社區(qū)

TensorFlow

描述：用于數(shù)值計(jì)算的使用數(shù)據(jù)流圖的開源軟件庫

概述：TensorFlow 是較低級(jí)別的符號(hào)庫(比如 Theano)和較高級(jí)別的網(wǎng)絡(luò)規(guī)范庫(比如 Blocks 和 Lasagne)的混合。即使它是 Python 深度學(xué)習(xí)庫集合的***成員，在 Google Brain 團(tuán)隊(duì)支持下，它可能已經(jīng)是***的活躍社區(qū)了。它支持在多 GPUs 上運(yùn)行深度學(xué)習(xí)模型，為高效的數(shù)據(jù)流水線提供使用程序，并具有用于模型的檢查，可視化和序列化的內(nèi)置模塊。最近，TensorFlow 團(tuán)隊(duì)決定支持 Keras(我們列表中下一個(gè)深度學(xué)習(xí)庫)。雖然 TensorFlow 有著自己的缺點(diǎn)，但是社區(qū)似乎同意這一決定，社區(qū)的龐大規(guī)模和項(xiàng)目背后巨大的動(dòng)力意味著學(xué)習(xí) TensorFlow 是一次安全的賭注。因此，TensorFlow 是我們今天在 indico 選擇的深度學(xué)習(xí)庫。

優(yōu)點(diǎn)：

由軟件巨頭 Google 支持

非常大的社區(qū)

低級(jí)和高級(jí)接口網(wǎng)絡(luò)訓(xùn)練

比基于 Theano 配置更快的模型編譯

完全地多 GPU 支持

缺點(diǎn)：

雖然 Tensorflow 正在追趕，但是最初在許多基準(zhǔn)上比基于 Theano 的慢。

RNN 支持仍不如 Theano

Keras

描述：Python 的深度學(xué)習(xí)庫。支持 Convnets、遞歸神經(jīng)網(wǎng)絡(luò)等。在 Theano 或者 TensorFlow 上運(yùn)行。

概述：Keras 也許是水平***，對(duì)用戶最友好的庫了。由 Francis Chollet(Google Brain 團(tuán)隊(duì)中的另一個(gè)成員)編寫和維護(hù)。它允許用戶選擇其所構(gòu)建的模型是在 Theano 上或是在 TensorFlow 上的符號(hào)圖上執(zhí)行。Keras 的用戶界面受啟發(fā)于 Torch，所以如果你以前有過使用 Lua 語言的機(jī)器學(xué)習(xí)經(jīng)驗(yàn)，Keras 絕對(duì)值得一看。由于部分非常優(yōu)秀的文檔和其相對(duì)易用性，Keras 的社區(qū)非常大并且非?；钴S。最近，TensorFlow 團(tuán)隊(duì)宣布計(jì)劃與 Keras 一起支持內(nèi)置，所以很快 Keras 將是 TensorFlow 項(xiàng)目的一個(gè)分組。

優(yōu)點(diǎn)：

可供選擇的 Theano 或者 TensorFlow 后端

直觀、高級(jí)別的端口

更易學(xué)習(xí)

缺點(diǎn)：

不太靈活，比其他選擇更規(guī)范

MXNet

描述：MXNet 是一個(gè)旨在提高效率和靈活性的深度學(xué)習(xí)框架。

概述：MXNet 是亞馬遜(Amazon)選擇的深度學(xué)習(xí)庫，并且也許是***秀的庫。它擁有類似于 Theano 和 TensorFlow 的數(shù)據(jù)流圖，為多 GPU 配置提供了良好的配置，有著類似于 Lasagne 和 Blocks 更高級(jí)別的模型構(gòu)建塊，并且可以在你可以想象的任何硬件上運(yùn)行(包括手機(jī))。對(duì) Python 的支持只是其冰山一角—MXNet 同樣提供了對(duì) R、Julia、C++、Scala、Matlab，和 Javascript 的接口。如果你正在尋找***的性能，選擇 MXNet 吧，但是你必須愿意處理與之相對(duì)的一些 MXNet 的怪癖。

優(yōu)點(diǎn)：

速度的標(biāo)桿

非常靈活

缺點(diǎn)：

最小的社區(qū)

比 Theano 更困難的學(xué)習(xí)難度

PyTorch

描述：Python 中的張量(Tensors)和動(dòng)態(tài)神經(jīng)網(wǎng)絡(luò)，有著強(qiáng)大的 GPU 加速。

概述：剛剛放出一段時(shí)間，PyTorch 就已經(jīng)是我們 Python 深度學(xué)習(xí)框架列表中的一個(gè)新的成員了。它是從 Lua 的 Torch 庫到 Python 的松散端口，由于它由 Facebook 的 人工智能研究團(tuán)隊(duì)(Artificial Intelligence Research team (FAIR))支持且因?yàn)樗糜谔幚韯?dòng)態(tài)計(jì)算圖(Theano，TensorFlow 或者其他衍生品沒有的特性，編譯者注：現(xiàn)在 TensorFlow 好像支持動(dòng)態(tài)計(jì)算圖)，它變得非常的有名。PyTorch 在 Python 深度學(xué)習(xí)生態(tài)系統(tǒng)將扮演怎樣的角色還不得而知，但所有的跡象都表明，PyTorch 是我們列表中其他框架的一個(gè)非常棒的選擇。

優(yōu)點(diǎn):

來自 Facebook 組織的支持

完全地對(duì)動(dòng)態(tài)圖的支持

高級(jí)和低級(jí) API 的混合

缺點(diǎn)：

比其他選擇，PyTorch 還不太成熟