從PyTorch到Mxnet ，對(duì)比7大Python深度學(xué)習(xí)框架
最近我無(wú)意間在「Best Python library for neural networks」話題下發(fā)現(xiàn)了一個(gè)我以前的數(shù)據(jù)科學(xué)棧交換(Data Science Stack Exchange)的答案，并且 Python 深度學(xué)習(xí)生態(tài)系統(tǒng)在過(guò)去兩年半中的演變打擊到了我。我在 2014 年 7 月推薦的庫(kù)，pylearn2，已經(jīng)不再被積極地開(kāi)發(fā)或者維護(hù)，大量的深度學(xué)習(xí)庫(kù)開(kāi)始接替它的位置。這些庫(kù)每一個(gè)都各有千秋。我們已經(jīng)在 indico 的產(chǎn)品或者開(kāi)發(fā)中使用了以下列表中的大部分的技術(shù)，但是對(duì)于剩下一些我們沒(méi)有使用的，我將會(huì)借鑒他人的經(jīng)驗(yàn)來(lái)幫助給出 2017 年 Python 深度學(xué)習(xí)生態(tài)系統(tǒng)的清晰的、詳盡的理解。
確切地說(shuō)，我們將會(huì)關(guān)注：
- Theano
- Lasagne
- Blocks
- TensorFlow
- Keras
- MXNet
- PyTorch
下面是對(duì)這 7 大 Python 深度學(xué)習(xí)框架的描述以及優(yōu)缺點(diǎn)的介紹，而且也為每個(gè)框架的使用推薦了一些資源，但因微信不支持外網(wǎng)鏈接，讀者們請(qǐng)點(diǎn)擊閱讀原網(wǎng)址查看資源。
Theano
鏈接：https://github.com/Theano/Theano
描述：Theano 是一個(gè) Python 庫(kù)，允許你定義、優(yōu)化并且有效地評(píng)估涉及到多維數(shù)組的數(shù)學(xué)表達(dá)式。它與 GPUs 一起工作并且在符號(hào)微分方面表現(xiàn)優(yōu)秀。
文檔：http://deeplearning.net/software/theano/
概述：Theano 是數(shù)值計(jì)算的主力，它支持了許多我們列表當(dāng)中的其他的深度學(xué)習(xí)框架。Theano 由 Frédéric Bastien 創(chuàng)建，這是蒙特利爾大學(xué)機(jī)器學(xué)習(xí)研究所(MILA)背后的一個(gè)非常優(yōu)秀的研究團(tuán)隊(duì)。它的 API 水平較低，并且為了寫(xiě)出效率高的 Theano，你需要對(duì)隱藏在其他框架幕后的算法相當(dāng)?shù)氖煜?。如果你有著豐富的學(xué)術(shù)機(jī)器學(xué)習(xí)知識(shí)，正在尋找你的模型的精細(xì)的控制方法，或者想要實(shí)現(xiàn)一個(gè)新奇的或者不同尋常的模型，Theano 是你的***庫(kù)?？偠灾?，為了靈活性，Theano 犧牲了易用性。
優(yōu)點(diǎn)：
- 靈活
- 正確使用時(shí)的高性能
缺點(diǎn)：
- 較高的學(xué)習(xí)難度
- 低水平的 API
- 編譯復(fù)雜的符號(hào)圖可能很慢
Lasagne
鏈接：https://github.com/Lasagne/Lasagne
描述：在 Theano 上建立和訓(xùn)練神經(jīng)網(wǎng)絡(luò)的輕量級(jí)庫(kù)
文檔：http://lasagne.readthedocs.org/
概述：因?yàn)?Theano 致力于成為符號(hào)數(shù)學(xué)中***且***的庫(kù)，Lasagne 提供了在 Theano 頂部的抽象，這使得它更適合于深度學(xué)習(xí)。它主要由當(dāng)前 DeepMind 研究科學(xué)家 Sander Dieleman 編寫(xiě)并維護(hù)。Lasagne 并非是根據(jù)符號(hào)變量之間的函數(shù)關(guān)系來(lái)指定網(wǎng)絡(luò)模型，而是允許用戶在層級(jí)思考，為用戶提供了例如「Conv2DLayer」和「DropoutLayer」的構(gòu)建塊。Lasagne 在犧牲了很少的靈活性的同時(shí)，提供了豐富的公共組件來(lái)幫助圖層定義、圖層初始化、模型正則化、模型監(jiān)控和模型訓(xùn)練。
優(yōu)點(diǎn)：
- 仍舊非常靈活
- 比 Theano 更高級(jí)的抽象
- 文檔和代碼中包含了各種 Pasta Puns
缺點(diǎn)：
- 社區(qū)小
Blocks
鏈接：https://github.com/mila-udem/blocks
描述：用于構(gòu)建和訓(xùn)練神經(jīng)網(wǎng)絡(luò)的 Theano 框架
文檔：http://blocks.readthedocs.io/en/latest/
概述：與 Lasagne 類似，Blocks 是在 Theano 頂部添加一個(gè)抽象層使深度學(xué)習(xí)模型比編寫(xiě)原始的 Theano 更清晰、更簡(jiǎn)單、定義更加標(biāo)準(zhǔn)化。它是由蒙特利爾大學(xué)機(jī)器學(xué)習(xí)研究所(MILA)編寫(xiě)，其中一些人為搭建 Theano 和***個(gè)神經(jīng)網(wǎng)絡(luò)定義的高級(jí)接口(已經(jīng)淘汰的 PyLearn2)貢獻(xiàn)了自己的一份力量。比起 Lasagne，Blocks 靈活一點(diǎn)，代價(jià)是入門臺(tái)階較高，想要高效的使用它有不小的難度。除此之外，Blocks 對(duì)遞歸神經(jīng)網(wǎng)絡(luò)架構(gòu)(recurrent neural network architectures)有很好的支持，所以如果你有興趣探索這種類型的模型，它值得一看。除了 TensorFlow，對(duì)于許多我們已經(jīng)部署在 indico 產(chǎn)品中的 API，Blocks 是其***庫(kù)。
優(yōu)點(diǎn)：
- 仍舊非常靈活
- 比 Theano 更高級(jí)的抽象
- 易于測(cè)試
缺點(diǎn)：
- 較高的學(xué)習(xí)難度
- 更小的社區(qū)
TensorFlow
鏈接：https://github.com/tensorflow/tensorflow
描述：用于數(shù)值計(jì)算的使用數(shù)據(jù)流圖的開(kāi)源軟件庫(kù)
文檔：https://www.tensorflow.org/api_docs/python/
概述：TensorFlow 是較低級(jí)別的符號(hào)庫(kù)(比如 Theano)和較高級(jí)別的網(wǎng)絡(luò)規(guī)范庫(kù)(比如 Blocks 和 Lasagne)的混合。即使它是 Python 深度學(xué)習(xí)庫(kù)集合的***成員，在 Google Brain 團(tuán)隊(duì)支持下，它可能已經(jīng)是***的活躍社區(qū)了。它支持在多 GPUs 上運(yùn)行深度學(xué)習(xí)模型，為高效的數(shù)據(jù)流水線提供使用程序，并具有用于模型的檢查，可視化和序列化的內(nèi)置模塊。最近，TensorFlow 團(tuán)隊(duì)決定支持 Keras(我們列表中下一個(gè)深度學(xué)習(xí)庫(kù))。雖然 TensorFlow 有著自己的缺點(diǎn)，但是社區(qū)似乎同意這一決定，社區(qū)的龐大規(guī)模和項(xiàng)目背后巨大的動(dòng)力意味著學(xué)習(xí) TensorFlow 是一次安全的賭注。因此，TensorFlow 是我們今天在 indico 選擇的深度學(xué)習(xí)庫(kù)。
優(yōu)點(diǎn)：
- 由軟件巨頭 Google 支持
- 非常大的社區(qū)
- 低級(jí)和高級(jí)接口網(wǎng)絡(luò)訓(xùn)練
- 比基于 Theano 配置更快的模型編譯
- 完全地多 GPU 支持
缺點(diǎn)：
- 雖然 Tensorflow 正在追趕，但是最初在許多基準(zhǔn)上比基于 Theano 的慢。
- RNN 支持仍不如 Theano
Keras
鏈接：https://github.com/fchollet/keras
描述：Python 的深度學(xué)習(xí)庫(kù)。支持 Convnets、遞歸神經(jīng)網(wǎng)絡(luò)等。在 Theano 或者 TensorFlow 上運(yùn)行。
文檔：https://keras.io/
概述：Keras 也許是水平***，對(duì)用戶最友好的庫(kù)了。由 Francis Chollet(Google Brain 團(tuán)隊(duì)中的另一個(gè)成員)編寫(xiě)和維護(hù)。它允許用戶選擇其所構(gòu)建的模型是在 Theano 上或是在 TensorFlow 上的符號(hào)圖上執(zhí)行。Keras 的用戶界面受啟發(fā)于 Torch，所以如果你以前有過(guò)使用 Lua 語(yǔ)言的機(jī)器學(xué)習(xí)經(jīng)驗(yàn)，Keras 絕對(duì)值得一看。由于部分非常優(yōu)秀的文檔和其相對(duì)易用性，Keras 的社區(qū)非常大并且非?；钴S。最近，TensorFlow 團(tuán)隊(duì)宣布計(jì)劃與 Keras 一起支持內(nèi)置，所以很快 Keras 將是 TensorFlow 項(xiàng)目的一個(gè)分組。
優(yōu)點(diǎn)：
- 可供選擇的 Theano 或者 TensorFlow 后端
- 直觀、高級(jí)別的端口
- 更易學(xué)習(xí)
缺點(diǎn)：
- 不太靈活，比其他選擇更規(guī)范
MXNet
鏈接：https://github.com/dmlc/mxnet
描述：MXNet 是一個(gè)旨在提高效率和靈活性的深度學(xué)習(xí)框架。
文檔：http://mxnet.io/api/python/index.html#python-api-reference
概述：MXNet 是亞馬遜(Amazon)選擇的深度學(xué)習(xí)庫(kù)，并且也許是***秀的庫(kù)。它擁有類似于 Theano 和 TensorFlow 的數(shù)據(jù)流圖，為多 GPU 配置提供了良好的配置，有著類似于 Lasagne 和 Blocks 更高級(jí)別的模型構(gòu)建塊，并且可以在你可以想象的任何硬件上運(yùn)行(包括手機(jī))。對(duì) Python 的支持只是其冰山一角—MXNet 同樣提供了對(duì) R、Julia、C++、Scala、Matlab，和 Javascript 的接口。如果你正在尋找***的性能，選擇 MXNet 吧，但是你必須愿意處理與之相對(duì)的一些 MXNet 的怪癖。
優(yōu)點(diǎn)：
- 速度的標(biāo)桿
- 非常靈活
缺點(diǎn)：
- 最小的社區(qū)
- 比 Theano 更困難的學(xué)習(xí)難度
PyTorch
鏈接：https://github.com/pytorch/pytorch
描述：Python 中的張量(Tensors)和動(dòng)態(tài)神經(jīng)網(wǎng)絡(luò)，有著強(qiáng)大的 GPU 加速。
文檔：http://pytorch.org/docs/
概述：剛剛放出一段時(shí)間，PyTorch 就已經(jīng)是我們 Python 深度學(xué)習(xí)框架列表中的一個(gè)新的成員了。它是從 Lua 的 Torch 庫(kù)到 Python 的松散端口，由于它由 Facebook 的 人工智能研究團(tuán)隊(duì)(Artificial Intelligence Research team (FAIR))支持且因?yàn)樗糜谔幚韯?dòng)態(tài)計(jì)算圖(Theano，TensorFlow 或者其他衍生品沒(méi)有的特性，編譯者注：現(xiàn)在 TensorFlow 好像支持動(dòng)態(tài)計(jì)算圖)，它變得非常的有名。PyTorch 在 Python 深度學(xué)習(xí)生態(tài)系統(tǒng)將扮演怎樣的角色還不得而知，但所有的跡象都表明，PyTorch 是我們列表中其他框架的一個(gè)非常棒的選擇。
優(yōu)點(diǎn):
- 來(lái)自 Facebook 組織的支持
- 完全地對(duì)動(dòng)態(tài)圖的支持
- 高級(jí)和低級(jí) API 的混合
缺點(diǎn)：
- 比其他選擇，PyTorch 還不太成熟(用他們自己的話說(shuō)—「我們正處于早期測(cè)試版本。期待一些冒險(xiǎn)」)
- 除了官方文檔以外，只有有限的參考文獻(xiàn)/資源
原文：http://www.kdnuggets.com/2017/02/python-deep-learning-frameworks-overview.html
【本文是51CTO專欄機(jī)構(gòu)機(jī)器之心的原創(chuàng)譯文，微信公眾號(hào)“機(jī)器之心( id: almosthuman2014)”】
