1. Theano

[[180776]]

Theano 在深度學(xué)習(xí)框架中是祖師級(jí)的存在。它的開(kāi)發(fā)始于 2007，早期開(kāi)發(fā)者包括傳奇人物 Yoshua Bengio 和 Ian Goodfellow。

Theano 基于 Python，是一個(gè)擅長(zhǎng)處理多維數(shù)組的庫(kù)（這方面它類(lèi)似于 NumPy）。當(dāng)與其他深度學(xué)習(xí)庫(kù)結(jié)合起來(lái)，它十分適合數(shù)據(jù)探索。它為執(zhí)行深度學(xué)習(xí)中大規(guī)模神經(jīng)網(wǎng)絡(luò)算法的運(yùn)算所設(shè)計(jì)。其實(shí)，它可以被更好地理解為一個(gè)數(shù)學(xué)表達(dá)式的編譯器：用符號(hào)式語(yǔ)言定義你想要的結(jié)果，該框架會(huì)對(duì)你的程序進(jìn)行編譯，來(lái)高效運(yùn)行于 GPU 或 CPU。

它與后來(lái)出現(xiàn)的 Tensorflow 功能十分相似（或者應(yīng)該說(shuō)，Tensorflow 類(lèi)似 Theano ），因而兩者常常被放在一起比較。它們本身都偏底層，同樣的，Theano 像是一個(gè)研究平臺(tái)多過(guò)是一個(gè)深度學(xué)習(xí)庫(kù)。你需要從底層開(kāi)始做許多工作，來(lái)創(chuàng)建你需要的模型。比方說(shuō)，Theano 沒(méi)有神經(jīng)網(wǎng)絡(luò)的分級(jí)。

但隨著這些年的發(fā)展，大量基于 Theano 的開(kāi)源深度學(xué)習(xí)庫(kù)被開(kāi)發(fā)出來(lái)，包括 Keras, Lasagne 和 Blocks。這些更高層級(jí)的 wrapper API，能大幅減少開(kāi)發(fā)時(shí)間以及過(guò)程中的麻煩。甚至，據(jù)雷鋒網(wǎng)(公眾號(hào)：雷鋒網(wǎng))所知，很少開(kāi)發(fā)者會(huì)使用“裸奔”的 Theano，多數(shù)人需要輔助的 API。順便說(shuō)一句，Theano 是一整套生態(tài)系統(tǒng)，別只用它裸奔，然后抱怨不好用。

在過(guò)去的很長(zhǎng)一段時(shí)間內(nèi)，Theano 是深度學(xué)習(xí)開(kāi)發(fā)與研究的行業(yè)標(biāo)準(zhǔn)。而且，由于出身學(xué)界，它最初是為學(xué)術(shù)研究而設(shè)計(jì)，這導(dǎo)致深度學(xué)習(xí)領(lǐng)域的許多學(xué)者至今仍在使用 Theano。但隨著 Tensorflow 在谷歌的支持下強(qiáng)勢(shì)崛起，Theano 日漸式微，使用的人越來(lái)越少。這過(guò)程中的標(biāo)志性事件是：***之一的 Ian Goodfellow 放棄 Theano 轉(zhuǎn)去谷歌開(kāi)發(fā) Tensorflow。

因此，資深一些的開(kāi)發(fā)者往往認(rèn)為，對(duì)于深度學(xué)習(xí)新手，用Theano 練練手并沒(méi)有任何壞處。但對(duì)于職業(yè)開(kāi)發(fā)者，還是建議用 Tensorflow。

優(yōu)點(diǎn)：

• Python + NumPy 的組合

• 使用計(jì)算圖

• RNN 與計(jì)算圖兼容良好

• 有 Keras 和 Lasagne 這樣高層的庫(kù)

• 不少開(kāi)發(fā)者反映，它的學(xué)習(xí)門(mén)檻比Tensorflow 低

缺點(diǎn)：

• 本身很底層

• 比 Torch 臃腫

• 不支持分布式

• 有的錯(cuò)誤信息沒(méi)什么用

• 大模型的編譯時(shí)間有時(shí)要很久

• 對(duì)事先訓(xùn)練過(guò)的模型支持不足

• 用的人越來(lái)越少

2. Caffe

[[180779]]

這又是一個(gè)祖師級(jí)的深度學(xué)習(xí)框架，2013 年就已問(wèn)世。

它的全稱(chēng)是 “Convolution Architecture For Feature Extraction”，意為“用于特征提取的卷積架構(gòu)”，很明白地體現(xiàn)了它的用途。Caffe 的創(chuàng)始人，是加州大學(xué)伯克利分校的中國(guó)籍博士生賈揚(yáng)清。當(dāng)時(shí)賈在伯克利計(jì)算機(jī)視覺(jué)與學(xué)習(xí)中心做研究。博士畢業(yè)后，他先后在谷歌和 Facebook 工作。

在 AI 開(kāi)發(fā)者圈子中，Caffe 可以說(shuō)是無(wú)人不知、無(wú)人不曉。據(jù) GitHub ***的機(jī)器學(xué)習(xí)項(xiàng)目熱度排名，Caffe 僅位列 Tensorflow 之后，雄踞第二。它是一個(gè)被廣泛使用的機(jī)器視覺(jué)庫(kù)，把 Matlab 執(zhí)行快速卷積網(wǎng)絡(luò)的方式帶到 C 和 C++。雖然 Caffe 被部分開(kāi)發(fā)者看做是通用框架，但它的設(shè)計(jì)初衷是計(jì)算機(jī)視覺(jué)——并不適于其他深度學(xué)習(xí)應(yīng)用，比如文字、語(yǔ)音識(shí)別和處理時(shí)間序列數(shù)據(jù)。

Caffe 的主要用途：利用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行圖像分類(lèi)。這方面它代表了業(yè)內(nèi)***水平，是開(kāi)發(fā)者的***。

說(shuō)到 Caffe，就不得不提 Model Zoo。后者是在 Caffe 基礎(chǔ)上開(kāi)發(fā)出的一系列模型的匯聚之地。因此，開(kāi)發(fā)者使用 Caffe ***的好處是：能在 Model Zoo 海量的、事先訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)中，選擇貼近自己使用需求的直接下載，并立刻就能用。

就雷鋒網(wǎng)所知，這些模型中有很多是世界***的。有很多它們的教程：

• Alex’s CIFAR-10 tutorial with Caffe

• Training LeNet on MNIST with Caffe

• ImageNet with Caffe

業(yè)內(nèi)人士普遍認(rèn)為，Caffe 適合于以實(shí)現(xiàn)基礎(chǔ)算法為主要目的的工業(yè)應(yīng)用，有利于快速開(kāi)發(fā)。但對(duì)于處理較特殊的任務(wù)，它存在靈活性不足的問(wèn)題——為模型做調(diào)整常常需要用 C++ 和 CUDA，雖然 Python 和 Matlab 也能做些小調(diào)整。

優(yōu)點(diǎn)：

• 非常適合前饋神經(jīng)網(wǎng)絡(luò)和圖像處理任務(wù)

• 非常適于利用現(xiàn)有神經(jīng)網(wǎng)絡(luò)

• 不寫(xiě)代碼也能訓(xùn)練模型

• Python 交互界面做得不錯(cuò)

缺點(diǎn)：

• 需要 C++ 和 CUDA 來(lái)編寫(xiě)新 GPU 層級(jí)。

• 在遞歸神經(jīng)網(wǎng)絡(luò)上表現(xiàn)不佳

• 對(duì)于大型神經(jīng)網(wǎng)絡(luò)，它十分繁瑣（GoogLeNet, ResNet）

• 沒(méi)有商業(yè)支持

3. Torch

相比其他開(kāi)源框架，Torch 是一個(gè)非主流。

沒(méi)錯(cuò)，說(shuō)的就是它的開(kāi)發(fā)語(yǔ)言：基于1990 年代誕生于巴西的 Lua，而非機(jī)器學(xué)習(xí)界廣泛采用的 Python。其實(shí) Lua 和Python 都屬于比較容易入門(mén)的語(yǔ)言。但后者明顯已經(jīng)統(tǒng)治了機(jī)器學(xué)習(xí)領(lǐng)域，尤其在學(xué)界。而企業(yè)界的軟件工程師最熟悉的是 Java，對(duì) Lua 也比較陌生。這導(dǎo)致了 Torch 推廣的困難。因此，雖然 Torch 功能強(qiáng)大，但并不是大眾開(kāi)發(fā)者的菜。

那么它強(qiáng)大在哪里？

• 首先，Torch 非常適用于卷積神經(jīng)網(wǎng)絡(luò)。它的開(kāi)發(fā)者認(rèn)為，Torch 的原生交互界面比其他框架用起來(lái)更自然、更得心應(yīng)手。

• 其次，第三方的擴(kuò)展工具包提供了豐富的遞歸神經(jīng)網(wǎng)絡(luò)（ RNN）模型。

因?yàn)檫@些強(qiáng)項(xiàng)，許多互聯(lián)網(wǎng)巨頭開(kāi)發(fā)了定制版的 Torch，以助力他們的 AI 研究。這其中包括 Facebook、Twitter，和被谷歌招安前的 DeepMind。

與 Caffe 相比，在 Torch 里定義一個(gè)新層級(jí)比它要容易，因?yàn)槟悴恍枰獙?xiě)  C++ 代碼。和 TensorFlow 和 Theano 比起來(lái)，Torch 的靈活度更高，因?yàn)樗敲钍降?；而前兩者是陳述式的（declarative），你必須 declare 一個(gè)計(jì)算圖。這使得在 Torch 上進(jìn)行束搜索（beam search）這樣的操作要比它們?nèi)菀椎枚唷?/p>

Torch 的熱門(mén)應(yīng)用：在增強(qiáng)學(xué)習(xí)領(lǐng)域，用卷積神經(jīng)網(wǎng)絡(luò)和代理處理圖像問(wèn)題。

興趣主要在增強(qiáng)學(xué)習(xí)的開(kāi)發(fā)者， Torch 是***。

優(yōu)點(diǎn)：

• 靈活度很高

• 高度模塊化

• 容易編寫(xiě)你自己的層級(jí)

• 有很多訓(xùn)練好的模型

缺點(diǎn)：

• 需要學(xué)  Lua

• 通常需要自己寫(xiě)訓(xùn)練代碼

• 不適于循環(huán)神經(jīng)網(wǎng)絡(luò)

• 沒(méi)有商業(yè)支持

4. SciKit-learn

SciKit-learn 是老牌的開(kāi)源 Python 算法框架，始于 2007 年的 Google Summer of Code 項(xiàng)目，最初由 David Cournapeau 開(kāi)發(fā)。

它是一個(gè)簡(jiǎn)潔、高效的算法庫(kù)，提供一系列的監(jiān)督學(xué)習(xí)和無(wú)監(jiān)督學(xué)習(xí)的算法，以用于數(shù)據(jù)挖掘和數(shù)據(jù)分析。SciKit-learn 幾乎覆蓋了機(jī)器學(xué)習(xí)的所有主流算法，這為其在 Python 開(kāi)源世界中奠定了江湖地位。

它的算法庫(kù)建立在 SciPy (Scientific Python) 之上——你必須先安裝 SciPy 才能使用 SciKit-learn 。它的框架中一共包括了：

• NumPy: 基礎(chǔ)的多維數(shù)組包

• SciPy: 科學(xué)計(jì)算的基礎(chǔ)庫(kù)

• Matplotlib: 全面的 2D/3D 測(cè)繪

• IPython: 改進(jìn)的交互控制器

• Sympy: 符號(hào)數(shù)學(xué)

• Pandas:數(shù)據(jù)結(jié)構(gòu)和分析

它命名的由來(lái)：SciPy 的擴(kuò)展和模塊在傳統(tǒng)上被命名為 SciKits。而提供學(xué)習(xí)算法的模組就被命名為 scikit-learn。

它與 Python 世界另一大算法框架——TensorFlow 的主要區(qū)別是：TensorFlow 更底層。而 SciKit-learn 提供了執(zhí)行機(jī)器學(xué)習(xí)算法的模塊化方案，很多算法模型直接就能用。

優(yōu)點(diǎn)：

• 經(jīng)過(guò)篩選的、高質(zhì)量的模型

• 覆蓋了大多數(shù)機(jī)器學(xué)習(xí)任務(wù)

• 可擴(kuò)展至較大的數(shù)據(jù)規(guī)模

• 使用簡(jiǎn)單

缺點(diǎn)：

• 靈活性低

5. MXNet

提到出身學(xué)界的開(kāi)源框架，就不得不提 MXNet。不過(guò)，因?yàn)閬嗰R遜已將其作為御用平臺(tái)，因而上期的盤(pán)點(diǎn)（谷歌、微軟、OpenAI 等巨頭的七大機(jī)器學(xué)習(xí)開(kāi)源項(xiàng)目 看這篇就夠了）中已經(jīng)對(duì)其作了介紹。有興趣的讀者請(qǐng)戳鏈接。