Galvanize 最近在舊金山參加了 Dato 數(shù)據(jù)科學(xué)峰會，這次會議聚集了千余名來自業(yè)界和學(xué)術(shù)界的數(shù)據(jù)科學(xué)研究人員，他們交流并探討關(guān)于數(shù)據(jù)科學(xué)、機器學(xué)習(xí)應(yīng)用和預(yù)測模型的最新進展。

以下是我導(dǎo)師認為數(shù)據(jù)科學(xué)家將在未來數(shù)月乃至數(shù)年里使用的八個 Python 工具。

1. SFrame and SGraph

Dato 數(shù)據(jù)科學(xué)峰會中重磅消息之一是 Dato 將在 BSD 協(xié)議下開源SFrame 和 SGraph。SFrame (short for Scaleable Data Frame) 提供可以優(yōu)化內(nèi)存效率的柱狀數(shù)據(jù)結(jié)構(gòu)和數(shù)據(jù)框式的界面。SGraph 具有相同的特性但是它主要用于提高畫圖效率。這兩種數(shù)據(jù)結(jié)構(gòu)最大的優(yōu)點之一在于它們使得數(shù)據(jù)科學(xué)家可以做基于外存的數(shù)據(jù)分析，而不需要把數(shù)據(jù)導(dǎo)入內(nèi)存中。

這一消息傳達出 Dato 公司支持 Python 數(shù)據(jù)生態(tài)圈發(fā)展的誠意，這是 Dato 和 Python 數(shù)據(jù)社區(qū)發(fā)展的一個轉(zhuǎn)折點。自從 Dato 公司推出企業(yè)版軟件后，數(shù)據(jù)社區(qū)用戶通常都有類似的誤解，他們認為 Dato 公司會利用免費版本綁定用戶，用戶最終還是得付費。通過將程序庫轉(zhuǎn)化為開源工具，我們看出這種小把戲并不是 Dato 公司的目標(biāo)。如今這兩個程序庫已經(jīng)變成開源工具，我們希望看到其他開發(fā)者（Pandas, 說的就是你）能夠充分利用 SFrame 和 SGraph 從而解決內(nèi)存限制的問題。

2. Bokeh

Bokeh 是一個不需要服務(wù)器就可以在網(wǎng)頁瀏覽器中實現(xiàn)交互式可視化的 Python 程序庫。Bokeh 可以處理非常大的數(shù)據(jù)集甚至是大數(shù)據(jù)流（比如實時光譜圖），同時它還具有運算速度快、可嵌入和可視化新穎的特點。它對于想要快速便捷地創(chuàng)建交互式圖表和數(shù)據(jù)應(yīng)用的人來說非常有用。

Bokeh 真正表現(xiàn)出色的地方是大數(shù)據(jù)的可視化過程。與這些數(shù)據(jù)打交道的人應(yīng)該感謝 Bokeh 致力于提升自身的性能。目前大多數(shù)的交互式工具都需要利用 Javascript 來實現(xiàn)，但是 Bokeh 僅利用 Python 一種語言即可實現(xiàn)。

3. Dask

Dask是一款基于外存的Python 調(diào)度工具。它通過將數(shù)據(jù)集分塊處理并根據(jù)所擁有的核數(shù)分配計算量，這有助于進行大數(shù)據(jù)并行計算。Dask 是利用 Python 語言編寫的，同時也利用一些開源程序庫，它主要針對單機的并行計算進程。

Dask主要有兩種用法。普通用戶將主要利用 Dask 提供的集合類型，它的用法類似于 NumPy 和 Pandas 這樣的常規(guī)程序庫，但它內(nèi)部包含了畫圖功能。另一方面， Dask 開發(fā)者可以直接制作圖表。Dask 圖表利用 Python 字典、元組和函數(shù)來編碼算法，而且它不依賴于 Dask 所提供的集合類型。

目前 Python 生態(tài)圈中的許多程序庫功能相近。但是Blaze, Dask 和 Numba 這些程序庫共同作用于數(shù)據(jù)處理過程的不同層面上。類似的，你可以把 Blaze 看成關(guān)系型數(shù)據(jù)庫管理系統(tǒng)的查詢優(yōu)化器，而把 Dask 看成執(zhí)行查詢的引擎。關(guān)于這一點，Blaze 優(yōu)化了查詢或者控制命令的符號表達式，而 Dask可以根據(jù)你的硬件情況來優(yōu)化執(zhí)行過程。

4. Ibis

如果你是一個數(shù)據(jù)科學(xué)家，可能你每天都會使用 Python 。雖然 Python 在很多方面都很優(yōu)秀，但是它也存在自身的局限。其中最大的一個問題在于 Python 不能很好地適應(yīng)數(shù)據(jù)集大小的變化。它對于小數(shù)據(jù)集很有效，但是對于更大的數(shù)據(jù)而言，則需要利用抽樣的方法來解決數(shù)據(jù)集的規(guī)模問題，這會影響到最終的研究結(jié)果。

Ibis 是 Cloudera 實驗室的新項目，它試圖為具有 Python 工作經(jīng)驗的數(shù)據(jù)科學(xué)家和工程師們提供一個適用于任何數(shù)據(jù)規(guī)模的數(shù)據(jù)分析框架。這反映出單機版的 Python 在功能和可用性上并沒有妥協(xié)，可以在處理大數(shù)據(jù)時提供相同的交互體驗和全保真度分析。

Ibis 允許使用 100% 的端到端用戶工作流，也整合了現(xiàn)有的 Python 數(shù)據(jù)生態(tài)圈（Pandas, Scikit-learn, NumPy 等）。Ibis 目前還是預(yù)覽版，未來它將加入更多的功能，比如整合高級分析工具、機器學(xué)習(xí)方法和其他高性能的計算工具。

5. Splash

抓取網(wǎng)頁數(shù)據(jù)時經(jīng)常碰到一個問題，許多網(wǎng)站使用大量的 JavaScript 代碼。網(wǎng)頁抓取工具很難執(zhí)行 JavaScript 代碼，所以你往往只能得到原始 HTML 數(shù)據(jù)。由 Scrapy 鼻祖 ScrapingHub 所創(chuàng)建的 Splash 是一種 JavaScript 渲染服務(wù)，它通過 Python 的 Twisted 和 QT 來實現(xiàn)。這是一個帶有能夠并行處理多個網(wǎng)頁的輕量級網(wǎng)頁瀏覽器，它可以執(zhí)行自定義 JavaScript 代碼并利用關(guān)閉圖片或廣告屏蔽的功能來提升渲染速度。

6. Petuum

Petuum 是一個分布式機器學(xué)習(xí)框架，它試圖為大規(guī)模機器學(xué)習(xí)問題提供一個通用算法和系統(tǒng)接口。它提供了解決大規(guī)模機器學(xué)習(xí)數(shù)據(jù)集和參數(shù)太大問題的分布式編程工具。Petuum 專門為機器學(xué)習(xí)設(shè)計，這意味著它可以利用數(shù)據(jù)的各種統(tǒng)計性質(zhì)來優(yōu)化性能。

Petuum 具有多項核心功能：Bösen 是一個為數(shù)據(jù)并行機器學(xué)習(xí)算法設(shè)計的關(guān)鍵值存儲倉庫。它利用 SSP （Stale Synchronous Parallel ）一致性模型，該模型允許在不犧牲算法正確性的情況下使用異步功能。另外一個功能是 Strads，它是一個為模型并行機器學(xué)習(xí)算法而設(shè)計的調(diào)度工具。它執(zhí)行了關(guān)于機器學(xué)習(xí)更新操作的小粒度調(diào)度，而且優(yōu)先計算的部分程序需要避免可能損害性能的不安全并行操作。

7. Flink

Apache Flink 是可擴展的批處理和流處理的數(shù)據(jù)處理平臺。Flink 的核心組件是一個提供數(shù)據(jù)分布、通信和容錯功能的流數(shù)據(jù)處理引擎。它和 Apache Spark 非常相似，因為它們的主要目的之一就是替代 Hadoop 的 MapReduce 功能。

雖然 Spark 和 Flink 的 API 非常相似，但是兩者處理數(shù)據(jù)的方式存在不同之處。當(dāng) Spark 處理流式數(shù)據(jù)時，它實際上利用單位時間內(nèi)的數(shù)據(jù)片集合進行小批量處理。這可以視為流處理的近似過程。通常情況下它表現(xiàn)良好，但是在對延遲要求較高的情況下會引發(fā)一些問題。另一方面，F(xiàn)link 是一個可以實現(xiàn)批量處理的流處理框架。換句話說，除了做簡單的工作（批量處理）和對較難的工作（流程處理）以外，F(xiàn)link 既可以解決較難的工作，也可以處理簡單的任務(wù)。

8. Pyxley

基于網(wǎng)頁的儀表板（dashboards）是分享數(shù)據(jù)科學(xué)發(fā)現(xiàn)的最直觀方法之一。 Shiny 包給使用 R 語言的數(shù)據(jù)科學(xué)家提供了一個不必通過編寫Javascript， HTML 和 CSS就可以構(gòu)建交互式網(wǎng)頁應(yīng)用程序的框架，但是在 Python 中卻沒有類似的功能。 Pyxley 就相當(dāng)于 Python 版的 shiny ，它簡化了網(wǎng)頁應(yīng)用程序開發(fā)的過程并可以通過 Flask， PyReact 和 Pandas來加入自定義的 Javascript 代碼。