據(jù) InformationWeek近日的一則消息顯示，DARPA(美國國防高級研究計劃局)將給分析公司Continuum Analytics投資300萬美元，用于開發(fā)Python的數(shù)據(jù)分析和處理庫。這筆資金來自其將在四年內(nèi)投資1億美元來改善大數(shù)據(jù)技術的XDATA項目，這個項目旨在“開 發(fā)用于分析國防活動中海量面向任務信息的 計算技術和軟件工具”。

Continuum Analytics將致力Blaze和Bokeh庫的開發(fā)：Blaze用于科學計算，而Bokeh則是一個可視化系統(tǒng)。

其中，Blaze將同時擴展現(xiàn)有的數(shù)學計算庫NumPy和科學計算庫SciPy，使其更適應大數(shù)據(jù)庫技術。Blaze將聚焦在內(nèi)核外處理超過系統(tǒng)內(nèi)存容量的大型數(shù)據(jù)集，并同時支持分布式數(shù)據(jù)和流數(shù)據(jù)。

而Bokeh則是一個用于大數(shù)據(jù)可視化的Python庫，Continuum稱之為用于大型數(shù)據(jù)集的“可擴展、交互式以及易于使用的可視化系統(tǒng)”。Bokeh將整合許多可視化技術，將包含Stencil可視化模型和Grammar of Graphics。

Python的運行效率可以用“低下”來形容了，那么究竟又是什么讓它與大數(shù)據(jù)擦出了火花?首先要先看一下Python語言自身的優(yōu)勢：

1. 易于學習的Python

眾所周知，大多數(shù)的大數(shù)據(jù)分析工作都不是開發(fā)者在做，這樣易于學習的Python就有了被Continuum Analytics與DARPA同時看重的理由。就像該公司董事長Peter Wang說：“如果他們可以學習一門簡單的語言，他們將不需要額外的軟件開發(fā)部門去參與數(shù)據(jù)分析。”

2. 解釋性語言Python

基于解釋語言的特性，使用Python進行開發(fā)無疑可以數(shù)倍的提升編碼效率;不到C++/Java一半的代碼行將大幅度減少開發(fā)過程和維護階段的工作量，相信不會被大部分開發(fā)者討厭。

上文說到Python受開發(fā)者喜愛的兩個方面：易于學習和高效的編碼效率;然而作為解釋性語言，Python的運行效率必然不會很快，而快于Python幾倍、甚至幾十倍的語言也是一抓一大把，那么Python在海量的數(shù)據(jù)處理中還會具備優(yōu)勢嗎?

大數(shù)據(jù)vs. Python

俗話說具體問題具體對待，而一般我們從本質(zhì)上把大數(shù)據(jù)應用場景分為兩個方面：

1. CPU密集型操作

在CPU密集型操作情況下，我們需要對海量的數(shù)據(jù)進行計算;而剛剛說到作為解釋性語言Python有著“相對杯具”的運行效率，那么在像求逆矩陣、向量相似度等對語言高效性非常依賴的情景下，讓Python去做這些必然會造成性能下降和負載增加。然而別忘了Python還有個昵稱 —— 膠水語言，其集成機制可以輕松的聯(lián)結使用其它語言編寫的模塊，比如：C、C++、Java。這樣我們就可以完全根據(jù)情況需要，使用Python來做框架，在核心CPU密集操作部分調(diào)用C或者其它高效語言。這樣開發(fā)效率和性能都得以保障，至于對開發(fā)團隊要求的增高就是另外一回事了。

2. I/O密集型操作

在這個場景下，我們經(jīng)常做的是頻繁的I/O操作、頻繁的輸入/讀取文件系統(tǒng)，但是不會涉及到復雜的計算。出于這些操作通常都是調(diào)用操作系統(tǒng)接口來完成，所以對語言的要求顯然不會太高。

從DARPA得到助力的不只是Python一個領域，下面看一下最近從DARPA獲得資金的項目：

近期得到DARPA慷慨解囊的機構

在2012年11月，數(shù)據(jù)可視化和軟件公司Kitware收到一筆400萬美元的資金，用于和軟件公司KnowledgeVis及一些高校一起開發(fā)名為Visualization Design Environment的開源數(shù)據(jù)聚合、查詢和可視化工具包。

其后2012年12月，喬治亞理工學院公布他們獲得了270萬美元資金;這些資金用于在可擴展的機器學習技術和分布式計算架構上的研究，致力研發(fā)快速處理數(shù)據(jù)分析的算法。同樣在新機器學習軟件方面，Scientific Systems Company也獲得了數(shù)額不詳?shù)馁Y金。

2月，數(shù)據(jù)庫開發(fā)者兼軟件資訊公司SYSTAP獲得XDATA項目的200萬美元，這筆資金用于建立一個開源圖分析平臺(使用GPU計算集群)。