大數(shù)據(jù)的生態(tài)系統(tǒng)如今已經(jīng)非常龐大，涌現(xiàn)大量主流數(shù)據(jù)處理框架如Hadoop、Spark、Flink、Google的Tensorflow以及其他不計其數(shù)的Apache開源項目(最受歡迎的十個開源大數(shù)據(jù)技術(shù))。

今天我們要推薦的五個“非主流”開源大數(shù)據(jù)技術(shù)項目，在某些特定的應(yīng)用場合，往往能助您出奇制勝。

一、Luigi

Luigi是Spotify開發(fā)的數(shù)據(jù)管線批處理工具，熱度正在不斷飆升。Luigi的定位不是取代底層數(shù)據(jù)處理工具如Hive或者Pig，而是在眾多任務(wù)間創(chuàng)建工作流。Luigi原生支持Hadoop，這對于很多用戶來說非常有吸引力。

近日創(chuàng)業(yè)公司Mortar就將Spotify開發(fā)的開源大數(shù)據(jù)工具Luigi搬上云端，在亞馬遜云上提供復(fù)雜的，涉及大量工具和數(shù)據(jù)庫的大數(shù)據(jù)流水線處理服務(wù)，不論是否使用Hadoop，用戶都可以用Luigi管理復(fù)雜的大數(shù)據(jù)工作流。

二、Lumify

Lumify是一個開源大數(shù)據(jù)分析和可視化平臺，開發(fā)者Altamira認(rèn)為當(dāng)前的大數(shù)據(jù)分析工具并不完善，因此開發(fā)了Lumify來聚合、管理和洞察數(shù)據(jù)，此外，Lumify還可以用來分析數(shù)據(jù)內(nèi)部之間的關(guān)系，進(jìn)行地理圖形數(shù)據(jù)分析，并實時組織和協(xié)調(diào)數(shù)據(jù)。Lumify的官網(wǎng)由比較完整的文檔和介紹視頻，還提供了了一個在線應(yīng)用示例。

三、Google 云平臺Hadoop互操作工具

這個技術(shù)項目來自Google Cloud Platform的官方Github賬號，描述如下：

為實現(xiàn)Hadoop相關(guān)開源軟件、Google云平臺之間互操作的代碼庫和工具集。如果你打算在Google云平臺上運行基于HDFS數(shù)據(jù)的Map-Reduce任務(wù)，那么這些工具值得投資。

四、Presto

Presto是一個分布式的大數(shù)據(jù)SQL查詢引擎，支持所有數(shù)據(jù)源格式，以及從GB到PB級別的數(shù)據(jù)規(guī)模。Presto主打的賣點是速度和可擴(kuò)展性，如果你想提升SQL查詢速度又不愿對數(shù)據(jù)源存儲系統(tǒng)進(jìn)行投資或改動，或者需要對存儲在多個平臺的數(shù)據(jù)源進(jìn)行查詢，Presto都是值得考慮的選擇。Presto的官網(wǎng)由比較詳細(xì)的資料，這里還有一個Teradata的五分鐘視頻介紹(youtube)，以及Facebook的Presto設(shè)置應(yīng)用指南(youtube)。

五、Clusterize

來自Denis Lukov的這個項目是今天介紹的“非主流”中的非主流，與前面介紹的四個后端數(shù)據(jù)科學(xué)/工程工具不同，Clusterize是一個Javascript寫成的前端開發(fā)小項目，目的是提高大數(shù)據(jù)集的瀏覽效率，降低延遲，這算得上是一個大數(shù)據(jù)工具嗎?也許吧，至少對于很多開發(fā)者來說是如此。