[[169851]]

大數(shù)據(jù)已然成為當(dāng)今最熱門(mén)的技術(shù)之一，正呈爆炸式增長(zhǎng)。每天來(lái)自全球的新項(xiàng)目如雨后春筍般涌現(xiàn)。幸運(yùn)地是，開(kāi)源讓越來(lái)越多的項(xiàng)目可以直接采用大數(shù)據(jù)技術(shù)，下面就來(lái)盤(pán)點(diǎn)最受歡迎的十大開(kāi)源的大數(shù)據(jù)技術(shù)。

1.Hadoop——高效、可靠、可伸縮，能夠?yàn)槟愕臄?shù)據(jù)存儲(chǔ)項(xiàng)目提供所需的YARN、HDFS和基礎(chǔ)架構(gòu)，并且運(yùn)行主要的大數(shù)據(jù)服務(wù)和應(yīng)用程序。

2.Spark——使用簡(jiǎn)單、支持所有重要的大數(shù)據(jù)語(yǔ)言(Scala、Python、Java、R)。擁有強(qiáng)大的生態(tài)系統(tǒng)，成長(zhǎng)迅速，對(duì)microbatching/batching/SQL支持簡(jiǎn)單。Spark能更好地適用于數(shù)據(jù)挖掘與機(jī)器學(xué)習(xí)等需要迭代的MapReduce的算法。

3.NiFi——Apache NiFi是由美國(guó)國(guó)家安全局(NSA)貢獻(xiàn)給Apache基金會(huì)的開(kāi)源項(xiàng)目，其設(shè)計(jì)目標(biāo)是自動(dòng)化系統(tǒng)間的數(shù)據(jù)流?；谄涔ぷ髁魇降木幊汤砟睿琋iFi非常易于使用、強(qiáng)大、可靠、高可配置。兩個(gè)最重要的特性是其強(qiáng)大的用戶(hù)界面和良好的數(shù)據(jù)回溯工具?？胺Q(chēng)大數(shù)據(jù)工具箱里的瑞士軍刀。

4.Apache Hive 2.1——Hive是建立在 Hadoop 上的數(shù)據(jù)倉(cāng)庫(kù)基礎(chǔ)構(gòu)架。它提供了一系列的工具，可以用來(lái)進(jìn)行數(shù)據(jù)提取轉(zhuǎn)化加載(ETL)，這是一種可以存儲(chǔ)、查詢(xún)和分析存儲(chǔ)在 Hadoop 中的大規(guī)模數(shù)據(jù)的機(jī)制。隨著最新版本的發(fā)布，性能和功能都得到了全面提升，Hive已成為SQL在大數(shù)據(jù)上的最佳解決方案。

5.Kafka——Kafka是一種高吞吐量的分布式發(fā)布訂閱消息系統(tǒng)，它可以處理消費(fèi)者規(guī)模網(wǎng)站中的所有動(dòng)作流數(shù)據(jù)。它已成為大數(shù)據(jù)系統(tǒng)在異步和分布式消息之間的最佳選擇。從Spark到NiFi再到第三方插件工具以至于Java到Scala，它都提供了強(qiáng)大的粘合作用。

6.Phoenix—是HBase的SQL驅(qū)動(dòng)。目前大量的公司采用它，并擴(kuò)大其規(guī)模。HDFS支持的NoSQL能夠很好地集成所有工具。Phoenix查詢(xún)引擎會(huì)將SQL查詢(xún)轉(zhuǎn)換為一個(gè)或多個(gè)HBase scan，并編排執(zhí)行以生成標(biāo)準(zhǔn)的JDBC結(jié)果集。

7.Zeppelin——Zeppelin 是一個(gè)提供交互數(shù)據(jù)分析且基于Web的筆記本。方便你做出可數(shù)據(jù)驅(qū)動(dòng)的、可交互且可協(xié)作的精美文檔，并且支持多種語(yǔ)言，包括 Scala(使用 Apache Spark)、Python(Apache Spark)、SparkSQL、 Hive、 Markdown、Shell等。

8.Sparkling Water——H2O填補(bǔ)了Spark’s Machine Learning的缺口，它可以滿(mǎn)足你所有的機(jī)器學(xué)習(xí)。

9.Apache Beam——在Java中提供統(tǒng)一的數(shù)據(jù)進(jìn)程管道開(kāi)發(fā)，并且能夠很好地支持Spark和Flink。提供很多在線框架，開(kāi)發(fā)者無(wú)需學(xué)習(xí)太多框架。

10.Stanford CoreNLP——自然語(yǔ)言處理?yè)碛芯薮蟮脑鲩L(zhǎng)空間，斯坦福正在努力增進(jìn)他們的框架。