在YARN發(fā)布后，Hadoop擁有了同集群運(yùn)行不同技術(shù)的可能，類似的技術(shù)還有加州大學(xué)伯克利分校建立的Mesos。然而將開源技術(shù)商用卻并不是件簡(jiǎn)單的事情，據(jù)Gigaom的一則消息，Hortonworks正在致力Storm到Hadoop的商用整合。

以下為譯文

在收到大量的客戶請(qǐng)求后，Hortonworks決定開始 Sotrm流處理引擎整合到該公司的Hadoop產(chǎn)品中?？紤]到Hadoop的批處理設(shè)計(jì)，這項(xiàng)工作確實(shí)有著重要的意義。

幾年前，Backtype公司建立了流處理引擎Sotrm，期望彌補(bǔ)Hadoop一些流數(shù)據(jù)(比如傳感器數(shù)據(jù))的實(shí)時(shí)處理能力。 Twitter于2011年收購(gòu)了Backtype，從此引領(lǐng)著Storm開發(fā)。然而當(dāng)這個(gè)開源項(xiàng)目在網(wǎng)站開發(fā)上得到廣泛認(rèn)可時(shí)，一些革新陸續(xù)出現(xiàn)，其中就包括了 與Hadoop的整合或者 在Hadoop上運(yùn)行。

在Hortonworks客戶發(fā)現(xiàn)Storm走進(jìn)Twitter及Yahoo!這些知名企業(yè)后，他們也想使用這個(gè)技術(shù)來(lái)處理自己的流數(shù)據(jù)，從事geofencing、網(wǎng)頁(yè)行為及從醫(yī)用傳感器的實(shí)時(shí)分析等業(yè)務(wù)。Hortonworks營(yíng)銷副總裁Dave McJannet說(shuō)道：

我們看到許多早期用戶對(duì)這個(gè)功能的渴望，同時(shí)也看到越來(lái)越多企業(yè)對(duì)實(shí)時(shí)處理的關(guān)心。

Hortonworks產(chǎn)品副總裁Bob Page說(shuō)道：“ Storm在近日成為Apache軟件基金會(huì)的孵化項(xiàng)目后，已然值得Hortonworks投資。”該公司之前聚焦的通常是 將Hadoop相關(guān)開源技術(shù)整合到旗下Hortonworks Data Platform產(chǎn)品，整合Storm這樣的流處理框架完全是出于用戶的需求。Hortonworks一直認(rèn)為，在缺少?gòu)?qiáng)大的社區(qū)支持下，將一些遠(yuǎn)離Hadoop主干代碼的技術(shù)整合到其產(chǎn)品將產(chǎn)生相當(dāng)大的風(fēng)險(xiǎn)。

通過(guò)McJannet了解到，這個(gè)工作的主要挑戰(zhàn)就在于如何整合成一個(gè)企業(yè)級(jí)產(chǎn)品，并且滿足許多主流需求。

Page強(qiáng)調(diào)，Hortonworks的計(jì)劃是在今年底完成基礎(chǔ)等級(jí)整合，并在不久的將來(lái)為其注入企業(yè)級(jí)元素，大概會(huì)耗時(shí)1年左右的時(shí)間。他還補(bǔ)充說(shuō)，并不會(huì)到所有特性完成后才會(huì)給用戶發(fā)布。

在數(shù)據(jù)處理時(shí)間和方式上，Storm與Hadoop MapReduce基本上是兩個(gè)對(duì)立面，而這兩個(gè)技術(shù)具備整合可能性極大程度該歸結(jié)于 YARN這個(gè)集群管理層。Hortonworks當(dāng)下正在致力于通過(guò)新型處理框架Tez 來(lái) 提高Hive的速度，同時(shí)YARN還允許Hadoop用戶 運(yùn)行Spark內(nèi)存處理框架。同時(shí)， 微軟也在使用YARN讓Hadoop更加適合機(jī)器學(xué)習(xí)用例。

此外，通過(guò)YARN，同集群上同時(shí)運(yùn)行HBase、 Giraph等不同技術(shù)也成為可能。此外，集群管理技術(shù)Mesos(加州大學(xué)伯克利分校出品，現(xiàn)已成為Apache項(xiàng)目) 同樣支持了類似YARN功能，盡管其不是像YARN這樣與HDFS捆綁。

更多技術(shù)的整合預(yù)示Hadoop這個(gè)大數(shù)據(jù)處理平臺(tái)絕不是曇花一現(xiàn)，同時(shí)也會(huì)讓Hadoop在大數(shù)據(jù)應(yīng)用程序領(lǐng)域獲得更高的統(tǒng)治力。