偷偷摘套内射激情视频,久久精品99国产国产精,中文字幕无线乱码人妻,中文在线中文a,性爽19p

Storm獲東風,Hortonworks計劃將其整合到Hadoop企業(yè)版

云計算 Hadoop
自YARN及Mesos等技術出現(xiàn),Hadoop同集群上運行不同技術也成為了可能。然而,開源到商用之間存在的鴻溝不可謂不大。近日,基于廣泛用戶的需求,Hortonworks已決定將Storm整合到自己的Hadoop企業(yè)版中。

在YARN發(fā)布后,Hadoop擁有了同集群運行不同技術的可能,類似的技術還有加州大學伯克利分校建立的Mesos。然而將開源技術商用卻并不是件簡單的事情,據(jù)Gigaom的一則消息,Hortonworks正在致力Storm到Hadoop的商用整合。

以下為譯文

在收到大量的客戶請求后,Hortonworks決定開始 Sotrm流處理引擎整合到該公司的Hadoop產(chǎn)品中。考慮到Hadoop的批處理設計,這項工作確實有著重要的意義。

幾年前,Backtype公司建立了流處理引擎Sotrm,期望彌補Hadoop一些流數(shù)據(jù)(比如傳感器數(shù)據(jù))的實時處理能力。 Twitter于2011年收購了Backtype,從此引領著Storm開發(fā)。然而當這個開源項目在網(wǎng)站開發(fā)上得到廣泛認可時,一些革新陸續(xù)出現(xiàn),其中就包括了 與Hadoop的整合或者 在Hadoop上運行。

在Hortonworks客戶發(fā)現(xiàn)Storm走進Twitter及Yahoo!這些知名企業(yè)后,他們也想使用這個技術來處理自己的流數(shù)據(jù),從事geofencing、網(wǎng)頁行為及從醫(yī)用傳感器的實時分析等業(yè)務。Hortonworks營銷副總裁Dave McJannet說道:

我們看到許多早期用戶對這個功能的渴望,同時也看到越來越多企業(yè)對實時處理的關心。

Hortonworks產(chǎn)品副總裁Bob Page說道:“ Storm在近日成為Apache軟件基金會的孵化項目后,已然值得Hortonworks投資。”該公司之前聚焦的通常是 將Hadoop相關開源技術整合到旗下Hortonworks Data Platform產(chǎn)品,整合Storm這樣的流處理框架完全是出于用戶的需求。Hortonworks一直認為,在缺少強大的社區(qū)支持下,將一些遠離Hadoop主干代碼的技術整合到其產(chǎn)品將產(chǎn)生相當大的風險。

通過McJannet了解到,這個工作的主要挑戰(zhàn)就在于如何整合成一個企業(yè)級產(chǎn)品,并且滿足許多主流需求。

 

 

Page強調(diào),Hortonworks的計劃是在今年底完成基礎等級整合,并在不久的將來為其注入企業(yè)級元素,大概會耗時1年左右的時間。他還補充說,并不會到所有特性完成后才會給用戶發(fā)布。

在數(shù)據(jù)處理時間和方式上,Storm與Hadoop MapReduce基本上是兩個對立面,而這兩個技術具備整合可能性極大程度該歸結(jié)于 YARN這個集群管理層。Hortonworks當下正在致力于通過新型處理框架Tez 來 提高Hive的速度,同時YARN還允許Hadoop用戶 運行Spark內(nèi)存處理框架。同時, 微軟也在使用YARN讓Hadoop更加適合機器學習用例。

此外,通過YARN,同集群上同時運行HBase、 Giraph等不同技術也成為可能。此外,集群管理技術Mesos(加州大學伯克利分校出品,現(xiàn)已成為Apache項目) 同樣支持了類似YARN功能,盡管其不是像YARN這樣與HDFS捆綁。

更多技術的整合預示Hadoop這個大數(shù)據(jù)處理平臺絕不是曇花一現(xiàn),同時也會讓Hadoop在大數(shù)據(jù)應用程序領域獲得更高的統(tǒng)治力。

責任編輯:王程程 來源: Gigaom
相關推薦

2025-03-05 11:23:44

2012-06-29 15:57:45

SaaS

2013-02-26 09:40:00

HortonworksWindowsHadoop

2012-11-27 10:47:39

紅帽OpenShift

2023-10-26 21:39:21

2018-06-20 10:33:14

GitHub工具包開發(fā)者

2013-10-17 10:26:00

紅帽redhatOpenShift

2012-03-01 10:48:23

Windows 8云存儲

2013-07-19 11:00:36

Hadoop

2013-06-17 16:34:55

Citrix

2009-05-05 10:42:38

2013-04-03 12:49:58

2012-04-05 11:14:56

2013-03-11 14:14:59

2011-03-08 15:45:23

2023-08-10 08:31:01

必應聊天Bing Chat

2018-06-01 13:38:17

Leangoo企業(yè)版敏捷可視化

2024-01-17 09:48:21

2011-03-31 14:57:44

2017-04-20 18:45:01

阿里云Docker
點贊
收藏

51CTO技術棧公眾號