偷偷摘套内射激情视频,久久精品99国产国产精,中文字幕无线乱码人妻,中文在线中文a,性爽19p

Storm、Spark和MapReduce 開源分布式計算系統(tǒng)框架比較

大數據 分布式 Spark
比較項 Storm Spark Streaming 分布式計算在許多領域都有廣泛需求,目前流行的分布式計算框架主要有 Hadoop MapReduce, Spark Streaming, Storm; 這三個框架各有優(yōu)勢,現在都屬于 Apache 基金會下的頂級項目,下文將對三個框架的特點與適用場景進行分析,以便開發(fā)者能快速選擇適合自己的框架進行開發(fā)。

[[152151]]

比較項 Storm Spark Streaming 分布式計算在許多領域都有廣泛需求,目前流行的分布式計算框架主要有 Hadoop MapReduce, Spark Streaming, Storm; 這三個框架各有優(yōu)勢,現在都屬于 Apache 基金會下的***項目,下文將對三個框架的特點與適用場景進行分析,以便開發(fā)者能快速選擇適合自己的框架進行開發(fā)。

Hadoop MapReduce 是三者中出現最早,知名度***的分布式計算框架,最早由 Google Lab 開發(fā),使用者遍布全球(Hadoop PoweredBy);主要適用于大批量的集群任務,由于是批量執(zhí)行,故時效性偏低,原生支持 Java 語言開發(fā) MapReduce ,其它語言需要使用到 Hadoop Streaming 來開發(fā)。Spark Streaming 保留了 Hadoop MapReduce 的優(yōu)點,而且在時效性上有了很大提高,中間結果可以保存在內存中,從而對需要迭代計算和有較高時效性要求的系統(tǒng)提供了很好的支持,多用于能容忍小延時的推薦與計算系統(tǒng)。Storm 一開始就是為實時處理設計,因此在實時分析/性能監(jiān)測等需要高時效性的領域廣泛采用,而且它理論上支持所有語言,只需要少量代碼即可完成適配器。

下面的表格是對三者部分特性的比較,描述時間為 2015-5-3,三個項目均處于快速迭代中,文中描述特性會隨時產生變化,如果與官方文檔產生出入以官方文檔為準。

大數據

表格說明:

開源時間以 github 上最早的 commit 或者官網上最早發(fā)布版本的時間為準。

當前版本與特性描述截止 2015-5-3。

相關資料量通過比較官方文檔、搜索引擎、論壇等途徑得出。

部分比較數據來源于實踐或相關文章(未找到出處)。

本文會保持更新,如果數據發(fā)現有出入,歡迎指正。

 

責任編輯:李英杰 來源: 36大數據
相關推薦

2010-06-03 19:46:44

Hadoop

2015-06-01 10:31:43

微軟開源rDSN

2022-03-01 08:40:34

StormHadoop批處理

2013-09-11 16:02:00

Spark分布式計算系統(tǒng)

2010-11-15 13:24:07

分布式文件系統(tǒng)

2019-06-27 09:12:43

FlinkStorm框架

2015-07-16 15:30:34

分布式計算PS云計算

2024-03-01 09:53:34

2012-10-11 14:31:57

FastDFSMogileFS

2018-07-17 08:14:22

分布式分布式鎖方位

2017-09-01 05:35:58

分布式計算存儲

2014-04-09 14:59:55

Apache Spar

2017-04-12 09:29:02

HiveMapReduceSpark

2015-05-12 13:03:54

開源分布式存儲HDFS

2023-05-29 14:07:00

Zuul網關系統(tǒng)

2021-09-14 18:27:08

Spark

2023-05-12 08:23:03

分布式系統(tǒng)網絡

2023-04-19 16:51:54

分布式Primus開源

2018-05-10 09:34:21

spark存儲系統(tǒng)

2017-10-27 08:40:44

分布式存儲剪枝系統(tǒng)
點贊
收藏

51CTO技術棧公眾號