偷偷摘套内射激情视频,久久精品99国产国产精,中文字幕无线乱码人妻,中文在线中文a,性爽19p

Spark的三種集群deploy模式對比

大數(shù)據(jù) Spark
Spark有三種集群部署模式,或者叫做集群管理模式。分別是standalone,YARN和Mesos。這三種模式其實都是master/slave模式。

Spark有三種集群部署模式,或者叫做集群管理模式。分別是standalone,YARN和Mesos。這三種模式其實都是master/slave模式。

那么在實際的項目中,我們該如何對比選擇呢?下面是我的一些總結,主要參考了:

Which Apache Spark Cluster Managers Are The Right Fit? YARN, Mesos, or Standalone?

三種集群資源管理概述

Spark Standalone

作為Spark的一部分,Standalone是一個簡單的集群管理器。它具有master的HA,彈性應對WorkerFailures,對每個應用程序的管理資源的能力,并且可以在現(xiàn)有的Hadoop一起運行和訪問HDFS的數(shù)據(jù)。該發(fā)行版包括一些腳本,可以很容易地部署在本地或在AmazonEC2云計算。它可以在Linux,Windows或Mac OSX上運行。

Apache Mesos

Apache Mesos ,分布式系統(tǒng)內(nèi)核,具有HA的masters和slaves,可以管理每個應用程序的資源,并對Docker容器有很好的支持。它可以運行Spark工作, Hadoop的MapReduce的,或任何其他服務的應用程序。它有Java, Python和C ++ 的API。它可以在Linux或Mac OSX上運行。

Hadoop YARN

Hadoop YARN,作業(yè)調(diào)度和集群資源管理的分布式計算框架,具有HA為masters和slaves,在非安全模式下支持Docker容器,在安全模式下支持 Linux和Windows container executors,和可插拔的調(diào)度器。它可以運行在Linux和Windows上運行。

集群資源調(diào)度能力的對比

模式資源調(diào)度能力比對SecurityHA

  • standalone 只支持FIFO調(diào)度器,單用戶串行,默認所有節(jié)點的所有資源對應用都可用,node節(jié)點的限制,cpu內(nèi)存等限制可以通過SparkConf來控制 shared secret ,SSL for data encryptionStandby Masters with ZooKeeper和本地文件系統(tǒng)的單點恢復
  • YARN 支持資源調(diào)度器Scheduler,應用管理器ApplicationsManager。CapacityScheduler和 FairScheduler在隊列的范圍內(nèi),資源共享。Kerberos。SSL for data encryption主備切換的HA方式,依賴于zookeeper,但不需要單獨的zkfc進程
  • Mesos看下方:插件式安全模塊,默認Cyrus SASL,SSL for data encryption一主多備,基于zookeeper的leader選舉

Mesos的資源調(diào)度能力描述

粗粒度模式(Coarse-grained Mode):每個應用程序的運行環(huán)境由一個Dirver和若干個Executor組成,其中,每個Executor占用若干資源,內(nèi)部可運行多個 Task(對應多少個“slot”)。應用程序的各個任務正式運行之前,需要將運行環(huán)境中的資源全部申請好,且運行過程中要一直占用這些資源,即使不用,***程序運行結束后,回收這些資源。舉個例子,比如你提交應用程序時,指定使用5個executor運行你的應用程序,每個executor占用5GB內(nèi)存和5個CPU,每個executor內(nèi)部設置了5個slot,則Mesos需要先為executor分配資源并啟動它們,之后開始調(diào)度任務。另外,在程序運行過程中,mesos的master和slave并不知道executor內(nèi)部各個task的運行情況,executor直接將任務狀態(tài)通過內(nèi)部的通信機制匯報給Driver,從一定程度上可以認為,每個應用程序利用mesos搭建了一個虛擬集群自己使用。

細粒度模式(Fine-grained Mode):鑒于粗粒度模式會造成大量資源浪費,Spark On Mesos還提供了另外一種調(diào)度模式:細粒度模式,這種模式類似于現(xiàn)在的云計算,思想是按需分配。與粗粒度模式一樣,應用程序啟動時,先會啟動 executor,但每個executor占用資源僅僅是自己運行所需的資源,不需要考慮將來要運行的任務,之后,mesos會為每個executor動態(tài)分配資源,每分配一些,便可以運行一個新任務,單個Task運行完之后可以馬上釋放對應的資源。每個Task會匯報狀態(tài)給Mesos slave和Mesos Master,便于更加細粒度管理和容錯,這種調(diào)度模式類似于MapReduce調(diào)度模式,每個Task完全獨立,優(yōu)點是便于資源控制和隔離,但缺點也很明顯,短作業(yè)運行延遲大。

筆者總結

  • 從對比上看,mesos似乎是Spark更好的選擇,也是被官方推薦的
  • 但如果你同時運行hadoop和Spark,從兼容性上考慮,Yarn似乎是更好的選擇,畢竟是親生的。Spark on Yarn運行的也不錯。
  • 如果你不僅運行了hadoop,spark。還在資源管理上運行了docker,Mesos似乎更加通用。
  • standalone小規(guī)模計算集群,似乎更適合!
責任編輯:未麗燕 來源: 全球CTO俱樂部
相關推薦

2015-09-14 09:31:44

結對設計

2022-05-27 11:33:02

前端代碼設計模式

2009-11-06 13:23:27

WCF模式

2021-02-25 23:40:26

Redis集群架構

2010-06-28 17:43:44

SQL Server

2012-05-31 09:50:26

開源CMS

2013-03-27 10:01:53

網(wǎng)絡應用檢測工具

2010-09-09 10:08:59

2010-04-22 14:32:56

LVS負載均衡集群

2009-09-01 10:00:55

Tomcat集群方式

2020-11-03 19:52:54

Java數(shù)組編程語言

2012-12-14 10:16:26

2022-09-26 08:03:25

VMware虛擬機

2022-11-03 08:44:24

代理模式Java設計模式

2022-03-29 07:33:21

內(nèi)網(wǎng)穿透工具

2019-04-15 13:52:18

微服務配置中心Apollo

2022-06-16 08:24:59

設計模式代碼前端

2011-01-18 15:35:59

jQueryJavaScriptweb

2018-07-10 08:42:45

Oracle高可用集群

2020-11-24 10:13:02

Redis集群數(shù)據(jù)庫
點贊
收藏

51CTO技術棧公眾號