偷偷摘套内射激情视频,久久精品99国产国产精,中文字幕无线乱码人妻,中文在线中文a,性爽19p

Mesos的Framework與Executor注冊過程

開發(fā) 前端
本文以Hadoop框架為例,介紹了framework與executor向mesos注冊過程。

本文以Hadoop框架為例,介紹了framework與executor向mesos注冊過程。

1. Framework注冊過程

(1) JobTracker啟動時(shí),會調(diào)用MesosScheduler的start()方法

(2) MesosScheduler的start()方法創(chuàng)建一個MesosSchedulerDriver對象,并將自己作為參數(shù)傳入該對象。

(3) MesosSchedulerDriver初始化,創(chuàng)建一個SchedulerProcess對象

(4) MesosSchedulerDriver初始化,調(diào)用MasterDetector::create(),它將向SchedulerProcess對象發(fā)送一個NewMasterDetectedMessage消息

(5) SchedulerProcess對象收到NewMasterDetectedMessage消息后,向Master發(fā)送一個RegisterFrameworkMessage消息

(6) Master收到該消息后,保存相關(guān)信息,并返回FrameworkRegistedMessage消息,確認(rèn)framework注冊成功

2.     Executor注冊過程

本節(jié)描述框架frameworkX在某個slaveX上注冊executor executorX的過程:

(1)Master***次向slaveX發(fā)送執(zhí)行frameworkX中task的消息 RunTaskMessage

(2)slave收到該消息后,運(yùn)行相應(yīng)的消息處理函數(shù)runTask()

(3)該函數(shù)發(fā)現(xiàn)該slave上未啟動frameworkX對應(yīng)的executorX,則調(diào)用IsolationModule的lauchExecutor()函數(shù)

(4)該函數(shù)創(chuàng)建一個FrameworkExecutor對象,并調(diào)用ExecutorProcess的Initialize()函數(shù)進(jìn)行初始化,同時(shí)啟動TaskTracker

(5)Initialize()函數(shù)創(chuàng)建消息RegisterExecutorMessage,并發(fā)送給slave

(6)Slave收到該消息后,調(diào)用對象的消息處理函數(shù)registerExecutor,該函數(shù)創(chuàng)建ExecutorRegisteredMessage消息,返回給ExecutorProcess

(7)ExecutorProcess收到該消息后,調(diào)用對應(yīng)的消息處理函數(shù)registered(),該函數(shù)再進(jìn)一步調(diào)用FrameworkExecutor的registered()函數(shù)

接下來,master發(fā)送給slave的RunTaskMessage消息依次經(jīng)過的流程如下圖所示。需要注意的是,對于同一個計(jì)算框 架,Mesos在一個slave上只會創(chuàng)建一個資源container,所有task全部在這個container里運(yùn)行,也就是說,mesos無法做到 task級別的隔離,只能做到executor級別的隔離,而對于同一個框架,同一個slave上所有task全部在一個executor中運(yùn)行。

對于Hadoop而言,每個mesos-slave上只會創(chuàng)建一個TaskTracker,且該TaskTracker會被放置到一個 executor(對應(yīng)一個linux container)中運(yùn)行,而同一個TaskTracker上所有task均在該TaskTracker所在進(jìn)程樹中,因而共享該executor對應(yīng) 的資源。當(dāng)TaskTracker接收到新的task時(shí),會增加該executor可以使用的資源量(使用“lxc-cgroup –n %s %s %lld”),而當(dāng)有task運(yùn)行完成時(shí),則減少該executor可使用的資源量(使用“lxc-cgroup –n %s %s %lld”)。

原文鏈接:http://dongxicheng.org/apache-mesos/apache-mesos-framework-executor-registering/

責(zé)任編輯:陳四芳 來源: dongxicheng.org
相關(guān)推薦

2014-01-06 16:38:29

MesosApache

2014-01-06 11:26:38

ApacheMesos

2014-01-06 17:41:44

ApacheMesos

2009-07-07 12:09:04

注冊表開發(fā).NET Compac

2016-01-07 10:29:36

MesosDocker持續(xù)交付

2014-02-14 15:12:41

ApacheMesos架構(gòu)

2009-08-18 11:08:24

.Net Framew

2014-01-06 17:30:50

ApacheMesos架構(gòu)

2010-01-06 16:25:58

.Net Framew

2015-03-10 09:24:48

DockerDocker SwarDocker編排

2014-01-06 11:23:54

Mesos設(shè)計(jì)架構(gòu)

2021-03-23 08:40:47

集群管理系統(tǒng)

2010-01-06 11:30:22

.NET Framew

2009-07-10 11:28:39

2022-08-15 11:28:22

handler注冊過程APiServer

2021-04-19 08:17:42

MesosKubernetesLinux

2014-01-06 17:24:44

ApacheMesos

2014-01-06 17:09:10

ApacheMesos

2017-02-27 09:03:37

Mesos架構(gòu)源碼

2012-08-20 10:40:01

IBMdW
點(diǎn)贊
收藏

51CTO技術(shù)棧公眾號