用大白話給你解釋Zookeeper的選舉機制
本文轉(zhuǎn)載自微信公眾號「愛笑的架構(gòu)師」,作者雷架 。轉(zhuǎn)載本文請聯(lián)系愛笑的架構(gòu)師公眾號。
Zookeeper 是一個分布式服務(wù)框架,主要是用來解決分布式應(yīng)用中遇到的一些數(shù)據(jù)管理問題如:統(tǒng)一命名服務(wù)、狀態(tài)同步服務(wù)、集群管理、分布式應(yīng)用配置項的管理等。
我們可以簡單把 Zookeeper 理解為分布式家庭的大管家,那么管家團隊是如何選出Leader的呢?好奇嗎,接下來帶領(lǐng)大家一探究竟。
人類選舉的基本原理
講解 Zookeeper 選舉過程前先來介紹一下人類的選舉。
我們每個人或多或少都經(jīng)歷過幾次選舉,在投票的過程中可能會遇到這樣幾種情況:
情況1:自己與幾個候選人都比較熟,你會將票投給你認為能力比較強的人;
熟人選舉
情況2:自己也是候選人,并且與其他幾個候選人都不熟,這個時候你肯定想著要去拉票,因為覺得自己才是最厲害的人呀,所有人都應(yīng)該把票投給我。但是遺憾的是在拉票的過程中,你發(fā)現(xiàn)別人比你強,你開始自卑了,最終還是把票投給了自己認為最強的人。
自己參與選舉
所有人都投完票之后,最后從投票箱中進行統(tǒng)計,獲得票數(shù)最多的人當選。
思維導圖
在整個投票過程中我們可以提煉出四個最核心的概念:
- 候選人能力:投票的基本原則是選最強的人。
- 遇強改投:如果后面發(fā)現(xiàn)更強的人可以改投票。
- 投票箱:所有人的票都會放在投票箱。
- 領(lǐng)導者:得票最多的人即為領(lǐng)導者。
從人類選舉的原理我們來簡單推導一下Zookeeper的選舉原理。
Zookeeper選舉的基本原理
注意如果 Zookeeper 是單機部署是不需要選舉的,集群模式下才需要選舉。
Zookeeper 的選舉原理和人類選舉的邏輯類似,套用一下人類選舉的四個基本概念詳細解釋一下Zookeeper。
個人能力
如何衡量 Zookeeper 節(jié)點個人能力?答案是靠數(shù)據(jù)是否夠新,如果節(jié)點的數(shù)據(jù)越新就代表這個節(jié)點的個人能力越強,是不是感覺很奇怪,就是這么定的!
在 Zookeeper 中通常是以事務(wù)id(后面簡稱zxid)來標識數(shù)據(jù)的新舊程度(版本),節(jié)點最新的zxid越大代表這個節(jié)點的數(shù)據(jù)越新,也就代表這個節(jié)點能力越強。
zxid 的全稱是 ZooKeeper Transaction Id,即 Zookeeper 事務(wù)id。
遇強改投
在集群選舉開始時,節(jié)點首先認為自己是最強的(即數(shù)據(jù)是最新的),然后在選票上寫上自己的名字(包括zxid和sid),zxid 是事務(wù)id,sid 唯一標識自己。
緊接著會將選票傳遞給其他節(jié)點,同時自己也會接收其他節(jié)點傳過來的選票。每個節(jié)點接收到選票后會做比較,這個人是不是比我強(zxid比我大),如果比較強,那我就需要改票,明明別人比我強,我也不能厚著臉皮對吧。
投票箱
與人類選舉投票箱稍微有點不一樣,Zookeeper 集群會在每個節(jié)點的內(nèi)存中維護一個投票箱。節(jié)點會將自己的選票以及其他節(jié)點的選票都放在這個投票箱中。由于選票是互相傳閱的,所以最終每個節(jié)點投票箱中的選票會是一樣的。
領(lǐng)導者
在投票的過程中會去統(tǒng)計是否有超過一半的選票和自己選擇的是同一個節(jié)點,即都認為某個節(jié)點是最強的。一旦集群中有超過半數(shù)的節(jié)點都認為某個節(jié)點最強,那該節(jié)點就是領(lǐng)導者了,投票也宣告結(jié)束。
什么場景下 Zookeeper 需要選舉?
當 Zookeeper 集群中的一臺服務(wù)器出現(xiàn)以下兩種情況之一時,需要進入 Leader 選舉。
(1)服務(wù)器初始化啟動。
(2)服務(wù)器運行期間 Leader 故障。
啟動時期的 Leader 選舉
假設(shè)一個 Zookeeper 集群中有5臺服務(wù)器,id從1到5編號,并且它們都是最新啟動的,沒有歷史數(shù)據(jù)。
集群剛啟動選舉過程
假設(shè)服務(wù)器依次啟動,我們來分析一下選舉過程:
(1)服務(wù)器1啟動
發(fā)起一次選舉,服務(wù)器1投自己一票,此時服務(wù)器1票數(shù)一票,不夠半數(shù)以上(3票),選舉無法完成。
投票結(jié)果:服務(wù)器1為1票。
服務(wù)器1狀態(tài)保持為LOOKING。
(2)服務(wù)器2啟動
發(fā)起一次選舉,服務(wù)器1和2分別投自己一票,此時服務(wù)器1發(fā)現(xiàn)服務(wù)器2的id比自己大,更改選票投給服務(wù)器2。
投票結(jié)果:服務(wù)器1為0票,服務(wù)器2為2票。
服務(wù)器1,2狀態(tài)保持LOOKING
(3)服務(wù)器3啟動
發(fā)起一次選舉,服務(wù)器1、2、3先投自己一票,然后因為服務(wù)器3的id最大,兩者更改選票投給為服務(wù)器3;
投票結(jié)果:服務(wù)器1為0票,服務(wù)器2為0票,服務(wù)器3為3票。此時服務(wù)器3的票數(shù)已經(jīng)超過半數(shù)(3票),服務(wù)器3當選Leader。
服務(wù)器1,2更改狀態(tài)為FOLLOWING,服務(wù)器3更改狀態(tài)為LEADING。
(4)服務(wù)器4啟動
發(fā)起一次選舉,此時服務(wù)器1,2,3已經(jīng)不是LOOKING 狀態(tài),不會更改選票信息。交換選票信息結(jié)果:服務(wù)器3為3票,服務(wù)器4為1票。此時服務(wù)器4服從多數(shù),更改選票信息為服務(wù)器3。
服務(wù)器4并更改狀態(tài)為FOLLOWING。
(5)服務(wù)器5啟動
與服務(wù)器4一樣投票給3,此時服務(wù)器3一共5票,服務(wù)器5為0票。
服務(wù)器5并更改狀態(tài)為FOLLOWING。
最終的結(jié)果:
服務(wù)器3是 Leader,狀態(tài)為 LEADING;其余服務(wù)器是 Follower,狀態(tài)為 FOLLOWING。
運行時期的Leader選舉
在 Zookeeper運行期間 Leader 和 非 Leader 各司其職,當有非 Leader 服務(wù)器宕機或加入不會影響 Leader,但是一旦 Leader 服務(wù)器掛了,那么整個 Zookeeper 集群將暫停對外服務(wù),會觸發(fā)新一輪的選舉。
初始狀態(tài)下服務(wù)器3當選為Leader,假設(shè)現(xiàn)在服務(wù)器3故障宕機了,此時每個服務(wù)器上zxid可能都不一樣,server1為99,server2為102,server4為100,server5為101
集群 Leader 節(jié)點故障
運行期選舉與初始狀態(tài)投票過程基本類似,大致可以分為以下幾個步驟:
(1)狀態(tài)變更。Leader 故障后,余下的非 Observer 服務(wù)器都會將自己的服務(wù)器狀態(tài)變更為LOOKING,然后開始進入Leader選舉過程。
(2)每個Server會發(fā)出投票。
(3)接收來自各個服務(wù)器的投票,如果其他服務(wù)器的數(shù)據(jù)比自己的新會改投票。
(4)處理和統(tǒng)計投票,每一輪投票結(jié)束后都會統(tǒng)計投票,超過半數(shù)即可當選。
(5)改變服務(wù)器的狀態(tài),宣布當選。
話不多說先來一張圖:
運行器 Leader 故障后選舉流程
(1)第一次投票,每臺機器都會將票投給自己。
(2)接著每臺機器都會將自己的投票發(fā)給其他機器,如果發(fā)現(xiàn)其他機器的zxid比自己大,那么就需要改投票重新投一次。比如server1 收到了三張票,發(fā)現(xiàn)server2的xzid為102,pk一下發(fā)現(xiàn)自己輸了,后面果斷改投票選server2為老大。
選舉機制中涉及到的核心概念
敲黑板了,這些概念是面試必考的。
(1)Server id(或sid):服務(wù)器ID
比如有三臺服務(wù)器,編號分別是1,2,3。編號越大在選擇算法中的權(quán)重越大,比如初始化啟動時就是根據(jù)服務(wù)器ID進行比較。
(2)Zxid:事務(wù)ID
服務(wù)器中存放的數(shù)據(jù)的事務(wù)ID,值越大說明數(shù)據(jù)越新,在選舉算法中數(shù)據(jù)越新權(quán)重越大。
(3)Epoch:邏輯時鐘
也叫投票的次數(shù),同一輪投票過程中的邏輯時鐘值是相同的,每投完一次票這個數(shù)據(jù)就會增加。
(4)Server狀態(tài):選舉狀態(tài)
LOOKING,競選狀態(tài)。
FOLLOWING,隨從狀態(tài),同步leader狀態(tài),參與投票。
OBSERVING,觀察狀態(tài),同步leader狀態(tài),不參與投票。
LEADING,領(lǐng)導者狀態(tài)。
總結(jié)
(1)Zookeeper 選舉會發(fā)生在服務(wù)器初始狀態(tài)和運行狀態(tài)下。
(2)初始狀態(tài)下會根據(jù)服務(wù)器sid的編號對比,編號越大權(quán)值越大,投票過半數(shù)即可選出Leader。
(3)Leader 故障會觸發(fā)新一輪選舉,zxid 代表數(shù)據(jù)越新,權(quán)值也就越大。
(4)在運行期選舉還可能會遇到腦裂的情況,大家可以自行學習。