RocketMQ是Java兄弟們常用的消息中間件，雖說常用，但對于RocketMQ架構(gòu)經(jīng)常忘記。究其原因就l兩點：忙于業(yè)務(wù)開發(fā)然后長時間不看則忘了、不理解架構(gòu)設(shè)計的根本原因記不牢。本文用大白話描述架構(gòu)設(shè)計過程，牢記RocketMQ架構(gòu)。

一、架構(gòu)的思考過程

首先，在記框架的原理和架構(gòu)時，要先把握全局的脈絡(luò)，在思考為什么這么設(shè)計，最后才是思考細(xì)節(jié)，這樣才能記得牢。本文通過層層追問的方式，一步步解說RocketMQ架構(gòu)設(shè)計的原因。

1、基本形態(tài)

(1) 如果你是RocketMQ的開發(fā)者，讓你來設(shè)計一個消息中間件，你會設(shè)計哪些角色？

答：起碼要設(shè)計3個角色：

• 消息中轉(zhuǎn)站：Broker，Broker是核心，負(fù)責(zé)：接受消息、存儲消息、處理消費者的消費請求、備份容災(zāi)等。
• 生產(chǎn)者：Producer，生產(chǎn)消息然后投遞到Broker。
• 消費者：Consumer，從Broker中消費消息。

2.消息怎么存

(2) 有了基本形態(tài)后，我們知道，具體的消息肯定是存在Broker里，那消息在Broker里應(yīng)該怎么存儲呢？

答：這里借鑒實際生活中的案例，比如物流公司在發(fā)快遞時，發(fā)往同一個城市的快遞，肯定安排在一起，然后用同一批貨車運往那個城市，這樣整個物流體系運轉(zhuǎn)是最高效的。這里就用到了聚類的方式，讓相似的事物聚到一起。

同樣的，在設(shè)計怎么存儲消息時，也用到聚類的概念，我們把相同類型的消息，放到一個邏輯空間里，這個邏輯空間就是主題Topic。

(3) 那Topic的內(nèi)部又是什么結(jié)構(gòu)呢？

答：Topic的內(nèi)部肯定是一個個的消息對象，那這些消息對象是以什么數(shù)據(jù)結(jié)構(gòu)存在一起的呢？先發(fā)的消息，盡量要保證先被消費到，這里就用到了先進(jìn)先出的數(shù)據(jù)結(jié)構(gòu)-隊列，這就是消息隊列MessageQueue。所以，Topic內(nèi)部是由MessageQueue組成，消息隊列內(nèi)部存放著一個個的消息對象。

3.引入集群

(4) 我們知道Broker是RocketMQ的核心，這么重要的核心掛了怎么辦？

答：既然是RocketMQ的核心，肯定要保證高可用不能掛，所以RocketMQ 會部署多臺 Broker 組成一個集群對外提供服務(wù)。

4.再說消息怎么存

(5) RocketMQ為了保障高可用，會部署多臺Broker組成集群，那么集群場景下有多臺機(jī)器，Topic怎么存呢？

答：我們要學(xué)習(xí)毛主席的思想，“雞蛋不能放在一個籃子里”。既然是要存大量的消息，又有多臺Broker，為了分擔(dān)單臺機(jī)器性能壓力、分擔(dān)存儲容量壓力、保證數(shù)據(jù)容災(zāi)，所以將不同的Topic存儲到不同的Broker里。

還是按照上面物流的例子說明，比如從北京發(fā)往南京的快遞，肯定用同一批貨車運送，快遞少則用一輛貨車，快遞多則用多輛貨車，快遞被劃分到了多個貨車上。同樣的，RocketMQ里的Topic也是分散存儲在多臺 Broker 上的，每臺Broker上存儲的消息內(nèi)容是不同的。

(6) 如果不同的Topic存儲在不同的Broker里，可能某個topic數(shù)據(jù)太大了，出現(xiàn)數(shù)據(jù)傾斜直接干爆某個Broker怎么辦？

答：上面我們提到，Topic實際上是一個個隊列的集合，那只需要將隊列分散存儲到不同的Broker上就行了。

(7) 如果不同的Topic分散存儲在不同的Broker里，還是有數(shù)據(jù)丟失的風(fēng)險，只不過某個topic丟失的數(shù)據(jù)變小而已，這種情況的數(shù)據(jù)容災(zāi)備份怎么做呢？

答：這時候就會用到Broker的主-從架構(gòu)，Broker按角色分為Master和Slave，主從之間會定期地進(jìn)行數(shù)據(jù)同步。Master 負(fù)責(zé)響應(yīng)客戶端的讀寫請求、存儲消息、處理消費者請求等，而 Slave 只負(fù)責(zé)同步 Master 的數(shù)據(jù)。

5.說說NameServer

(8) Broker既然是集群，那生產(chǎn)者在投遞消息時，總得知道有哪些Broker吧，總得知道要往哪個Broker里投遞消息吧，這又要怎么做呢？

答：RocketMQ引入了NameServer的概念，NameServer相當(dāng)于大管家，RocketMQ里的所有基礎(chǔ)信息它都知道。NameServer 存儲了RocketMQ 集群的元數(shù)據(jù)。NameServer 中存放的元數(shù)據(jù)主要有：

• 集群里都有哪些Broker？
• 有哪些生產(chǎn)者？
• 有哪些消費者？
• 集群里都有哪些 Topic？
• 這些 Topic 的消息隊列分別存在哪些 Broker 上？

(9) 那Nameserver如何知道這些消息呢？

答：類似古時候某個人去府里當(dāng)差，當(dāng)差之前要把自己的所有信息登記在冊。同樣的，Broker、Producer、Consumer在啟動時也會將數(shù)據(jù)注冊到 NameServer。

Broker 在啟動時會將自己注冊到 NameServer 上，通過心跳持續(xù)更新元數(shù)據(jù)。同樣的，Producer、Consumer也會和NameServer建立連接、動態(tài)交互集群中的數(shù)據(jù)，這樣即方便上報自己的信息和也方便獲取集群里的其他信息。

至此，RocketMQ的架構(gòu)圖已經(jīng)成型，每一個部件這么設(shè)計的原因也很清晰。

二、總結(jié)

RocketMQ里的核心角色有4個：Broker、Producer、Consumer、NameServer，消息存儲的核心對象有兩個：Topic、MessageQueue。

為了保證數(shù)據(jù)不丟失和數(shù)據(jù)不傾斜，同一個Topic里的MessageQueue會分散存儲在不同的Broker里。