1、應(yīng)用場(chǎng)景

RabbitMQ：

適用于易用性和靈活性要求較高的場(chǎng)景：

• 異步任務(wù)處理：RabbitMQ提供可靠的消息傳遞機(jī)制，適用于處理異步任務(wù)，例如將耗時(shí)的任務(wù)放入消息隊(duì)列中，然后由消費(fèi)者異步處理，提高系統(tǒng)的響應(yīng)速度和可伸縮性。
• 解耦系統(tǒng)組件：通過使用RabbitMQ作為消息中間件，不同的系統(tǒng)組件可以通過消息進(jìn)行解耦，實(shí)現(xiàn)松耦合的架構(gòu)，提高系統(tǒng)的可維護(hù)性和靈活性。
• 事件驅(qū)動(dòng)架構(gòu)：RabbitMQ的發(fā)布-訂閱模式可以用于構(gòu)建事件驅(qū)動(dòng)架構(gòu)，將系統(tǒng)中的事件作為消息發(fā)布到相應(yīng)的主題，不同的消費(fèi)者可以訂閱感興趣的主題進(jìn)行相應(yīng)的處理。

RocketMQ：

適用于大規(guī)模數(shù)據(jù)處理和高吞吐量的場(chǎng)景：

• 分布式事務(wù)：RocketMQ支持分布式事務(wù)消息，適用于涉及多個(gè)業(yè)務(wù)系統(tǒng)的分布式事務(wù)場(chǎng)景，確保消息的一致性和可靠性，同時(shí)提供高吞吐量的消息傳遞能力。
• 實(shí)時(shí)日志處理：由于RocketMQ具備高吞吐量和低延遲的特點(diǎn)，可以用于實(shí)時(shí)日志處理，例如日志收集和分析、日志聚合等場(chǎng)景。
• 流式處理：RocketMQ支持流式處理模式，可以將產(chǎn)生的數(shù)據(jù)流通過消息隊(duì)列傳遞給流處理框架（如Flink、Spark Streaming），實(shí)現(xiàn)實(shí)時(shí)數(shù)據(jù)處理和分析。

Kafka：

適用于高吞吐量的實(shí)時(shí)數(shù)據(jù)流處理和流式處理場(chǎng)景：

• 數(shù)據(jù)管道和實(shí)時(shí)數(shù)據(jù)處理：Kafka的高吞吐量和可持久化存儲(chǔ)特性使其成為構(gòu)建可靠的數(shù)據(jù)管道和實(shí)時(shí)數(shù)據(jù)處理系統(tǒng)的理想選擇，用于流式數(shù)據(jù)的收集、傳輸和處理。
• 日志和事件流處理：Kafka的分區(qū)和有序性保證特性使其成為日志和事件流處理的理想解決方案，例如應(yīng)用日志收集、事件溯源、業(yè)務(wù)監(jiān)控等。
• 實(shí)時(shí)流分析和機(jī)器學(xué)習(xí)：Kafka與流處理框架（如Flink、Spark Streaming）結(jié)合使用，支持實(shí)時(shí)流分析和機(jī)器學(xué)習(xí)任務(wù)，處理實(shí)時(shí)數(shù)據(jù)流以獲取實(shí)時(shí)的洞察和決策支持。

2、服務(wù)架構(gòu)

RabbitMQ

• Channel（通道）：Channel是RabbitMQ與應(yīng)用程序之間的虛擬連接。通過在物理連接（connection）上創(chuàng)建多個(gè)通道，應(yīng)用程序可以并發(fā)地進(jìn)行消息傳遞操作。通道負(fù)責(zé)發(fā)送和接收消息，并執(zhí)行一些與消息相關(guān)的操作，如聲明隊(duì)列、定義交換機(jī)和綁定等。通道可以看作是輕量級(jí)的會(huì)話，通過一個(gè)物理連接與RabbitMQ進(jìn)行交互。
• Exchange（交換機(jī)）：交換機(jī)是消息的接收和轉(zhuǎn)發(fā)中心。當(dāng)消息發(fā)送到RabbitMQ時(shí)，會(huì)通過交換機(jī)進(jìn)行路由。交換機(jī)根據(jù)其類型和綁定規(guī)則，將消息路由到一個(gè)或多個(gè)隊(duì)列中。常見的交換機(jī)類型包括直連交換機(jī)（direct）、主題交換機(jī)（topic）、扇形交換機(jī)（fanout）和頭部交換機(jī)（headers）。
• Queue（隊(duì)列）：隊(duì)列是RabbitMQ用于存儲(chǔ)消息的緩沖區(qū)。當(dāng)消息無(wú)法立即路由到消費(fèi)者時(shí)，會(huì)被存儲(chǔ)在隊(duì)列中，等待消費(fèi)者來(lái)獲取和處理。每個(gè)隊(duì)列都有一個(gè)唯一的名稱，并且按照FIFO（先進(jìn)先出）的順序進(jìn)行消息的投遞和消費(fèi)。
• Virtual Host（虛擬主機(jī)）：虛擬主機(jī)是邏輯上的隔離環(huán)境，用于將RabbitMQ服務(wù)器劃分為多個(gè)獨(dú)立的部分。每個(gè)虛擬主機(jī)都有自己的交換機(jī)、隊(duì)列、綁定和權(quán)限設(shè)置。虛擬主機(jī)可以幫助不同應(yīng)用程序或服務(wù)之間進(jìn)行隔離，并提供安全性和資源管理的控制。
• Broker（代理）：Broker是RabbitMQ消息隊(duì)列服務(wù)器的實(shí)例，負(fù)責(zé)接收、存儲(chǔ)和路由消息。它充當(dāng)中間人的角色，將生產(chǎn)者發(fā)送的消息傳遞給消費(fèi)者。一個(gè)RabbitMQ實(shí)例可以包含多個(gè)Broker，每個(gè)Broker可以承載多個(gè)虛擬主機(jī)和隊(duì)列。

RocketMQ

• NameServer（命名服務(wù)器）：NameServer是RocketMQ的命名服務(wù)組件，用于管理和提供Broker的路由信息。它充當(dāng)元數(shù)據(jù)的中心，負(fù)責(zé)維護(hù)Broker的注冊(cè)信息、Topic的路由信息等。Producer和Consumer在發(fā)送和接收消息之前，需要與NameServer進(jìn)行交互以獲取正確的Broker信息。
• Controller（控制器）：Controller是RocketMQ的控制器組件，負(fù)責(zé)協(xié)調(diào)和管理整個(gè)RocketMQ集群的工作。它監(jiān)控Broker的狀態(tài)變化，處理集群的擴(kuò)容和縮容，進(jìn)行負(fù)載均衡等操作。Controller是RocketMQ集群的核心組件之一，確保集群的可靠運(yùn)行和自動(dòng)化管理。

  

• Broker（代理）：Broker是RocketMQ的消息存儲(chǔ)和處理節(jié)點(diǎn)。它負(fù)責(zé)接收來(lái)自Producer的消息，并將其存儲(chǔ)在磁盤上。Broker還負(fù)責(zé)處理Consumer的消息拉取請(qǐng)求，并將消息推送給Consumer進(jìn)行消費(fèi)。一個(gè)RocketMQ集群可以包含多個(gè)Broker，每個(gè)Broker負(fù)責(zé)存儲(chǔ)一部分Topic的消息數(shù)據(jù)。

KafkaMQ

• Broker（代理）：Broker是Kafka集群中的一個(gè)節(jié)點(diǎn)，負(fù)責(zé)存儲(chǔ)和處理消息。每個(gè)Broker都是一個(gè)獨(dú)立的Kafka服務(wù)器實(shí)例。它可以是單獨(dú)的物理服務(wù)器、虛擬機(jī)或容器。一個(gè)Kafka集群可以包含多個(gè)Broker，它們共同協(xié)作來(lái)實(shí)現(xiàn)高可用、高吞吐量的消息傳遞。
• Topic（主題）：Topic是消息的邏輯分類或主題。它是消息發(fā)布和訂閱的單位。Producer將消息發(fā)布到指定的Topic，而Consumer則訂閱感興趣的Topic以接收消息。Topic可以被認(rèn)為是一個(gè)消息的容器，用于將相關(guān)的消息進(jìn)行歸類和分組。
• Partition（分區(qū)）：Topic可以分成一個(gè)或多個(gè)分區(qū)，每個(gè)分區(qū)是Topic的子集。分區(qū)是消息存儲(chǔ)和傳遞的最小單位。每個(gè)分區(qū)在物理上對(duì)應(yīng)一個(gè)獨(dú)立的日志文件，它們分布在不同的Broker上。分區(qū)使得Kafka能夠?qū)崿F(xiàn)水平擴(kuò)展和并行處理，同時(shí)提供更高的吞吐量。每個(gè)分區(qū)中的消息按照先入先出的順序進(jìn)行存儲(chǔ)和傳遞。

3、持久化和可靠性：

• RabbitMQ：RabbitMQ采用消息持久化機(jī)制，消息被持久化到磁盤上，保證消息的可靠性。支持多種消息確認(rèn)機(jī)制和事務(wù)，可以保證消息的可靠傳遞。
• RocketMQ：RocketMQ具有強(qiáng)大的持久化和可靠性特性，支持同步刷盤和異步復(fù)制機(jī)制，能夠提供高可靠性的消息傳遞保證。
• Kafka：Kafka以持久化的方式存儲(chǔ)消息，消息被寫入磁盤上的日志文件。通過分區(qū)和復(fù)制機(jī)制，提供了高可靠性和持久化存儲(chǔ)的能力。

4、吞吐量

• RabbitMQ：RabbitMQ的吞吐量通常較低，適合中小規(guī)模的應(yīng)用場(chǎng)景。RabbitMQ適用于中小規(guī)模的應(yīng)用場(chǎng)景，通常能夠處理萬(wàn)級(jí)到十萬(wàn)級(jí)的消息量級(jí)。它主要側(cè)重于消息的可靠性傳遞和消息的持久化，對(duì)于高吞吐量的需求可能需要進(jìn)行優(yōu)化和調(diào)整。
• RocketMQ：RocketMQ具有較高的吞吐量，可以達(dá)到百萬(wàn)級(jí)消息的處理能力。它在分布式事務(wù)和大規(guī)模消息傳遞場(chǎng)景下表現(xiàn)出色。
• Kafka：Kafka是以高吞吐量而著稱的消息隊(duì)列系統(tǒng)，能夠處理百萬(wàn)級(jí)甚至更高的消息量級(jí)。Kafka適用于大規(guī)模數(shù)據(jù)處理、實(shí)時(shí)流處理和日志處理等高吞吐量場(chǎng)景。

5、響應(yīng)時(shí)間

6、社區(qū)及生態(tài)

• RabbitMQ：RabbitMQ擁有豐富的插件和工具生態(tài)系統(tǒng)，具有廣泛的開發(fā)者社區(qū)支持。
• RocketMQ：RocketMQ在國(guó)內(nèi)得到廣泛應(yīng)用，具有豐富的阿里巴巴生態(tài)系統(tǒng)和社區(qū)支持。
• Kafka：Kafka擁有活躍的開源社區(qū)和廣泛的生態(tài)系統(tǒng)，被許多大型公司廣泛采用。

Github Star

Github Contributors

總的來(lái)說(shuō)：rabbitmq<rocketmq<kafka。

7、設(shè)計(jì)理念

• RabbitMQ：RabbitMQ是一個(gè)基于AMQP（高級(jí)消息隊(duì)列協(xié)議）的開源消息中間件，強(qiáng)調(diào)易用性和靈活性，支持多種消息模式和可靠的消息傳遞。
• RocketMQ：RocketMQ是阿里巴巴開源的分布式消息中間件，最初是為了滿足阿里巴巴內(nèi)部的海量數(shù)據(jù)處理需求而設(shè)計(jì)的，具有高吞吐量和低延遲的特點(diǎn)。在2016年阿里巴巴將RocketMQ捐贈(zèng)給了Apache軟件基金會(huì)。
• Kafka：Kafka是由LinkedIn開發(fā)的分布式流處理平臺(tái)，主要用于高吞吐量的實(shí)時(shí)數(shù)據(jù)流處理，以持久化的方式存儲(chǔ)和處理數(shù)據(jù)。在2011年Kafka成為Apache開源項(xiàng)目。

8、數(shù)據(jù)模型

• RabbitMQ：RabbitMQ采用隊(duì)列（Queue）模型，消息被發(fā)送到隊(duì)列中，消費(fèi)者從隊(duì)列中接收消息并進(jìn)行處理。
• RocketMQ：RocketMQ采用主題（Topic）和標(biāo)簽（Tag）的模型，消息被發(fā)布到主題上，消費(fèi)者可以根據(jù)主題和標(biāo)簽進(jìn)行訂閱和過濾消息。
• Kafka：Kafka采用發(fā)布-訂閱的模型，消息被發(fā)布到主題上，多個(gè)消費(fèi)者可以訂閱同一個(gè)主題并獨(dú)立消費(fèi)消息。

9、Web管理工具

• RabbitMQ

RabbitMQ Web管理界面：RabbitMQ自帶一個(gè)Web管理界面，可以通過瀏覽器訪問。它提供了直觀的用戶界面，可以查看和管理RabbitMQ服務(wù)器的各個(gè)方面，包括隊(duì)列、交換機(jī)、綁定、用戶權(quán)限等。默認(rèn)情況下，Web管理界面運(yùn)行在15672端口。

RokcetMQ

RocketMQ Console：RocketMQ官方提供了一個(gè)Web控制臺(tái)，稱為RocketMQ Console。它提供了一個(gè)可視化界面，用于管理和監(jiān)控RocketMQ集群的各個(gè)方面，包括Topic、消費(fèi)者組、消息查詢、性能統(tǒng)計(jì)等。你可以通過訪問控制臺(tái)的URL來(lái)使用該工具。

Kafka

Kafka Manager：Kafka Manager是由Yahoo開發(fā)的一個(gè)開源圖形化管理工具，用于管理Apache Kafka集群。它提供了集群狀態(tài)的實(shí)時(shí)監(jiān)控、主題和分區(qū)的管理、消費(fèi)者組的管理等功能。

10、消息模式

主流的消息中間件的傳輸模型主要為點(diǎn)對(duì)點(diǎn)模型和發(fā)布訂閱模型。具體來(lái)說(shuō)：

RabbitMQ：

• 發(fā)布-訂閱模式：RabbitMQ支持發(fā)布-訂閱模式，其中生產(chǎn)者將消息發(fā)布到交換機(jī)（Exchange），然后交換機(jī)將消息傳遞給多個(gè)綁定（Binding）到它的隊(duì)列。消費(fèi)者可以獨(dú)立地從隊(duì)列中接收消息。
• 點(diǎn)對(duì)點(diǎn)模式：RabbitMQ也支持點(diǎn)對(duì)點(diǎn)模式，其中生產(chǎn)者將消息發(fā)送到指定的隊(duì)列，然后消費(fèi)者從該隊(duì)列中接收消息。每條消息只能被一個(gè)消費(fèi)者接收和處理。

RocketMQ：

• 發(fā)布-訂閱模式：RocketMQ支持發(fā)布-訂閱模式，其中生產(chǎn)者將消息發(fā)送到指定的主題（Topic），然后消費(fèi)者訂閱感興趣的主題。RocketMQ的訂閱模式支持多種訂閱方式，如廣播模式和集群模式，可以實(shí)現(xiàn)消息的多播或負(fù)載均衡消費(fèi)。
• 隊(duì)列模式：RocketMQ還支持隊(duì)列模式，其中生產(chǎn)者將消息發(fā)送到指定的隊(duì)列，然后消費(fèi)者從指定的隊(duì)列中接收消息。多個(gè)消費(fèi)者可以并行地從同一個(gè)隊(duì)列消費(fèi)消息。

Kafka：

• 發(fā)布-訂閱模式：Kafka采用發(fā)布-訂閱模式，其中生產(chǎn)者將消息發(fā)布到指定的主題（Topic），然后消費(fèi)者訂閱感興趣的主題。Kafka的訂閱模式支持多個(gè)消費(fèi)者組，每個(gè)消費(fèi)者組都可以獨(dú)立地消費(fèi)消息，實(shí)現(xiàn)了高吞吐量和水平擴(kuò)展。
• 分區(qū)模式：Kafka通過分區(qū)將主題劃分為多個(gè)分區(qū)，每個(gè)分區(qū)在物理上對(duì)應(yīng)一個(gè)獨(dú)立的日志文件。生產(chǎn)者將消息發(fā)送到指定分區(qū)，消費(fèi)者可以按照分區(qū)進(jìn)行并行消費(fèi)。這種分區(qū)模式使得Kafka能夠?qū)崿F(xiàn)水平擴(kuò)展和高吞吐量。