IBM MQ -> RabbitMQ -> Kafka ->Pulsar, 消息隊(duì)列架構(gòu)是如何演變的？

下圖顯示了架構(gòu)比較。

1.IBM MQ

IBM MQ 于 1993 年推出。它最初稱為 MQSeries，2002 年更名為 WebSphere MQ。2014 年更名為 IBM MQ。IBM MQ 是一款非常成功的產(chǎn)品，廣泛應(yīng)用于金融領(lǐng)域。其收入在 2020 年仍達(dá)到 10 億美元。

隊(duì)列管理器是消息隊(duì)列的邏輯容器。它通過消息通道向其他隊(duì)列管理器傳輸數(shù)據(jù)。隊(duì)列存儲(chǔ)消息。消息是待傳輸數(shù)據(jù)的抽象概念。消息頭包含路由、存儲(chǔ)和交付信息。

2. RabbitMQ

2003 年，金融行業(yè)的多家機(jī)構(gòu)希望開發(fā)一種標(biāo)準(zhǔn)化的消息傳遞協(xié)議，于是 AMQP（高級(jí)消息隊(duì)列協(xié)議）在摩根大通誕生了。與在 API 層面標(biāo)準(zhǔn)化的 JMS（Java 消息傳遞服務(wù)）不同，AMQP 是一種線層面的協(xié)議，這意味著它指定了要傳輸?shù)臄?shù)據(jù)格式。作為 AMQP 的實(shí)現(xiàn)之一，RabbitMQ 由 Rabbit Technologies 于 2007 年開發(fā)，后被 VMWare 收購(gòu)。

RabbitMQ 架構(gòu)不同于 IBM MQ，更類似于 Kafka 概念。生產(chǎn)者向指定交換類型的交換發(fā)布消息。它可以是直接、主題或扇出。然后，交換中心根據(jù)不同的消息屬性和交換類型將消息路由到隊(duì)列中。消費(fèi)者據(jù)此接收信息。

3. Kafka

2011 年初，LinkedIn 開源了 Kafka，這是一個(gè)分布式事件流平臺(tái)。它以弗朗茨-卡夫卡（Franz Kafka）的名字命名。顧名思義，Kafka 是為寫而優(yōu)化的。它為處理實(shí)時(shí)數(shù)據(jù)饋送提供了一個(gè)高吞吐量、低延遲的平臺(tái)。它提供了一個(gè)統(tǒng)一的事件日志來實(shí)現(xiàn)事件流，在互聯(lián)網(wǎng)公司中得到廣泛應(yīng)用。

Kafka 定義了生產(chǎn)者、經(jīng)紀(jì)人、主題、分區(qū)和消費(fèi)者。它的簡(jiǎn)單性和容錯(cuò)性使其能夠取代以前的產(chǎn)品，如基于 AMQP 的消息隊(duì)列。

4. Pulsar

Pulsar 最初由雅虎開發(fā)，是一個(gè)一體化的消息和流平臺(tái)。與 Kafka 相比，Pulsar 融合了其他產(chǎn)品的許多有用功能。此外，Pulsar 的架構(gòu)更加原生云化，在集群擴(kuò)展和分區(qū)遷移等方面提供了更好的支持。

Pulsar 架構(gòu)分為兩層：服務(wù)層和持久層。Pulsar 本身支持分層存儲(chǔ)，我們可以利用 AWS S3 等更便宜的對(duì)象存儲(chǔ)來長(zhǎng)期持久化消息。