分布式事務(wù)解決方案—事務(wù)消息
普通消息難以保證生產(chǎn)者的事務(wù)操作與消息發(fā)送的原子性,所以可能會(huì)導(dǎo)致數(shù)據(jù)不一致;RocketMQ提供了一種在普通消息基礎(chǔ)上支持二階段的提交能力事務(wù)消息,事務(wù)消息可以支持在分布式場景下保障消息生產(chǎn)和本地事務(wù)的最終一致性。
1、事務(wù)消息基本概念
(1)半消息
生產(chǎn)者發(fā)送的消息首先作為“半消息”存儲(chǔ)在Broker中,對消費(fèi)者不可見。Broker 等待生產(chǎn)者確認(rèn)消息狀態(tài)(提交或回滾),事務(wù)消息有3種狀態(tài)如下所示:
狀態(tài) | 狀態(tài)的描述 |
TransactionStatus.CommitTransaction | 提交事務(wù),表示允許消費(fèi)者消費(fèi)(使用)這條消息 |
TransactionStatus.RollbackTransaction | 回滾事務(wù),表示消息將被刪除,不允許使用 |
TransactionStatus.Unknown | 中間狀態(tài),表示需要MQ向消息發(fā)送方進(jìn)行檢查以確定狀態(tài) |
(2)事務(wù)狀態(tài)檢查
如果生產(chǎn)者未及時(shí)確認(rèn),Broker會(huì)定時(shí)回查生產(chǎn)者的事務(wù)的最終狀態(tài),通過回查的最終狀態(tài)決定半消息是提交還是回滾操作。
(3)接口API
RocketMQ提供了兩大重要的接口,分別是TransactionMQProducer 和TransactionListener,這個(gè)兩個(gè)接口主要用于發(fā)送事務(wù)消息并處理本地事務(wù)邏輯。
(4)存儲(chǔ)與可靠性
事務(wù)消息存儲(chǔ)在Broker的專門的隊(duì)列中,通過記錄事務(wù)狀態(tài)日志來確保高可用性和一致性。相對于普通消息,事務(wù)消息增加了半消息階段和狀態(tài)檢查機(jī)制,然后通過狀態(tài)檢查機(jī)制來保證分布式下數(shù)據(jù)的最終一致性。
2、事務(wù)消息的實(shí)現(xiàn)
RocketMQ事務(wù)消息的實(shí)現(xiàn)原理圖如下所示:
圖片
第一階段
A服務(wù)中生產(chǎn)者發(fā)送半消息至RocketMQ的服務(wù)端,RocketMQ服務(wù)端將消息持久化后,向生產(chǎn)者返回ACK確認(rèn)消息,表示消息已經(jīng)發(fā)送成功,此時(shí)消息會(huì)持久化在RocketMQ的隊(duì)列中,這個(gè)消息對于消費(fèi)者暫不能消費(fèi)。
A服務(wù)執(zhí)行本地的業(yè)務(wù)邏輯,然后根據(jù)A服務(wù)本地事務(wù)執(zhí)行結(jié)果確定第二階段的提交/回滾操作。
第二階段
(1)A服務(wù)的本地事務(wù)執(zhí)行成功,此時(shí)消息的確認(rèn)結(jié)果為提交,那么RocketMQ服務(wù)端將半消息事務(wù)標(biāo)記為可消費(fèi)的完整消息,如下圖所示:
圖片
消息變成完整消息后就可以被消費(fèi)者消費(fèi)了。
(2)A服務(wù)的本地事務(wù)執(zhí)行失敗,此時(shí)消息的確認(rèn)結(jié)果為回滾,那么RocketMQ將半事務(wù)消息刪除,這樣就不會(huì)投遞給消費(fèi)者消費(fèi)。
(3)為了保證第二階段的數(shù)據(jù)一致性,RocketMQ提供了針對半消息的消息狀態(tài)回查機(jī)制,即就是如果RocketMQ服務(wù)端未收到生產(chǎn)者提交的二次確認(rèn)結(jié)果或者收到的確認(rèn)結(jié)果為未知狀態(tài)(Unknow),RocketMQ服務(wù)端會(huì)定期對消息生產(chǎn)者發(fā)起回查機(jī)制。
當(dāng)A服務(wù)接收到回查任務(wù)的時(shí)候,會(huì)檢查本地事務(wù)執(zhí)行的最終結(jié)果,然后提交事務(wù)執(zhí)行的最終結(jié)果給RocketMQ服務(wù)端,RocketMQ服務(wù)端根據(jù)最終的執(zhí)行結(jié)果決定這個(gè)半消息是提交還是回滾。
總結(jié)
(1)RocketMQ的事務(wù)消息保證了本地事務(wù)與事務(wù)消息發(fā)送的一致性,本地事務(wù)執(zhí)行成功,事務(wù)消息方可投遞到消費(fèi)者端處理。
(2)未收到生產(chǎn)者提交的二次確認(rèn)結(jié)果或者收到的確認(rèn)結(jié)果為未知狀態(tài)的半消息,RocketMQ提供了消息狀態(tài)回查機(jī)制,通過回查生產(chǎn)者端的本地事務(wù)的執(zhí)行結(jié)果來判斷半消息的最終狀態(tài)。
(3)RocketMQ事務(wù)消息提供了超時(shí)機(jī)制,即半事務(wù)消息被生產(chǎn)者發(fā)送到Broker后,如果在指定時(shí)間內(nèi)(默認(rèn)4小時(shí))服務(wù)端無法確認(rèn)提交或者回滾狀態(tài),則消息默認(rèn)會(huì)被回滾。
(4)RocketMQ事務(wù)消息無法實(shí)現(xiàn)嚴(yán)格的實(shí)時(shí)一致性,只能保證最終一致性,所以針對那些實(shí)時(shí)性要求高的場景下RocketMQ事務(wù)消息是不適合的。
(5)事務(wù)執(zhí)行時(shí)間過長會(huì)影響系統(tǒng)整體吞吐量,同時(shí)在消費(fèi)者端需要消費(fèi)者自行的實(shí)現(xiàn)消息的冪等處理。