還不理解“分布式事務(wù)”?這篇給你講清楚!
原創(chuàng)【51CTO.com原創(chuàng)稿件】這篇文章將介紹什么是分布式事務(wù),分布式事務(wù)解決什么問題,對分布式事務(wù)實現(xiàn)的難點(diǎn),解決思路,不同場景下方案的選擇,通過圖解的方式進(jìn)行梳理、總結(jié)和比較。
相信耐心看完這篇文章,談到分布式事務(wù),不再只是有“2PC”、“3PC”、“MQ的消息事務(wù)”、“最終一致性”、“TCC”等這些知識碎片,而是能夠?qū)⒅R連成一片,形成知識體系。
什么是事務(wù)
介紹分布式事務(wù)之前,先介紹什么是事務(wù)。
事務(wù)的具體定義
事務(wù)提供一種機(jī)制將一個活動涉及的所有操作納入到一個不可分割的執(zhí)行單元,組成事務(wù)的所有操作只有在所有操作均能正常執(zhí)行的情況下方能提交,只要其中任一操作執(zhí)行失敗,都將導(dǎo)致整個事務(wù)的回滾。
簡單地說,事務(wù)提供一種“ 要么什么都不做,要么做全套(All or Nothing)”機(jī)制。
數(shù)據(jù)庫事務(wù)的 ACID 屬性
事務(wù)是基于數(shù)據(jù)進(jìn)行操作,需要保證事務(wù)的數(shù)據(jù)通常存儲在數(shù)據(jù)庫中,所以介紹到事務(wù),就不得不介紹數(shù)據(jù)庫事務(wù)的 ACID 特性。
ACID 指數(shù)據(jù)庫事務(wù)正確執(zhí)行的四個基本特性的縮寫,包含:
原子性(Atomicity)
整個事務(wù)中的所有操作,要么全部完成,要么全部不完成,不可能停滯在中間某個環(huán)節(jié)。
事務(wù)在執(zhí)行過程中發(fā)生錯誤,會被回滾(Rollback)到事務(wù)開始前的狀態(tài),就像這個事務(wù)從來沒有執(zhí)行過一樣。
例如:銀行轉(zhuǎn)賬,從 A 賬戶轉(zhuǎn) 100 元至 B 賬戶,分為兩個步驟:
- 從 A 賬戶取 100 元。
- 存入 100 元至 B 賬戶。
這兩步要么一起完成,要么一起不完成,如果只完成***步,第二步失敗,錢會莫名其妙少了 100 元。
一致性(Consistency)
在事務(wù)開始之前和事務(wù)結(jié)束以后,數(shù)據(jù)庫數(shù)據(jù)的一致性約束沒有被破壞。
例如:現(xiàn)有完整性約束 A+B=100,如果一個事務(wù)改變了 A,那么必須得改變 B,使得事務(wù)結(jié)束后依然滿足 A+B=100,否則事務(wù)失敗。
隔離性(Isolation)
數(shù)據(jù)庫允許多個并發(fā)事務(wù)同時對數(shù)據(jù)進(jìn)行讀寫和修改的能力,如果一個事務(wù)要訪問的數(shù)據(jù)正在被另外一個事務(wù)修改,只要另外一個事務(wù)未提交,它所訪問的數(shù)據(jù)就不受未提交事務(wù)的影響。
隔離性可以防止多個事務(wù)并發(fā)執(zhí)行時由于交叉執(zhí)行而導(dǎo)致數(shù)據(jù)的不一致。
例如:現(xiàn)有有個交易是從 A 賬戶轉(zhuǎn) 100 元至 B 賬戶,在這個交易事務(wù)還未完成的情況下,如果此時 B 查詢自己的賬戶,是看不到新增加的 100 元的。
持久性(Durability)
事務(wù)處理結(jié)束后,對數(shù)據(jù)的修改就是***的,即便系統(tǒng)故障也不會丟失。
簡單而言,ACID 是從不同維度描述事務(wù)的特性:
- 原子性:事務(wù)操作的整體性。
- 一致性:事務(wù)操作下數(shù)據(jù)的正確性。
- 隔離性:事務(wù)并發(fā)操作下數(shù)據(jù)的正確性。
- 持久性:事務(wù)對數(shù)據(jù)修改的可靠性。
一個支持事務(wù)(Transaction)的數(shù)據(jù)庫,需要具有這 4 種特性,否則在事務(wù)過程當(dāng)中無法保證數(shù)據(jù)的正確性,處理結(jié)果極可能達(dá)不到請求方的要求。
什么時候使用數(shù)據(jù)庫事務(wù)
在介紹完事務(wù)基本概念之后,什么時候該使用數(shù)據(jù)庫事務(wù)?
簡單而言,就是業(yè)務(wù)上有一組數(shù)據(jù)操作,需要如果其中有任何一個操作執(zhí)行失敗,整組操作全部不執(zhí)行并恢復(fù)到未執(zhí)行狀態(tài),要么全部成功,要么全部失敗。
在使用數(shù)據(jù)庫事務(wù)時需要注意,盡可能短的保持事務(wù),修改多個不同表的數(shù)據(jù)的冗長事務(wù)會嚴(yán)重妨礙系統(tǒng)中的所有其他用戶,這很有可能導(dǎo)致一些性能問題。
二、什么是分布式事務(wù)
介紹完事務(wù)相關(guān)基本概念之后,下面介紹分布式事務(wù)。
分布式產(chǎn)生背景與概念
隨著互聯(lián)網(wǎng)快速發(fā)展,微服務(wù),SOA 等服務(wù)架構(gòu)模式正在被大規(guī)模的使用,現(xiàn)在分布式系統(tǒng)一般由多個獨(dú)立的子系統(tǒng)組成,多個子系統(tǒng)通過網(wǎng)絡(luò)通信互相協(xié)作配合完成各個功能。
有很多用例會跨多個子系統(tǒng)才能完成,比較典型的是電子商務(wù)網(wǎng)站的下單支付流程,至少會涉及交易系統(tǒng)和支付系統(tǒng)。
而且這個過程中會涉及到事務(wù)的概念,即保證交易系統(tǒng)和支付系統(tǒng)的數(shù)據(jù)一致性,此處我們稱這種跨系統(tǒng)的事務(wù)為分布式事務(wù)。
具體一點(diǎn)而言,分布式事務(wù)是指事務(wù)的參與者、支持事務(wù)的服務(wù)器、資源服務(wù)器以及事務(wù)管理器分別位于不同的分布式系統(tǒng)的不同節(jié)點(diǎn)之上。
舉個互聯(lián)網(wǎng)常用的交易業(yè)務(wù)為例:
上圖中包含了庫存和訂單兩個獨(dú)立的微服務(wù),每個微服務(wù)維護(hù)了自己的數(shù)據(jù)庫。
在交易系統(tǒng)的業(yè)務(wù)邏輯中,一個商品在下單之前需要先調(diào)用庫存服務(wù),進(jìn)行扣除庫存,再調(diào)用訂單服務(wù),創(chuàng)建訂單記錄。
可以看到,如果多個數(shù)據(jù)庫之間的數(shù)據(jù)更新沒有保證事務(wù),將會導(dǎo)致出現(xiàn)子系統(tǒng)數(shù)據(jù)不一致,業(yè)務(wù)出現(xiàn)問題。
分布式事務(wù)的難點(diǎn)
事務(wù)的原子性
事務(wù)操作跨不同節(jié)點(diǎn),當(dāng)多個節(jié)點(diǎn)某一節(jié)點(diǎn)操作失敗時,需要保證多節(jié)點(diǎn)操作的要么什么都不做,要么做全套(All or Nothing)的原子性。
事務(wù)的一致性
當(dāng)發(fā)生網(wǎng)絡(luò)傳輸故障或者節(jié)點(diǎn)故障,節(jié)點(diǎn)間數(shù)據(jù)復(fù)制通道中斷,在進(jìn)行事務(wù)操作時需要保證數(shù)據(jù)一致性,保證事務(wù)的任何操作都不會使得數(shù)據(jù)違反數(shù)據(jù)庫定義的約束、觸發(fā)器等規(guī)則。
事務(wù)的隔離性
事務(wù)隔離性的本質(zhì)就是如何正確處理多個并發(fā)事務(wù)的讀寫沖突和寫寫沖突,因為在分布式事務(wù)控制中,可能會出現(xiàn)提交不同步的現(xiàn)象,這個時候就有可能出現(xiàn)“部分已經(jīng)提交”的事務(wù)。
此時并發(fā)應(yīng)用訪問數(shù)據(jù)如果沒有加以控制,有可能出現(xiàn)“臟讀”問題。
三、分布式系統(tǒng)的一致性
前面介紹到的分布式事務(wù)的難點(diǎn)涉及的問題,最終影響是導(dǎo)致數(shù)據(jù)出現(xiàn)不一致,下面對分布式系統(tǒng)的一致性問題進(jìn)行理論分析,后面將基于這些理論進(jìn)行分布式方案的介紹。
可用性和一致性的沖突:CAP 理論
CAP 定理又被稱作布魯爾定理,是加州大學(xué)的計算機(jī)科學(xué)家布魯爾在 2000 年提出的一個猜想。
2002 年,麻省理工學(xué)院的賽斯·吉爾伯特和南希·林奇發(fā)表了布魯爾猜想的證明,使之成為分布式計算領(lǐng)域公認(rèn)的一個定理。
布魯爾在提出 CAP 猜想時并沒有具體定義 Consistency、Availability、Partition Tolerance 這 3 個詞的含義,不同資料的具體定義也有差別。
為了更好地解釋,下面選擇Robert Greiner的文章《CAP Theorem》作為參考基礎(chǔ):
- http://robertgreiner.com/about/
- http://robertgreiner.com/2014/08/cap-theorem-revisited/
CAP 理論的定義
在一個分布式系統(tǒng)(指互相連接并共享數(shù)據(jù)的節(jié)點(diǎn)的集合)中,當(dāng)涉及讀寫操作時,只能保證一致性(Consistence)、可用性(Availability)、分區(qū)容錯性(Partition Tolerance)三者中的兩個,另外一個必須被犧牲。
Consistency、Availability、Partition Tolerance 具體解釋如下:
C - Consistency 一致性:A read is guaranteed to return the most recent write for a given client.
對某個指定的客戶端來說,讀操作保證能夠返回***的寫操作結(jié)果。
這里并不是強(qiáng)調(diào)同一時刻擁有相同的數(shù)據(jù),對于系統(tǒng)執(zhí)行事務(wù)來說,在事務(wù)執(zhí)行過程中,系統(tǒng)其實處于一個不一致的狀態(tài),不同的節(jié)點(diǎn)的數(shù)據(jù)并不完全一致。
一致性強(qiáng)調(diào)客戶端讀操作能夠獲取***的寫操作結(jié)果,是因為事務(wù)在執(zhí)行過程中,客戶端是無法讀取到未提交的數(shù)據(jù)的。
只有等到事務(wù)提交后,客戶端才能讀取到事務(wù)寫入的數(shù)據(jù),而如果事務(wù)失敗則會進(jìn)行回滾,客戶端也不會讀取到事務(wù)中間寫入的數(shù)據(jù)。
A - Availability 可用性:A non-failing node will return a reasonable response within a reasonable amount of time (no error or timeout).
非故障的節(jié)點(diǎn)在合理的時間內(nèi)返回合理的響應(yīng)(不是錯誤和超時的響應(yīng))。
這里強(qiáng)調(diào)的是合理的響應(yīng),不能超時,不能出錯。注意并沒有說“正確”的結(jié)果,例如,應(yīng)該返回 100 但實際上返回了 90,肯定是不正確的結(jié)果,但可以是一個合理的結(jié)果。
P - Partition Tolerance 分區(qū)容忍性:The system will continue to function when network partitions occur.
當(dāng)出現(xiàn)網(wǎng)絡(luò)分區(qū)后,系統(tǒng)能夠繼續(xù)“履行職責(zé)”。
這里網(wǎng)絡(luò)分區(qū)是指:一個分布式系統(tǒng)里面,節(jié)點(diǎn)組成的網(wǎng)絡(luò)本來應(yīng)該是連通的。
然而可能因為一些故障(節(jié)點(diǎn)間網(wǎng)絡(luò)連接斷開、節(jié)點(diǎn)宕機(jī)),使得有些節(jié)點(diǎn)之間不連通了,整個網(wǎng)絡(luò)就分成了幾塊區(qū)域,數(shù)據(jù)就散布在了這些不連通的區(qū)域中。
一致性、可用性、分區(qū)容忍性的選擇
雖然 CAP 理論定義是三個要素中只能取兩個,但放到分布式環(huán)境下來思考,我們會發(fā)現(xiàn)必須選擇 P(分區(qū)容忍)要素,因為網(wǎng)絡(luò)本身無法做到 100% 可靠,有可能出故障,所以分區(qū)是一個必然的現(xiàn)象。
如果我們選擇了 CA(一致性 + 可用性) 而放棄了 P(分區(qū)容忍性),那么當(dāng)發(fā)生分區(qū)現(xiàn)象時,為了保證 C(一致性),系統(tǒng)需要禁止寫入。
當(dāng)有寫入請求時,系統(tǒng)返回 error(例如,當(dāng)前系統(tǒng)不允許寫入),這又和 A(可用性) 沖突了,因為 A(可用性)要求返回 no error 和 no timeout。
因此,分布式系統(tǒng)理論上不可能選擇 CA (一致性 + 可用性)架構(gòu),只能選擇 CP(一致性 + 分區(qū)容忍性) 或者 AP (可用性 + 分區(qū)容忍性)架構(gòu),在一致性和可用性做折中選擇。
①CP - Consistency + Partition Tolerance (一致性 + 分區(qū)容忍性)
如上圖所示,因為 Node1 節(jié)點(diǎn)和 Node2 節(jié)點(diǎn)連接中斷導(dǎo)致分區(qū)現(xiàn)象,Node1 節(jié)點(diǎn)的數(shù)據(jù)已經(jīng)更新到 y,但是 Node1 和 Node2 之間的復(fù)制通道中斷,數(shù)據(jù) y 無法同步到 Node2,Node2 節(jié)點(diǎn)上的數(shù)據(jù)還是舊數(shù)據(jù) x。
這時客戶端 C 訪問 Node2 時,Node2 需要返回 error,提示客戶端 “系統(tǒng)現(xiàn)在發(fā)生了錯誤”,這種處理方式違背了可用性(Availability)的要求,因此 CAP 三者只能滿足 CP。
②AP - Availability + Partition Tolerance (可用性 + 分區(qū)容忍性)
同樣是 Node2 節(jié)點(diǎn)上的數(shù)據(jù)還是舊數(shù)據(jù) x,這時客戶端 C 訪問 Node2 時,Node2 將當(dāng)前自己擁有的數(shù)據(jù) x 返回給客戶端了。
而實際上當(dāng)前***的數(shù)據(jù)已經(jīng)是 y 了,這就不滿足一致性(Consistency)的要求了,因此 CAP 三者只能滿足 AP。
注意:這里 Node2 節(jié)點(diǎn)返回 x,雖然不是一個“正確”的結(jié)果,但是一個“合理”的結(jié)果,因為 x 是舊的數(shù)據(jù),并不是一個錯亂的值,只是不是***的數(shù)據(jù)。
值得補(bǔ)充的是,CAP 理論告訴我們分布式系統(tǒng)只能選擇 AP 或者 CP,但實際上并不是說整個系統(tǒng)只能選擇 AP 或者 CP。
在 CAP 理論落地實踐時,我們需要將系統(tǒng)內(nèi)的數(shù)據(jù)按照不同的應(yīng)用場景和要求進(jìn)行分類,每類數(shù)據(jù)選擇不同的策略(CP 還是 AP),而不是直接限定整個系統(tǒng)所有數(shù)據(jù)都是同一策略。
另外,只能選擇 CP 或者 AP 是指系統(tǒng)發(fā)生分區(qū)現(xiàn)象時無法同時保證 C(一致性)和 A(可用性),但不是意味著什么都不做,當(dāng)分區(qū)故障解決后,系統(tǒng)還是要保持保證 CA。
CAP 理論的延伸:BASE 理論
BASE 是指基本可用(Basically Available)、軟狀態(tài)( Soft State)、最終一致性( Eventual Consistency)。
它的核心思想是即使無法做到強(qiáng)一致性(CAP 的一致性就是強(qiáng)一致性),但應(yīng)用可以采用適合的方式達(dá)到最終一致性。
BA - Basically Available 基本可用
分布式系統(tǒng)在出現(xiàn)故障時,允許損失部分可用性,即保證核心可用。
這里的關(guān)鍵詞是“部分”和“核心”,實際實踐上,哪些是核心需要根據(jù)具體業(yè)務(wù)來權(quán)衡。
例如登錄功能相對注冊功能更加核心,注冊不了最多影響流失一部分用戶,如果用戶已經(jīng)注冊但無法登錄,那就意味著用戶無法使用系統(tǒng),造成的影響范圍更大。
S - Soft State 軟狀態(tài)
允許系統(tǒng)存在中間狀態(tài),而該中間狀態(tài)不會影響系統(tǒng)整體可用性。這里的中間狀態(tài)就是 CAP 理論中的數(shù)據(jù)不一致。
E - Eventual Consistency 最終一致性
系統(tǒng)中的所有數(shù)據(jù)副本經(jīng)過一定時間后,最終能夠達(dá)到一致的狀態(tài)。
這里的關(guān)鍵詞是“一定時間” 和 “最終”,“一定時間”和數(shù)據(jù)的特性是強(qiáng)關(guān)聯(lián)的,不同業(yè)務(wù)不同數(shù)據(jù)能夠容忍的不一致時間是不同的。
例如支付類業(yè)務(wù)是要求秒級別內(nèi)達(dá)到一致,因為用戶時時關(guān)注;用戶發(fā)的***微博,可以容忍 30 分鐘內(nèi)達(dá)到一致的狀態(tài),因為用戶短時間看不到明星發(fā)的微博是無感知的。
而“最終”的含義就是不管多長時間,最終還是要達(dá)到一致性的狀態(tài)。
BASE 理論本質(zhì)上是對 CAP 的延伸和補(bǔ)充,更具體地說,是對 CAP 中 AP 方案的一個補(bǔ)充: CAP 理論是忽略延時的,而實際應(yīng)用中延時是無法避免的。
這一點(diǎn)就意味著***的 CP 場景是不存在的,即使是幾毫秒的數(shù)據(jù)復(fù)制延遲,在這幾毫秒時間間隔內(nèi),系統(tǒng)是不符合 CP 要求的。
因此 CAP 中的 CP 方案,實際上也是實現(xiàn)了最終一致性,只是“一定時間”是指幾毫秒而已。
AP 方案中犧牲一致性只是指發(fā)生分區(qū)故障期間,而不是永遠(yuǎn)放棄一致性。
這一點(diǎn)其實就是 BASE 理論延伸的地方,分區(qū)期間犧牲一致性,但分區(qū)故障恢復(fù)后,系統(tǒng)應(yīng)該達(dá)到最終一致性。
數(shù)據(jù)一致性模型
前面介紹的 BASE 模型提過“強(qiáng)一致性”和“最終一致性”,下面對這些一致性模型展開介紹。
分布式系統(tǒng)通過復(fù)制數(shù)據(jù)來提高系統(tǒng)的可靠性和容錯性,并且將數(shù)據(jù)的不同的副本存放在不同的機(jī)器上,由于維護(hù)數(shù)據(jù)副本的一致性代價很高,因此許多系統(tǒng)采用弱一致性來提高性能。
下面介紹常見的一致性模型:
強(qiáng)一致性:要求無論更新操作是在哪個數(shù)據(jù)副本上執(zhí)行,之后所有的讀操作都要能獲得***的數(shù)據(jù)。
對于單副本數(shù)據(jù)來說,讀寫操作是在同一數(shù)據(jù)上執(zhí)行的,容易保證強(qiáng)一致性。對多副本數(shù)據(jù)來說,則需要使用分布式事務(wù)協(xié)議。
弱一致性:在這種一致性下,用戶讀到某一操作對系統(tǒng)特定數(shù)據(jù)的更新需要一段時間,我們將這段時間稱為"不一致性窗口"。
最終一致性:是弱一致性的一種特例,在這種一致性下系統(tǒng)保證用戶最終能夠讀取到某操作對系統(tǒng)特定數(shù)據(jù)的更新(讀取操作之前沒有該數(shù)據(jù)的其他更新操作)。
"不一致性窗口"的大小依賴于交互延遲、系統(tǒng)的負(fù)載,以及數(shù)據(jù)的副本數(shù)等。
系統(tǒng)選擇哪種一致性模型取決于應(yīng)用對一致性的需求,所選取的一致性模型還會影響到系統(tǒng)如何處理用戶的請求以及對副本維護(hù)技術(shù)的選擇等。
后面將基于上面介紹的一致性模型分別介紹分布式事務(wù)的解決方案。
柔性事務(wù)
柔性事務(wù)的概念
在電商等互聯(lián)網(wǎng)場景下,傳統(tǒng)的事務(wù)在數(shù)據(jù)庫性能和處理能力上都暴露出了瓶頸。在分布式領(lǐng)域基于 CAP 理論以及 BASE 理論,有人就提出了柔性事務(wù)的概念。
基于 BASE 理論的設(shè)計思想,柔性事務(wù)下,在不影響系統(tǒng)整體可用性的情況下(Basically Available 基本可用),允許系統(tǒng)存在數(shù)據(jù)不一致的中間狀態(tài)(Soft State 軟狀態(tài)),在經(jīng)過數(shù)據(jù)同步的延時之后,最終數(shù)據(jù)能夠達(dá)到一致。
并不是完全放棄了 ACID,而是通過放寬一致性要求,借助本地事務(wù)來實現(xiàn)最終分布式事務(wù)一致性的同時也保證系統(tǒng)的吞吐。
實現(xiàn)柔性事務(wù)的一些特性
下面介紹的是實現(xiàn)柔性事務(wù)的一些常見特性,這些特性在具體的方案中不一定都要滿足,因為不同的方案要求不一樣。
可見性(對外可查詢) :在分布式事務(wù)執(zhí)行過程中,如果某一個步驟執(zhí)行出錯,就需要明確的知道其他幾個操作的處理情況,這就需要其他的服務(wù)都能夠提供查詢接口,保證可以通過查詢來判斷操作的處理情況。
為了保證操作的可查詢,需要對于每一個服務(wù)的每一次調(diào)用都有一個全局唯一的標(biāo)識,可以是業(yè)務(wù)單據(jù)號(如訂單號)、也可以是系統(tǒng)分配的操作流水號(如支付記錄流水號)。除此之外,操作的時間信息也要有完整的記錄。
操作冪等性:冪等性,其實是一個數(shù)學(xué)概念。冪等函數(shù),或冪等方法,是指可以使用相同參數(shù)重復(fù)執(zhí)行,并能獲得相同結(jié)果的函數(shù)。
冪等操作的特點(diǎn)是其任意多次執(zhí)行所產(chǎn)生的影響均與一次執(zhí)行的影響相同。也就是說,同一個方法,使用同樣的參數(shù),調(diào)用多次產(chǎn)生的業(yè)務(wù)結(jié)果與調(diào)用一次產(chǎn)生的業(yè)務(wù)結(jié)果相同。
之所以需要操作冪等性,是因為為了保證數(shù)據(jù)的最終一致性,很多事務(wù)協(xié)議都會有很多重試的操作,如果一個方法不保證冪等,那么將無法被重試。
冪等操作的實現(xiàn)方式有多種,如在系統(tǒng)中緩存所有的請求與處理結(jié)果、檢測到重復(fù)操作后,直接返回上一次的處理結(jié)果等。
四、常見分布式事務(wù)解決方案
介紹完分布式系統(tǒng)的一致性相關(guān)理論,下面基于不同的一致性模型介紹分布式事務(wù)的常見解決方案,后面會再介紹各個方案的使用場景。
分布式事務(wù)的實現(xiàn)有許多種,其中較經(jīng)典是由 Tuxedo 提出的 XA 分布式事務(wù)協(xié)議,XA 協(xié)議包含二階段提交(2PC)和三階段提交(3PC)兩種實現(xiàn)。
2PC(二階段提交)方案:強(qiáng)一致性
方案簡介
二階段提交協(xié)議(Two-phase Commit,即 2PC)是常用的分布式事務(wù)解決方案,即將事務(wù)的提交過程分為兩個階段來進(jìn)行處理:準(zhǔn)備階段和提交階段。事務(wù)的發(fā)起者稱協(xié)調(diào)者,事務(wù)的執(zhí)行者稱參與者。
在分布式系統(tǒng)里,每個節(jié)點(diǎn)都可以知曉自己操作的成功或者失敗,卻無法知道其他節(jié)點(diǎn)操作的成功或失敗。
當(dāng)一個事務(wù)跨多個節(jié)點(diǎn)時,為了保持事務(wù)的原子性與一致性,而引入一個協(xié)調(diào)者來統(tǒng)一掌控所有參與者的操作結(jié)果,并指示它們是否要把操作結(jié)果進(jìn)行真正的提交或者回滾(rollback)。
二階段提交的算法思路可以概括為:參與者將操作成敗通知協(xié)調(diào)者,再由協(xié)調(diào)者根據(jù)所有參與者的反饋情報決定各參與者是否要提交操作還是中止操作。
核心思想就是對每一個事務(wù)都采用先嘗試后提交的處理方式,處理后所有的讀操作都要能獲得***的數(shù)據(jù),因此也可以將二階段提交看作是一個強(qiáng)一致性算法。
處理流程
簡單一點(diǎn)理解,可以把協(xié)調(diào)者節(jié)點(diǎn)比喻為帶頭大哥,參與者理解比喻為跟班小弟,帶頭大哥統(tǒng)一協(xié)調(diào)跟班小弟的任務(wù)執(zhí)行。
階段 1:準(zhǔn)備階段
準(zhǔn)備階段有如下三個步驟:
- 協(xié)調(diào)者向所有參與者發(fā)送事務(wù)內(nèi)容,詢問是否可以提交事務(wù),并等待所有參與者答復(fù)。
- 各參與者執(zhí)行事務(wù)操作,將 undo 和 redo 信息記入事務(wù)日志中(但不提交事務(wù))。
- 如參與者執(zhí)行成功,給協(xié)調(diào)者反饋 yes,即可以提交;如執(zhí)行失敗,給協(xié)調(diào)者反饋 no,即不可提交。
階段 2:提交階段
如果協(xié)調(diào)者收到了參與者的失敗消息或者超時,直接給每個參與者發(fā)送回滾(rollback)消息;否則,發(fā)送提交(commit)消息。
參與者根據(jù)協(xié)調(diào)者的指令執(zhí)行提交或者回滾操作,釋放所有事務(wù)處理過程中使用的鎖資源。(注意:必須在***階段釋放鎖資源) 接下來分兩種情況分別討論提交階段的過程。
情況 1,當(dāng)所有參與者均反饋 yes,提交事務(wù),如上圖:
- 協(xié)調(diào)者向所有參與者發(fā)出正式提交事務(wù)的請求(即 commit 請求)。
- 參與者執(zhí)行 commit 請求,并釋放整個事務(wù)期間占用的資源。
- 各參與者向協(xié)調(diào)者反饋 ack(應(yīng)答)完成的消息。
- 協(xié)調(diào)者收到所有參與者反饋的 ack 消息后,即完成事務(wù)提交。
情況 2,當(dāng)任何階段 1 一個參與者反饋 no,中斷事務(wù),如上圖:
- 協(xié)調(diào)者向所有參與者發(fā)出回滾請求(即 rollback 請求)。
- 參與者使用階段 1 中的 undo 信息執(zhí)行回滾操作,并釋放整個事務(wù)期間占用的資源。
- 各參與者向協(xié)調(diào)者反饋 ack 完成的消息。
- 協(xié)調(diào)者收到所有參與者反饋的 ack 消息后,即完成事務(wù)中斷。
方案總結(jié)
2PC 方案實現(xiàn)起來簡單,實際項目中使用比較少,主要因為以下問題:
- 性能問題:所有參與者在事務(wù)提交階段處于同步阻塞狀態(tài),占用系統(tǒng)資源,容易導(dǎo)致性能瓶頸。
- 可靠性問題:如果協(xié)調(diào)者存在單點(diǎn)故障問題,如果協(xié)調(diào)者出現(xiàn)故障,參與者將一直處于鎖定狀態(tài)。
- 數(shù)據(jù)一致性問題:在階段 2 中,如果發(fā)生局部網(wǎng)絡(luò)問題,一部分事務(wù)參與者收到了提交消息,另一部分事務(wù)參與者沒收到提交消息,那么就導(dǎo)致了節(jié)點(diǎn)之間數(shù)據(jù)的不一致。
3PC(三階段提交)方案
方案簡介
三階段提交協(xié)議,是二階段提交協(xié)議的改進(jìn)版本,與二階段提交不同的是,引入超時機(jī)制。同時在協(xié)調(diào)者和參與者中都引入超時機(jī)制。
三階段提交將二階段的準(zhǔn)備階段拆分為 2 個階段,插入了一個 preCommit 階段,使得原先在二階段提交中,參與者在準(zhǔn)備之后,由于協(xié)調(diào)者發(fā)生崩潰或錯誤,而導(dǎo)致參與者處于無法知曉是否提交或者中止的“不確定狀態(tài)”所產(chǎn)生的可能相當(dāng)長的延時的問題得以解決。
處理流程
階段 1:canCommit
協(xié)調(diào)者向參與者發(fā)送 commit 請求,參與者如果可以提交就返回 yes 響應(yīng)(參與者不執(zhí)行事務(wù)操作),否則返回 no 響應(yīng):
- 協(xié)調(diào)者向所有參與者發(fā)出包含事務(wù)內(nèi)容的 canCommit 請求,詢問是否可以提交事務(wù),并等待所有參與者答復(fù)。
- 參與者收到 canCommit 請求后,如果認(rèn)為可以執(zhí)行事務(wù)操作,則反饋 yes 并進(jìn)入預(yù)備狀態(tài),否則反饋 no。
階段 2:preCommit
協(xié)調(diào)者根據(jù)階段 1 canCommit 參與者的反應(yīng)情況來決定是否可以進(jìn)行基于事務(wù)的 preCommit 操作。根據(jù)響應(yīng)情況,有以下兩種可能。
情況 1:階段 1 所有參與者均反饋 yes,參與者預(yù)執(zhí)行事務(wù),如上圖:
- 協(xié)調(diào)者向所有參與者發(fā)出 preCommit 請求,進(jìn)入準(zhǔn)備階段。
- 參與者收到 preCommit 請求后,執(zhí)行事務(wù)操作,將 undo 和 redo 信息記入事務(wù)日志中(但不提交事務(wù))。
- 各參與者向協(xié)調(diào)者反饋 ack 響應(yīng)或 no 響應(yīng),并等待最終指令。
情況 2:階段 1 任何一個參與者反饋 no,或者等待超時后協(xié)調(diào)者尚無法收到所有參與者的反饋,即中斷事務(wù),如上圖:
- 協(xié)調(diào)者向所有參與者發(fā)出 abort 請求。
- 無論收到協(xié)調(diào)者發(fā)出的 abort 請求,或者在等待協(xié)調(diào)者請求過程中出現(xiàn)超時,參與者均會中斷事務(wù)。
階段 3:do Commit
該階段進(jìn)行真正的事務(wù)提交,也可以分為以下兩種情況。
情況 1:階段 2 所有參與者均反饋 ack 響應(yīng),執(zhí)行真正的事務(wù)提交,如上圖:
- 如果協(xié)調(diào)者處于工作狀態(tài),則向所有參與者發(fā)出 do Commit 請求。
- 參與者收到 do Commit 請求后,會正式執(zhí)行事務(wù)提交,并釋放整個事務(wù)期間占用的資源。
- 各參與者向協(xié)調(diào)者反饋 ack 完成的消息。
- 協(xié)調(diào)者收到所有參與者反饋的 ack 消息后,即完成事務(wù)提交。
情況 2:階段 2 任何一個參與者反饋 no,或者等待超時后協(xié)調(diào)者尚無法收到所有參與者的反饋,即中斷事務(wù),如上圖:
- 如果協(xié)調(diào)者處于工作狀態(tài),向所有參與者發(fā)出 abort 請求。
- 參與者使用階段 1 中的 undo 信息執(zhí)行回滾操作,并釋放整個事務(wù)期間占用的資源。
- 各參與者向協(xié)調(diào)者反饋 ack 完成的消息。
- 協(xié)調(diào)者收到所有參與者反饋的 ack 消息后,即完成事務(wù)中斷。
注意:進(jìn)入階段 3 后,無論協(xié)調(diào)者出現(xiàn)問題,或者協(xié)調(diào)者與參與者網(wǎng)絡(luò)出現(xiàn)問題,都會導(dǎo)致參與者無法接收到協(xié)調(diào)者發(fā)出的 do Commit 請求或 abort 請求。此時,參與者都會在等待超時之后,繼續(xù)執(zhí)行事務(wù)提交。
方案總結(jié)
優(yōu)點(diǎn):相比二階段提交,三階段提交降低了阻塞范圍,在等待超時后協(xié)調(diào)者或參與者會中斷事務(wù)。避免了協(xié)調(diào)者單點(diǎn)問題,階段 3 中協(xié)調(diào)者出現(xiàn)問題時,參與者會繼續(xù)提交事務(wù)。
缺點(diǎn):數(shù)據(jù)不一致問題依然存在,當(dāng)在參與者收到 preCommit 請求后等待 do commite 指令時,此時如果協(xié)調(diào)者請求中斷事務(wù),而協(xié)調(diào)者無法與參與者正常通信,會導(dǎo)致參與者繼續(xù)提交事務(wù),造成數(shù)據(jù)不一致。
TCC 事務(wù):最終一致性
方案簡介
TCC(Try-Confirm-Cancel)的概念,最早是由 Pat Helland 于 2007 年發(fā)表的一篇名為《Life beyond Distributed Transactions:an Apostate’s Opinion》的論文提出。
TCC 是服務(wù)化的二階段編程模型,其 Try、Confirm、Cancel 3 個方法均由業(yè)務(wù)編碼實現(xiàn):
- Try 操作作為一階段,負(fù)責(zé)資源的檢查和預(yù)留。
- Confirm 操作作為二階段提交操作,執(zhí)行真正的業(yè)務(wù)。
- Cancel 是預(yù)留資源的取消。
TCC 事務(wù)的 Try、Confirm、Cancel 可以理解為 SQL 事務(wù)中的 Lock、Commit、Rollback。
處理流程
為了方便理解,下面以電商下單為例進(jìn)行方案解析,這里把整個過程簡單分為扣減庫存,訂單創(chuàng)建 2 個步驟,庫存服務(wù)和訂單服務(wù)分別在不同的服務(wù)器節(jié)點(diǎn)上。
①Try 階段
從執(zhí)行階段來看,與傳統(tǒng)事務(wù)機(jī)制中業(yè)務(wù)邏輯相同。但從業(yè)務(wù)角度來看,卻不一樣。
TCC 機(jī)制中的 Try 僅是一個初步操作,它和后續(xù)的確認(rèn)一起才能真正構(gòu)成一個完整的業(yè)務(wù)邏輯,這個階段主要完成:
- 完成所有業(yè)務(wù)檢查( 一致性 ) 。
- 預(yù)留必須業(yè)務(wù)資源( 準(zhǔn)隔離性 ) 。
- Try 嘗試執(zhí)行業(yè)務(wù)。
TCC 事務(wù)機(jī)制以初步操作(Try)為中心的,確認(rèn)操作(Confirm)和取消操作(Cancel)都是圍繞初步操作(Try)而展開。
因此,Try 階段中的操作,其保障性是***的,即使失敗,仍然有取消操作(Cancel)可以將其執(zhí)行結(jié)果撤銷。
假設(shè)商品庫存為 100,購買數(shù)量為 2,這里檢查和更新庫存的同時,凍結(jié)用戶購買數(shù)量的庫存,同時創(chuàng)建訂單,訂單狀態(tài)為待確認(rèn)。
②Confirm / Cancel 階段
根據(jù) Try 階段服務(wù)是否全部正常執(zhí)行,繼續(xù)執(zhí)行確認(rèn)操作(Confirm)或取消操作(Cancel)。
Confirm 和 Cancel 操作滿足冪等性,如果 Confirm 或 Cancel 操作執(zhí)行失敗,將會不斷重試直到執(zhí)行完成。
Confirm:當(dāng) Try 階段服務(wù)全部正常執(zhí)行, 執(zhí)行確認(rèn)業(yè)務(wù)邏輯操作
這里使用的資源一定是 Try 階段預(yù)留的業(yè)務(wù)資源。在 TCC 事務(wù)機(jī)制中認(rèn)為,如果在 Try 階段能正常的預(yù)留資源,那 Confirm 一定能完整正確的提交。
Confirm 階段也可以看成是對 Try 階段的一個補(bǔ)充,Try+Confirm 一起組成了一個完整的業(yè)務(wù)邏輯。
Cancel:當(dāng) Try 階段存在服務(wù)執(zhí)行失敗, 進(jìn)入 Cancel 階段
Cancel 取消執(zhí)行,釋放 Try 階段預(yù)留的業(yè)務(wù)資源,上面的例子中,Cancel 操作會把凍結(jié)的庫存釋放,并更新訂單狀態(tài)為取消。
方案總結(jié)
TCC 事務(wù)機(jī)制相對于傳統(tǒng)事務(wù)機(jī)制(X/Open XA),TCC 事務(wù)機(jī)制相比于上面介紹的 XA 事務(wù)機(jī)制,有以下優(yōu)點(diǎn):
- 性能提升:具體業(yè)務(wù)來實現(xiàn)控制資源鎖的粒度變小,不會鎖定整個資源。
- 數(shù)據(jù)最終一致性:基于 Confirm 和 Cancel 的冪等性,保證事務(wù)最終完成確認(rèn)或者取消,保證數(shù)據(jù)的一致性。
- 可靠性:解決了 XA 協(xié)議的協(xié)調(diào)者單點(diǎn)故障問題,由主業(yè)務(wù)方發(fā)起并控制整個業(yè)務(wù)活動,業(yè)務(wù)活動管理器也變成多點(diǎn),引入集群。
缺點(diǎn): TCC 的 Try、Confirm 和 Cancel 操作功能要按具體業(yè)務(wù)來實現(xiàn),業(yè)務(wù)耦合度較高,提高了開發(fā)成本。
本地消息表:最終一致性
方案簡介
本地消息表的方案最初是由 eBay 提出,核心思路是將分布式事務(wù)拆分成本地事務(wù)進(jìn)行處理。
方案通過在事務(wù)主動發(fā)起方額外新建事務(wù)消息表,事務(wù)發(fā)起方處理業(yè)務(wù)和記錄事務(wù)消息在本地事務(wù)中完成,輪詢事務(wù)消息表的數(shù)據(jù)發(fā)送事務(wù)消息,事務(wù)被動方基于消息中間件消費(fèi)事務(wù)消息表中的事務(wù)。
這樣設(shè)計可以避免”業(yè)務(wù)處理成功 + 事務(wù)消息發(fā)送失敗",或"業(yè)務(wù)處理失敗 + 事務(wù)消息發(fā)送成功"的棘手情況出現(xiàn),保證 2 個系統(tǒng)事務(wù)的數(shù)據(jù)一致性。
處理流程
下面把分布式事務(wù)***開始處理的事務(wù)方稱為事務(wù)主動方,在事務(wù)主動方之后處理的業(yè)務(wù)內(nèi)的其他事務(wù)稱為事務(wù)被動方。
為了方便理解,下面繼續(xù)以電商下單為例進(jìn)行方案解析,這里把整個過程簡單分為扣減庫存,訂單創(chuàng)建 2 個步驟。
庫存服務(wù)和訂單服務(wù)分別在不同的服務(wù)器節(jié)點(diǎn)上,其中庫存服務(wù)是事務(wù)主動方,訂單服務(wù)是事務(wù)被動方。
事務(wù)的主動方需要額外新建事務(wù)消息表,用于記錄分布式事務(wù)的消息的發(fā)生、處理狀態(tài)。
整個業(yè)務(wù)處理流程如下:
步驟1:事務(wù)主動方處理本地事務(wù)。
事務(wù)主動方在本地事務(wù)中處理業(yè)務(wù)更新操作和寫消息表操作。上面例子中庫存服務(wù)階段在本地事務(wù)中完成扣減庫存和寫消息表(圖中 1、2)。
步驟 2:事務(wù)主動方通過消息中間件,通知事務(wù)被動方處理事務(wù)通知事務(wù)待消息。
消息中間件可以基于 Kafka、RocketMQ 消息隊列,事務(wù)主動方主動寫消息到消息隊列,事務(wù)消費(fèi)方消費(fèi)并處理消息隊列中的消息。
上面例子中,庫存服務(wù)把事務(wù)待處理消息寫到消息中間件,訂單服務(wù)消費(fèi)消息中間件的消息,完成新增訂單(圖中 3 - 5)。
步驟 3:事務(wù)被動方通過消息中間件,通知事務(wù)主動方事務(wù)已處理的消息。
上面例子中,訂單服務(wù)把事務(wù)已處理消息寫到消息中間件,庫存服務(wù)消費(fèi)中間件的消息,并將事務(wù)消息的狀態(tài)更新為已完成(圖中 6 - 8)。
為了數(shù)據(jù)的一致性,當(dāng)處理錯誤需要重試,事務(wù)發(fā)送方和事務(wù)接收方相關(guān)業(yè)務(wù)處理需要支持冪等。
具體保存一致性的容錯處理如下:
- 當(dāng)步驟 1 處理出錯,事務(wù)回滾,相當(dāng)于什么都沒發(fā)生。
- 當(dāng)步驟 2、步驟 3 處理出錯,由于未處理的事務(wù)消息還是保存在事務(wù)發(fā)送方,事務(wù)發(fā)送方可以定時輪詢?yōu)槌瑫r消息數(shù)據(jù),再次發(fā)送到消息中間件進(jìn)行處理。事務(wù)被動方消費(fèi)事務(wù)消息重試處理。
- 如果是業(yè)務(wù)上的失敗,事務(wù)被動方可以發(fā)消息給事務(wù)主動方進(jìn)行回滾。
- 如果多個事務(wù)被動方已經(jīng)消費(fèi)消息,事務(wù)主動方需要回滾事務(wù)時需要通知事務(wù)被動方回滾。
方案總結(jié)
方案的優(yōu)點(diǎn)如下:
- 從應(yīng)用設(shè)計開發(fā)的角度實現(xiàn)了消息數(shù)據(jù)的可靠性,消息數(shù)據(jù)的可靠性不依賴于消息中間件,弱化了對 MQ 中間件特性的依賴。
- 方案輕量,容易實現(xiàn)。
缺點(diǎn)如下:
- 與具體的業(yè)務(wù)場景綁定,耦合性強(qiáng),不可公用。
- 消息數(shù)據(jù)與業(yè)務(wù)數(shù)據(jù)同庫,占用業(yè)務(wù)系統(tǒng)資源。
- 業(yè)務(wù)系統(tǒng)在使用關(guān)系型數(shù)據(jù)庫的情況下,消息服務(wù)性能會受到關(guān)系型數(shù)據(jù)庫并發(fā)性能的局限。
MQ 事務(wù):最終一致性
方案簡介
基于 MQ 的分布式事務(wù)方案其實是對本地消息表的封裝,將本地消息表基于 MQ 內(nèi)部,其他方面的協(xié)議基本與本地消息表一致。
處理流程
下面主要基于 RocketMQ 4.3 之后的版本介紹 MQ 的分布式事務(wù)方案。
在本地消息表方案中,保證事務(wù)主動方發(fā)寫業(yè)務(wù)表數(shù)據(jù)和寫消息表數(shù)據(jù)的一致性是基于數(shù)據(jù)庫事務(wù),RocketMQ 的事務(wù)消息相對于普通 MQ,相對于提供了 2PC 的提交接口,方案如下:
正常情況:事務(wù)主動方發(fā)消息
這種情況下,事務(wù)主動方服務(wù)正常,沒有發(fā)生故障,發(fā)消息流程如下:
- 圖中 1:發(fā)送方向 MQ 服務(wù)端(MQ Server)發(fā)送 half 消息。
- 圖中 2:MQ Server 將消息持久化成功之后,向發(fā)送方 ack 確認(rèn)消息已經(jīng)發(fā)送成功。
- 圖中 3:發(fā)送方開始執(zhí)行本地事務(wù)邏輯。
- 圖中 4:發(fā)送方根據(jù)本地事務(wù)執(zhí)行結(jié)果向 MQ Server 提交二次確認(rèn)(commit 或是 rollback)。
- 圖中 5:MQ Server 收到 commit 狀態(tài)則將半消息標(biāo)記為可投遞,訂閱方最終將收到該消息;MQ Server 收到 rollback 狀態(tài)則刪除半消息,訂閱方將不會接受該消息。
異常情況:事務(wù)主動方消息恢復(fù)
在斷網(wǎng)或者應(yīng)用重啟等異常情況下,圖中 4 提交的二次確認(rèn)超時未到達(dá) MQ Server,此時處理邏輯如下:
- 圖中 5:MQ Server 對該消息發(fā)起消息回查。
- 圖中 6:發(fā)送方收到消息回查后,需要檢查對應(yīng)消息的本地事務(wù)執(zhí)行的最終結(jié)果。
- 圖中 7:發(fā)送方根據(jù)檢查得到的本地事務(wù)的最終狀態(tài)再次提交二次確認(rèn)。
- 圖中 8:MQ Server基于 commit/rollback 對消息進(jìn)行投遞或者刪除。
介紹完 RocketMQ 的事務(wù)消息方案后,由于前面已經(jīng)介紹過本地消息表方案,這里就簡單介紹 RocketMQ 分布式事務(wù):
事務(wù)主動方基于 MQ 通信通知事務(wù)被動方處理事務(wù),事務(wù)被動方基于 MQ 返回處理結(jié)果。
如果事務(wù)被動方消費(fèi)消息異常,需要不斷重試,業(yè)務(wù)處理邏輯需要保證冪等。
如果是事務(wù)被動方業(yè)務(wù)上的處理失敗,可以通過 MQ 通知事務(wù)主動方進(jìn)行補(bǔ)償或者事務(wù)回滾。
方案總結(jié)
相比本地消息表方案,MQ 事務(wù)方案優(yōu)點(diǎn)是:
- 消息數(shù)據(jù)獨(dú)立存儲 ,降低業(yè)務(wù)系統(tǒng)與消息系統(tǒng)之間的耦合。
- 吞吐量由于使用本地消息表方案。
缺點(diǎn)是:
- 一次消息發(fā)送需要兩次網(wǎng)絡(luò)請求(half 消息 + commit/rollback 消息) 。
- 業(yè)務(wù)處理服務(wù)需要實現(xiàn)消息狀態(tài)回查接口。
Saga 事務(wù):最終一致性
方案簡介
Saga 事務(wù)源于 1987 年普林斯頓大學(xué)的 Hecto 和 Kenneth 發(fā)表的如何處理 long lived transaction(長活事務(wù))論文。
Saga 事務(wù)核心思想是將長事務(wù)拆分為多個本地短事務(wù),由 Saga 事務(wù)協(xié)調(diào)器協(xié)調(diào),如果正常結(jié)束那就正常完成,如果某個步驟失敗,則根據(jù)相反順序一次調(diào)用補(bǔ)償操作。
處理流程
Saga 事務(wù)基本協(xié)議如下:
- 每個 Saga 事務(wù)由一系列冪等的有序子事務(wù)(sub-transaction) Ti 組成。
- 每個 Ti 都有對應(yīng)的冪等補(bǔ)償動作 Ci,補(bǔ)償動作用于撤銷 Ti 造成的結(jié)果。
可以看到,和 TCC 相比,Saga 沒有“預(yù)留”動作,它的 Ti 就是直接提交到庫。
下面以下單流程為例,整個操作包括:創(chuàng)建訂單、扣減庫存、支付、增加積分。
Saga 的執(zhí)行順序有兩種,如上圖:
- 事務(wù)正常執(zhí)行完成:T1, T2, T3, ..., Tn,例如:扣減庫存(T1),創(chuàng)建訂單(T2),支付(T3),依次有序完成整個事務(wù)。
- 事務(wù)回滾:T1, T2, ..., Tj, Cj,..., C2, C1,其中 0 < j < n,例如:扣減庫存(T1),創(chuàng)建訂單(T2),支付(T3,支付失敗),支付回滾(C3),訂單回滾(C2),恢復(fù)庫存(C1)。
Saga 定義了兩種恢復(fù)策略:
向前恢復(fù)(forward recovery):對應(yīng)于上面***種執(zhí)行順序,適用于必須要成功的場景,發(fā)生失敗進(jìn)行重試,執(zhí)行順序是類似于這樣的:T1, T2, ..., Tj(失敗), Tj(重試),..., Tn,其中j是發(fā)生錯誤的子事務(wù)(sub-transaction)。該情況下不需要Ci。
向后恢復(fù)(backward recovery):對應(yīng)于上面提到的第二種執(zhí)行順序,其中 j 是發(fā)生錯誤的子事務(wù)(sub-transaction),這種做法的效果是撤銷掉之前所有成功的子事務(wù),使得整個 Saga 的執(zhí)行結(jié)果撤銷。
Saga 事務(wù)常見的有兩種不同的實現(xiàn)方式:
①命令協(xié)調(diào)(Order Orchestrator):中央?yún)f(xié)調(diào)器負(fù)責(zé)集中處理事件的決策和業(yè)務(wù)邏輯排序。
中央?yún)f(xié)調(diào)器(Orchestrator,簡稱 OSO)以命令/回復(fù)的方式與每項服務(wù)進(jìn)行通信,全權(quán)負(fù)責(zé)告訴每個參與者該做什么以及什么時候該做什么。
以電商訂單的例子為例:
- 事務(wù)發(fā)起方的主業(yè)務(wù)邏輯請求 OSO 服務(wù)開啟訂單事務(wù)
- OSO 向庫存服務(wù)請求扣減庫存,庫存服務(wù)回復(fù)處理結(jié)果。
- OSO 向訂單服務(wù)請求創(chuàng)建訂單,訂單服務(wù)回復(fù)創(chuàng)建結(jié)果。
- OSO 向支付服務(wù)請求支付,支付服務(wù)回復(fù)處理結(jié)果。
- 主業(yè)務(wù)邏輯接收并處理 OSO 事務(wù)處理結(jié)果回復(fù)。
中央?yún)f(xié)調(diào)器必須事先知道執(zhí)行整個訂單事務(wù)所需的流程(例如通過讀取配置)。如果有任何失敗,它還負(fù)責(zé)通過向每個參與者發(fā)送命令來撤銷之前的操作來協(xié)調(diào)分布式的回滾。
基于中央?yún)f(xié)調(diào)器協(xié)調(diào)一切時,回滾要容易得多,因為協(xié)調(diào)器默認(rèn)是執(zhí)行正向流程,回滾時只要執(zhí)行反向流程即可。
②事件編排(Event Choreography0):沒有中央?yún)f(xié)調(diào)器(沒有單點(diǎn)風(fēng)險)時,每個服務(wù)產(chǎn)生并觀察其他服務(wù)的事件,并決定是否應(yīng)采取行動。
在事件編排方法中,***個服務(wù)執(zhí)行一個事務(wù),然后發(fā)布一個事件。該事件被一個或多個服務(wù)進(jìn)行監(jiān)聽,這些服務(wù)再執(zhí)行本地事務(wù)并發(fā)布(或不發(fā)布)新的事件。
當(dāng)***一個服務(wù)執(zhí)行本地事務(wù)并且不發(fā)布任何事件時,意味著分布式事務(wù)結(jié)束,或者它發(fā)布的事件沒有被任何 Saga 參與者聽到都意味著事務(wù)結(jié)束。
以電商訂單的例子為例:
事務(wù)發(fā)起方的主業(yè)務(wù)邏輯發(fā)布開始訂單事件。
- 庫存服務(wù)監(jiān)聽開始訂單事件,扣減庫存,并發(fā)布庫存已扣減事件。
- 訂單服務(wù)監(jiān)聽庫存已扣減事件,創(chuàng)建訂單,并發(fā)布訂單已創(chuàng)建事件。
- 支付服務(wù)監(jiān)聽訂單已創(chuàng)建事件,進(jìn)行支付,并發(fā)布訂單已支付事件。
- 主業(yè)務(wù)邏輯監(jiān)聽訂單已支付事件并處理。
事件/編排是實現(xiàn) Saga 模式的自然方式,它很簡單,容易理解,不需要太多的代碼來構(gòu)建。如果事務(wù)涉及 2 至 4 個步驟,則可能是非常合適的。
方案總結(jié)
命令協(xié)調(diào)設(shè)計的優(yōu)點(diǎn)如下:
- 服務(wù)之間關(guān)系簡單,避免服務(wù)之間的循環(huán)依賴關(guān)系,因為 Saga 協(xié)調(diào)器會調(diào)用 Saga 參與者,但參與者不會調(diào)用協(xié)調(diào)器。
- 程序開發(fā)簡單,只需要執(zhí)行命令/回復(fù)(其實回復(fù)消息也是一種事件消息),降低參與者的復(fù)雜性。
- 易維護(hù)擴(kuò)展,在添加新步驟時,事務(wù)復(fù)雜性保持線性,回滾更容易管理,更容易實施和測試。
命令協(xié)調(diào)設(shè)計缺點(diǎn)如下:
- 中央?yún)f(xié)調(diào)器容易處理邏輯容易過于復(fù)雜,導(dǎo)致難以維護(hù)。
- 存在協(xié)調(diào)器單點(diǎn)故障風(fēng)險。
事件/編排設(shè)計優(yōu)點(diǎn)如下:
- 避免中央?yún)f(xié)調(diào)器單點(diǎn)故障風(fēng)險。
- 當(dāng)涉及的步驟較少服務(wù)開發(fā)簡單,容易實現(xiàn)。
事件/編排設(shè)計缺點(diǎn)如下:
- 服務(wù)之間存在循環(huán)依賴的風(fēng)險。
- 當(dāng)涉及的步驟較多,服務(wù)間關(guān)系混亂,難以追蹤調(diào)測。
值得補(bǔ)充的是,由于 Saga 模型中沒有 Prepare 階段,因此事務(wù)間不能保證隔離性。
當(dāng)多個 Saga 事務(wù)操作同一資源時,就會產(chǎn)生更新丟失、臟數(shù)據(jù)讀取等問題,這時需要在業(yè)務(wù)層控制并發(fā),例如:在應(yīng)用層面加鎖,或者應(yīng)用層面預(yù)先凍結(jié)資源。
五、總結(jié)
各方案使用場景
介紹完分布式事務(wù)相關(guān)理論和常見解決方案后,最終的目的在實際項目中運(yùn)用,因此,總結(jié)一下各個方案的常見的使用場景:
- 2PC/3PC:依賴于數(shù)據(jù)庫,能夠很好的提供強(qiáng)一致性和強(qiáng)事務(wù)性,但相對來說延遲比較高,比較適合傳統(tǒng)的單體應(yīng)用,在同一個方法中存在跨庫操作的情況,不適合高并發(fā)和高性能要求的場景。
- TCC:適用于執(zhí)行時間確定且較短,實時性要求高,對數(shù)據(jù)一致性要求高,比如互聯(lián)網(wǎng)金融企業(yè)最核心的三個服務(wù):交易、支付、賬務(wù)。
- 本地消息表/MQ 事務(wù):都適用于事務(wù)中參與方支持操作冪等,對一致性要求不高,業(yè)務(wù)上能容忍數(shù)據(jù)不一致到一個人工檢查周期,事務(wù)涉及的參與方、參與環(huán)節(jié)較少,業(yè)務(wù)上有對賬/校驗系統(tǒng)兜底。
- Saga 事務(wù):由于 Saga 事務(wù)不能保證隔離性,需要在業(yè)務(wù)層控制并發(fā),適合于業(yè)務(wù)場景事務(wù)并發(fā)操作同一資源較少的情況。
Saga 相比缺少預(yù)提交動作,導(dǎo)致補(bǔ)償動作的實現(xiàn)比較麻煩,例如業(yè)務(wù)是發(fā)送短信,補(bǔ)償動作則得再發(fā)送一次短信說明撤銷,用戶體驗比較差。Saga 事務(wù)較適用于補(bǔ)償動作容易處理的場景。
分布式事務(wù)方案設(shè)計
本文介紹的偏向于原理,業(yè)界已經(jīng)有不少開源的或者收費(fèi)的解決方案,篇幅所限,就不再展開介紹。
實際運(yùn)用理論時進(jìn)行架構(gòu)設(shè)計時,許多人容易犯“手里有了錘子,看什么都覺得像釘子”的錯誤,設(shè)計方案時考慮的問題場景過多,各種重試,各種補(bǔ)償機(jī)制引入系統(tǒng),導(dǎo)致系統(tǒng)過于復(fù)雜,落地遙遙無期。
- 世界上解決一個計算機(jī)問題最簡單的方法:“恰好”不需要解決它!
—— 阿里中間件技術(shù)專家沈詢
有些問題,看起來很重要,但實際上我們可以通過合理的設(shè)計或者將問題分解來規(guī)避。
設(shè)計分布式事務(wù)系統(tǒng)也不是需要考慮所有異常情況,不必過度設(shè)計各種回滾,補(bǔ)償機(jī)制。
如果硬要把時間花在解決問題本身,實際上不僅效率低下,而且也是一種浪費(fèi)。
如果系統(tǒng)要實現(xiàn)回滾流程的話,有可能系統(tǒng)復(fù)雜度將大大提升,且很容易出現(xiàn) Bug,估計出現(xiàn) Bug 的概率會比需要事務(wù)回滾的概率大很多。
在設(shè)計系統(tǒng)時,我們需要衡量是否值得花這么大的代價來解決這樣一個出現(xiàn)概率非常小的問題,可以考慮當(dāng)出現(xiàn)這個概率很小的問題,能否采用人工解決的方式,這也是大家在解決疑難問題時需要多多思考的地方。
參考資料:
- technology-talk —— 事務(wù)
- MySQL 中事務(wù)的實現(xiàn)
- 分布式一致性算法 2PC 和 3PC
- 分布式開放消息系統(tǒng)(RocketMQ)的原理與實踐
- RocketMQ 事務(wù)消息入門介紹
- Saga 分布式事務(wù)解決方案與實踐 —— 姜寧
- 分布式事務(wù) Saga 模式
- 從一筆金幣充值去思考分布式事務(wù)
關(guān)于作者,陳彩華(caison),從事服務(wù)端開發(fā),善于系統(tǒng)設(shè)計、優(yōu)化重構(gòu)、線上問題排查工作,主要開發(fā)語言是 Java,微信號:hua1881375。
【51CTO原創(chuàng)稿件,合作站點(diǎn)轉(zhuǎn)載請注明原文作者和出處為51CTO.com】