穩(wěn)定支撐國有大行新一代核心系統(tǒng),華為云數(shù)據(jù)庫GaussDB靠什么?
原創(chuàng)如今的數(shù)據(jù)庫市場呈現(xiàn)出一片百花齊放、百家爭鳴的新面貌。無論是傳統(tǒng)數(shù)據(jù)庫廠商、云數(shù)據(jù)庫廠商、還是新興數(shù)據(jù)庫廠商,都在不遺余力地打造各種類型的數(shù)據(jù)庫:如OLTP、OLAP、HTAP、NoSQL等。據(jù)悉,僅我國就有200多款數(shù)據(jù)庫產(chǎn)品。雖然數(shù)據(jù)庫種類多、產(chǎn)品多,但整體的發(fā)展方向基本一致,即:云原生、分布式、HTAP、多模等。其中,分布式可謂是重中之重。
這是因為隨著企業(yè)業(yè)務(wù)全面向數(shù)字化、在線化、智能化演進,企業(yè)面臨著呈指數(shù)級增長的海量數(shù)據(jù)帶來的存儲需求和挑戰(zhàn),業(yè)務(wù)上有更多的熱點和突發(fā)流量帶來的挑戰(zhàn),企業(yè)需要降本增效,進行更加智能化的數(shù)據(jù)決策,傳統(tǒng)的數(shù)據(jù)庫已經(jīng)難以滿足和響應(yīng)快速變化且持續(xù)增長的業(yè)務(wù)訴求。而分布式數(shù)據(jù)庫具有透明性、數(shù)據(jù)冗余性、易于擴展性、自治性等特點,還具有經(jīng)濟、性能優(yōu)越、響應(yīng)速度更快、體系結(jié)構(gòu)靈活、易于集成現(xiàn)有系統(tǒng)等特點,可以很好地解決企業(yè)用戶的核心訴求。
七大關(guān)鍵技術(shù),承載金融級核心系統(tǒng)
金融行業(yè),尤其是銀行業(yè)是對數(shù)據(jù)庫依賴度極高、又對數(shù)據(jù)庫要求最為嚴(yán)苛的行業(yè)。隨著互聯(lián)網(wǎng)及移動互聯(lián)網(wǎng)技術(shù)的興起,網(wǎng)上銀行、手機銀行、電子支付等新業(yè)態(tài)出現(xiàn),高并發(fā)、海量數(shù)據(jù)、超高峰值等挑戰(zhàn)接踵而至,導(dǎo)致數(shù)據(jù)資源存儲、計算和應(yīng)用等需求大幅提升。以往銀行業(yè)務(wù)架構(gòu)采用的大/小型機+集中式數(shù)據(jù)庫的方案,已經(jīng)難以滿足對業(yè)務(wù)穩(wěn)定性與連續(xù)性的要求。而分布式數(shù)據(jù)庫可以滿足金融行業(yè)高可靠、高性能、低成本、平滑擴展等需求,逐漸成為了金融行業(yè)打造核心競爭力的重要手段之一。
從安全的角度出發(fā),今年早些時候,中國人民銀行會同市場監(jiān)管總局、銀保監(jiān)會、證監(jiān)會聯(lián)合印發(fā)了《金融標(biāo)準(zhǔn)化“十四五”發(fā)展規(guī)劃》,提出要穩(wěn)步推進金融科技標(biāo)準(zhǔn)建設(shè),系統(tǒng)完善金融數(shù)據(jù)要素標(biāo)準(zhǔn),健全金融信息基礎(chǔ)設(shè)施標(biāo)準(zhǔn),強化金融網(wǎng)絡(luò)安全標(biāo)準(zhǔn)防護,推進金融業(yè)信息化核心技術(shù)安全可控標(biāo)準(zhǔn)建設(shè)。對于金融業(yè)務(wù)來說,安全是數(shù)字金融服務(wù)的基石。為了滿足金融行業(yè)高擴展、高并發(fā)、高性能、高安全性等挑戰(zhàn),華為云在去年推出了主打金融政企核心業(yè)務(wù)負(fù)載的分布式數(shù)據(jù)庫旗艦產(chǎn)品——GaussDB,這是華為深度融合多年數(shù)據(jù)庫領(lǐng)域經(jīng)驗,充分結(jié)合企業(yè)級場景需求,基于openGauss自研生態(tài)推出的企業(yè)級分布式關(guān)系型數(shù)據(jù)庫。是什么樣的特性使得GaussDB 俘獲了眾多金融行業(yè)用戶的心呢?這要從其關(guān)鍵技術(shù)說起。
首先是分布式執(zhí)行框架。業(yè)務(wù)應(yīng)用下發(fā)SQL給Coordinator,SQL可以包含對數(shù)據(jù)的增(insert)、刪(delete/drop)、改(update)、查(select)。Coordinator利用數(shù)據(jù)庫的優(yōu)化器生成執(zhí)行計劃,每個DN(Data Node)會按照執(zhí)行計劃的要求去處理數(shù)據(jù)。
GaussDB 分布式執(zhí)行框架示意圖
因為數(shù)據(jù)是通過一致性Hash技術(shù)均勻分布在每個節(jié)點,因此DN在處理數(shù)據(jù)的過程中,可能需要從其他DN獲取數(shù)據(jù),GaussDB提供了三種stream流(廣播流、聚合流和重分布流)來降低數(shù)據(jù)在DN節(jié)點間的流動。DN將結(jié)果集返回給Coordinator進行匯總。Coordinator將匯總后的結(jié)果返回給業(yè)務(wù)應(yīng)用,從而提升復(fù)雜SQL查詢的性能。
第二是GTM-Lite技術(shù)。GTM-Lite可以在保證事務(wù)全局強一致的同時,提供高性能的事務(wù)處理能力,避免了單GTM的性能瓶頸。這里的高性能事務(wù)管理指的是無鎖、多版本、高并發(fā)事務(wù)技術(shù)。而且分布式的GTM-Lite方案提供全局事務(wù)快照和提交管理,實現(xiàn)強一致性,且無中心節(jié)點性能瓶頸。
第三個關(guān)鍵技術(shù)是基于NUMA-Aware實現(xiàn)高性能事務(wù)處理。結(jié)合鯤鵬多核CPU架構(gòu)優(yōu)勢,通過進行NUMA綁核、對全局?jǐn)?shù)據(jù)結(jié)構(gòu)進行NUMA分區(qū)改造,減少跨核處理和核間沖突,提升業(yè)務(wù)并行處理能力;充分利用鯤鵬原生Atomic_LSE指令,實現(xiàn)NUMA-Aware自旋鎖,大幅降低指令數(shù),有效提升指令效率,性能更強。
GaussDB NUMA-Aware技術(shù)架構(gòu)示意圖
第四個關(guān)鍵技術(shù)是集群HA,多層級冗余實現(xiàn)系統(tǒng)無單點故障。GaussDB通過硬件冗余、實例冗余、數(shù)據(jù)冗余,實現(xiàn)整個系統(tǒng)無單點故障,高可用。其中硬件高可用包括存儲磁盤RAID冗余、網(wǎng)絡(luò)雙交換機冗余、多網(wǎng)卡冗余、主機UPS電源保護。軟件高可用則包括協(xié)調(diào)節(jié)點CN實例多活冗余、數(shù)據(jù)節(jié)點/全局事務(wù)管理/ 集群管理器實例Active-Standby冗余。除此之外,GaussDB還通過全量+增量備份,打造閃回和PITR等企業(yè)級能力,實現(xiàn)數(shù)據(jù)按需回退、任意時間點的數(shù)據(jù)恢復(fù),最終進一步保障數(shù)據(jù)庫的高可用。
第五個關(guān)鍵技術(shù)是跨AZ/Region容災(zāi)技術(shù)帶來的高可用。首先是集群內(nèi)高可用,實現(xiàn)了數(shù)據(jù)不丟失和業(yè)務(wù)秒級中斷。同城跨AZ容災(zāi),數(shù)據(jù)不丟失,實現(xiàn)了分鐘級恢復(fù)。
除了同城跨AZ, GaussDB還推出了同城雙集群高可用方案,提供金融級高可用服務(wù),支持RPO=0 、RTO<60s的同城雙集群切換,主集群在出現(xiàn)故障的情況下,備集群還具備繼續(xù)提供服務(wù)的能力,盡最大可能保障企業(yè)用戶的核心業(yè)務(wù)7x24小時無中斷。
第六個關(guān)鍵技術(shù)是Scale-out在線橫向擴展帶來高擴展。GaussDB支持單集群1000+節(jié)點,節(jié)點擴展下能夠獲得卓越的性能線性比,同時節(jié)點擴容能夠做到完全在線,對客戶透明。節(jié)點擴容完成后DN數(shù)據(jù)自動重分布,CN自動完成負(fù)載均衡。
GaussDB Scale-out橫向擴展示意圖
第七個關(guān)鍵技術(shù)是一站式遷移解決方案。GaussDB基于數(shù)據(jù)庫和應(yīng)用遷移(UGO)和數(shù)據(jù)復(fù)制服務(wù)(DRS),從遷移評估、結(jié)構(gòu)遷移、應(yīng)用遷移、全量+增量數(shù)據(jù)遷移、數(shù)據(jù)一致性動態(tài)校驗、流量回放等方面提供了一站式遷移上云方案,讓客戶上云更輕松、更高效。
為眾多金融機構(gòu)打造安全可靠的數(shù)字底座
在對數(shù)據(jù)庫要求最為苛刻的金融行業(yè),多家國有商業(yè)銀行,以及股份制銀行和保險證券機構(gòu),已經(jīng)堅定選擇了華為云分布式數(shù)據(jù)庫GaussDB作為數(shù)字化轉(zhuǎn)型的堅實數(shù)據(jù)底座。
今年4月,郵儲銀行新一代分布式核心系統(tǒng)全面投產(chǎn)上線的消息引發(fā)了業(yè)內(nèi)的廣泛關(guān)注,這是國有六大行首個落地的分布式金融新核心系統(tǒng)?!?/span>
與其他大行一樣,郵儲銀行以往采用了經(jīng)典的大型機+商業(yè)軟件架構(gòu)支撐初期的信息化建設(shè)。日常業(yè)務(wù)中,銀行有不計其數(shù)的客戶交易記錄、交易明細(xì)查詢、歷史賬戶信息等數(shù)據(jù),還需要實時的金額收支分析。隨著金融服務(wù)在線化,小額交易頻次越來越高,傳統(tǒng)的核心系統(tǒng)受到劇烈沖擊,容量瓶頸、性能支撐、業(yè)務(wù)負(fù)載等挑戰(zhàn)隨之而來,尤其在交易高峰時段,因系統(tǒng)彈性不足時常造成交易擁堵,嚴(yán)重影響了用戶體驗。
2019年,郵儲銀行開始對核心系統(tǒng)進行重構(gòu),選擇了華為云分布式數(shù)據(jù)庫GaussDB作為新一代個人業(yè)務(wù)核心系統(tǒng)IT數(shù)字化底座的重要組成部分,進行全新的分布式改造。GaussDB采用行業(yè)先進的全并行分布式架構(gòu),通過多個節(jié)點并行來分擔(dān)系統(tǒng)壓力,提供極致吞吐量;還擁有超大存儲容量,支持事務(wù)的強一致性;在數(shù)據(jù)保護方面,提供兩地三中心的容災(zāi)方案和多層級冗余保障數(shù)據(jù)的實時安全,實現(xiàn)系統(tǒng)無單點故障。
上線后的新系統(tǒng)可支撐海量交易、彈性伸縮、金融核心級高可靠和高可用,可具備為全行6.37億個人客戶、4萬個網(wǎng)點提供日均20億筆,峰值6.7萬筆/秒的交易處理能力。
除了郵儲銀行,GaussDB還聯(lián)合工商銀行探索和打造以分布式數(shù)據(jù)庫為基礎(chǔ)的金融級數(shù)據(jù)庫轉(zhuǎn)型解決方案。對標(biāo)工行主機“兩地三中心”部署架構(gòu)和高可用能力,基于存算分離形成多集群部署架構(gòu),夯實分布式數(shù)據(jù)庫核心承載能力。同時聚焦傳統(tǒng)數(shù)據(jù)庫與應(yīng)用耦合度高的難點,錘煉數(shù)據(jù)庫平滑遷移能力,實現(xiàn)異構(gòu)數(shù)據(jù)庫的自動遷移。
永安財產(chǎn)保險是陜西省最大的財險公司。華為云幫助永安財險重構(gòu)了核心系統(tǒng)并實現(xiàn)了主流商業(yè)數(shù)據(jù)庫切換,同時降低了運維壓力。通過切換至分布式數(shù)據(jù)庫GaussDB,實現(xiàn)數(shù)倍性能提升,提高了業(yè)務(wù)運轉(zhuǎn)效率,整體資源投入節(jié)省25%。
由此可見,GaussDB足以勝任金融行業(yè)的多方面需求。
支撐金融行業(yè)核心架構(gòu),任重而道遠(yuǎn)
數(shù)據(jù)庫作為金融信息系統(tǒng)的核心基礎(chǔ)設(shè)施,歷經(jīng)數(shù)十年發(fā)展,為金融行業(yè)轉(zhuǎn)型升級提供了有力的技術(shù)支撐。同時可以看到,分布式將是數(shù)據(jù)庫當(dāng)前乃至未來的發(fā)展趨勢之一,有無限廣闊的市場和空間。
雖然分布式數(shù)據(jù)庫的發(fā)展歷史相對較短,但卻具備極致的擴展性、可用性和開放性,面臨以金融行業(yè)為代表的海量數(shù)據(jù)存儲、流量洪峰等業(yè)務(wù)場景有得天獨厚的優(yōu)勢。華為云分布式數(shù)據(jù)庫GaussDB深度結(jié)合了華為在數(shù)據(jù)庫領(lǐng)域多年來的技術(shù)積累和實踐經(jīng)驗,能滿足客戶高安全、高可靠、高性能、高擴展、智能化全方位需求,為金融機構(gòu)提供功能全?、穩(wěn)定可靠、擴展性強以及性能優(yōu)越的企業(yè)級數(shù)據(jù)庫服務(wù)。未來,GaussDB也將持續(xù)深耕技術(shù)創(chuàng)新,凝聚力量,助力金融機構(gòu)安心上云,實現(xiàn)金融行業(yè)高效數(shù)字化轉(zhuǎn)型!