【DTCC 2018】為云而生!解密華為 Cloud Native 分布式數(shù)據(jù)庫
5月11日,第九屆中國數(shù)據(jù)庫技術(shù)大會(DTCC 2018)在北京國際會議中心如火如荼的進(jìn)行。作為國內(nèi)數(shù)據(jù)庫領(lǐng)域規(guī)模***、***的技術(shù)交流盛會,本次大會聚集眾多***專家,共同探討了互聯(lián)網(wǎng)、金融、教育等行業(yè)領(lǐng)先的數(shù)據(jù)庫技術(shù)與未來趨勢。
經(jīng)過一天發(fā)酵,大會熱烈濃厚的技術(shù)討論氛圍在今日到達(dá)頂峰。金融作為當(dāng)下最熱行業(yè)之一,數(shù)據(jù)庫在該領(lǐng)域的實踐和應(yīng)用一直備受關(guān)注。本次大會上,華為云數(shù)據(jù)庫專家?guī)怼度A為 Cloud Native 分布式數(shù)據(jù)庫技術(shù)》主題演講,不但介紹了金融行業(yè)數(shù)據(jù)庫技術(shù)的演進(jìn)過程,而且重點剖析其技術(shù)原理,廣受各方關(guān)注。

華為云數(shù)據(jù)庫專家現(xiàn)場分享
近來,F(xiàn)intech(金融科技)正成為大家耳熟能詳?shù)脑~匯。而當(dāng)金融遇上云計算,可以說將真正把 Fintech 發(fā)揮到***。中國信息通信技術(shù)院 2018年《金融行業(yè)云計算技術(shù)調(diào)查報告》顯示:
近九成金融機構(gòu)已經(jīng)或正計劃應(yīng)用云計算技術(shù),近1/3已經(jīng)使用云計算技術(shù)的金融機構(gòu)部署了小規(guī)模以上的虛擬服務(wù)器。金融機構(gòu)應(yīng)用云計算技術(shù)最主要的目的,是縮短應(yīng)用部署時間、節(jié)約成本和業(yè)務(wù)升級不中斷。服務(wù)安全性和可持續(xù)性,則是金融機構(gòu)對云計算技術(shù)最主要的要求。
數(shù)據(jù)庫方面,金融機構(gòu)主要應(yīng)用 Oracle、DB2、MySQL 和 PostgreSQL。其中 Oracle占比 62.61%,DB2 占比 21.80%,MySQL 占比15.23%,PostgreSQL 占6.76%。其他占比7.88%。

數(shù)據(jù)庫技術(shù)在金融機構(gòu)的應(yīng)用情況(數(shù)據(jù)來源:中國信息通信技術(shù)院)
華為云數(shù)據(jù)庫作為領(lǐng)先的云服務(wù)品牌,與金融行業(yè)的關(guān)系可謂歷久彌新。早在2017年11月,招商銀行就與華為成立分布式數(shù)據(jù)庫聯(lián)合創(chuàng)新實驗室,實踐云上金融科技變革。雙方共同應(yīng)對“CloudFirst”的挑戰(zhàn),利用云、大數(shù)據(jù)、人工智能先進(jìn)技術(shù),領(lǐng)先的金融業(yè)務(wù)實踐和優(yōu)秀資源,聯(lián)接業(yè)務(wù)與技術(shù),聯(lián)合進(jìn)行分布式數(shù)據(jù)庫技術(shù)的研發(fā)和產(chǎn)品應(yīng)用,解決數(shù)據(jù)庫應(yīng)用上云問題。
華為是招商銀行最重要的 IT 合作公司之一,之前就有很多合作,而這次基于云數(shù)據(jù)庫的合作,華為云更是助力招商銀行加速數(shù)字化轉(zhuǎn)型,成為“金融科技銀行”。招商銀行通過科技變革,為客戶提供普惠、個性化、智能化的金融服務(wù)。
招商銀行和華為公司成立分布式數(shù)據(jù)庫聯(lián)合創(chuàng)新實驗室
在今天的大會上,招商銀行數(shù)據(jù)庫架構(gòu)師周偉作了《招行 Fintech 數(shù)據(jù)開放平臺之內(nèi)功修煉》的主題分享,介紹了這一輪 Fintech 浪潮下,如何以數(shù)據(jù)和技術(shù)為核心驅(qū)動力,結(jié)合互聯(lián)網(wǎng)和創(chuàng)業(yè)外部視角重新梳理金融行業(yè)的業(yè)務(wù),以及在去中心化和高并發(fā)密集運算新形勢下,數(shù)據(jù)架構(gòu)該如何設(shè)計和應(yīng)對。
幾乎在同一時間的同一專場里,華為云數(shù)據(jù)庫專家分享的《華為 Cloud Native 分布式數(shù)據(jù)庫技術(shù)》主題演講,也不約而同介紹了云時代下企業(yè)如何基于云場景架構(gòu)設(shè)計具備跨地區(qū)分布式部署的數(shù)據(jù)庫,介紹了 Cloud Native 分布式數(shù)據(jù)庫高可靠、高性能、易擴展等金融級的關(guān)鍵特性,并深入揭開其背后的技術(shù)內(nèi)幕。
Cloud Native 分布式數(shù)據(jù)庫,是相較傳統(tǒng) RDBMS(關(guān)系型數(shù)據(jù)庫管理系統(tǒng))而言的一種高可用數(shù)據(jù)庫。為什么說是高可用呢?這還得從傳統(tǒng) RDBMS 說起。過去三十多年間,計算平臺基本是在一臺 PC、一個服務(wù)器、或者一個手機這樣獨立的硬件上搭建,因此有單處理器、小內(nèi)存、慢速硬盤等特點。
云時代的到來,使得無論傳統(tǒng)行業(yè)還是互聯(lián)網(wǎng)行業(yè),業(yè)務(wù)越來越多樣,迭代速度越來越快,使得整體數(shù)據(jù)量大幅提升。IOT設(shè)備、手機、移動互聯(lián)網(wǎng)的蓬勃發(fā)展,終端也不再僅是傳統(tǒng) PC 客戶端數(shù)據(jù)的接入。AI、大數(shù)據(jù)分析模型理論上的突破,讓計算手段越來越多樣。各式新物理設(shè)備的出現(xiàn)、存儲成本的持續(xù)降低,使得數(shù)據(jù)庫需要面對更多挑戰(zhàn)。
傳統(tǒng)數(shù)據(jù)庫無論在高可用性、還是成本方面,都很難應(yīng)對這些挑戰(zhàn)。比如,傳統(tǒng)數(shù)據(jù)庫主備之間,通過異步或半同步方式進(jìn)行數(shù)據(jù)同步。一旦主數(shù)據(jù)庫實例發(fā)生故障導(dǎo)致不可用,該架構(gòu)就很難在短時間內(nèi)將服務(wù)切換到備數(shù)據(jù)庫實例上。
隨著業(yè)務(wù)數(shù)據(jù)量不斷地增大,數(shù)據(jù)庫在性能和容量方面的提升,往往只能依賴硬件的提升來解決。不但成本很高,操作復(fù)雜,而且很難做到業(yè)務(wù)不中斷。因此,具備高性能、高可靠、能彈性伸縮的分布式數(shù)據(jù)庫應(yīng)運而生,且將成為趨勢。
國際著名市場分析機構(gòu) Gartner 調(diào)查顯示,到2019年,90%的云數(shù)據(jù)庫管理系統(tǒng)架構(gòu),將支持計算和存儲的分離,這與市場的需求也息息相關(guān)。
以金融行業(yè)云為代表的新時代數(shù)據(jù)庫,需要整個系統(tǒng)的高安全性, 高可靠性、高可用性、高性能, 可擴展能力,以及運維自動化。分布式數(shù)據(jù)庫如何滿足這些需求呢?或許我們可以從華為 Cloud Native 分布式數(shù)據(jù)庫系統(tǒng)中找到答案。

我們先來了解華為 Cloud Native 分布式數(shù)據(jù)庫的設(shè)計原理。首先是 Near Data Process,即將與數(shù)據(jù)相關(guān)性較大的業(yè)務(wù)邏輯卸載到存儲層,減輕計算負(fù)擔(dān)。比如對 redo 日志的處理、配置的構(gòu)建等。
華為 Cloud Native 分布式數(shù)據(jù)庫利用云存儲提供的特有功能,比如云存儲的容錯能力和快速自我修復(fù)能力,提升數(shù)據(jù)庫服務(wù)的可用性和數(shù)據(jù)的可靠性。而且充分利用云存儲多租戶共享的能力,持續(xù)降低數(shù)據(jù)庫成本。
此外,華為 Cloud Native 分布式數(shù)據(jù)庫與云上各種技術(shù)垂直整合,解決了線下傳統(tǒng)數(shù)據(jù)庫的問題和痛點。例如避免隨機寫入 SSD 以減少磨損,利用 SSD 的超高隨機讀取性能,同時結(jié)合云存儲的自我修復(fù)能力,既提升數(shù)據(jù)庫整體性能,也讓其擁有更高可靠性。
計算與存儲分離以后,數(shù)據(jù)庫達(dá)到高性能的關(guān)鍵點不再是傳統(tǒng)的數(shù)據(jù)處理,而是網(wǎng)絡(luò)。華為 Cloud Native 分布式數(shù)據(jù)庫通過數(shù)據(jù)優(yōu)化,減少通訊量,同時利用先進(jìn)的網(wǎng)絡(luò)技術(shù)(如 RDMA),降低網(wǎng)絡(luò)的時延,提升網(wǎng)絡(luò)吞吐。
華為 Cloud Native 分布式數(shù)據(jù)庫還利用 AI 和 ML 中的先進(jìn)技術(shù)實現(xiàn)系統(tǒng)自治,讓數(shù)據(jù)庫實現(xiàn)自動擴容,自我調(diào)節(jié),從而滿足用戶的彈性需求。
基于以上原理,華為不但在原生DB引擎方面對開源數(shù)據(jù)庫和商業(yè)數(shù)據(jù)庫進(jìn)行安全加固、服務(wù)化,推出云數(shù)據(jù)庫 MySQL、PostgreSQL、SQL Server、文檔數(shù)據(jù)庫等服務(wù);而且優(yōu)化DB引擎,基于原生開源版本的 MySQL,進(jìn)行了內(nèi)核源碼級優(yōu)化,推出性能大幅提升 3倍以上,復(fù)制延遲大幅降低至20秒內(nèi)的云數(shù)據(jù)庫 HWSQL,并且近期將發(fā)布自研的企業(yè)級分布式數(shù)據(jù)庫。

華為云數(shù)據(jù)庫服務(wù)全景圖
取得這樣優(yōu)異的成績,是因為華為云突破了數(shù)據(jù)庫引擎內(nèi)核的關(guān)鍵技術(shù),包括 IO 卸載技術(shù),緩解磁盤IO壓力;多個事務(wù)的日志打包提交,減少網(wǎng)絡(luò)IO數(shù)量;請求異步并行化,有效利用多核資源。此外,華為云還在云上將數(shù)據(jù)庫軟件和底層硬件垂直整合,在網(wǎng)絡(luò)領(lǐng)域使用用戶態(tài)網(wǎng)絡(luò)協(xié)議棧技術(shù),在存儲領(lǐng)域使用高性能虛擬化存儲,高性能存儲IO,有效隔離租戶數(shù)據(jù),保障安全。
由此可見,以華為云Cloud Native 分布式數(shù)據(jù)庫為代表的新型云數(shù)據(jù)庫,正是為金融級
高安全、高可靠、高可用、高性能、高可擴展以及運維自動化等需求量身定做的。
了解更多華為云數(shù)據(jù)庫:https://www.huaweicloud.com/product/dbs.html
































