"2023金融業(yè)數(shù)據(jù)庫(kù)技術(shù)大會(huì)" 有感
原創(chuàng)近日,有幸參加了2023金融業(yè)數(shù)據(jù)庫(kù)技術(shù)大會(huì)。本次大會(huì)以“數(shù)據(jù)庫(kù)賦能數(shù)智金融發(fā)展”為主題,邀請(qǐng)管理部門(mén)、金融機(jī)構(gòu)、科技企業(yè)、研究機(jī)構(gòu)等多方,共同對(duì)我國(guó)金融業(yè)數(shù)據(jù)庫(kù)技術(shù)的研究進(jìn)展、應(yīng)用實(shí)踐、風(fēng)險(xiǎn)挑戰(zhàn)、發(fā)展趨勢(shì)等進(jìn)行了深入探討與交流。金融業(yè)作為數(shù)據(jù)應(yīng)用“高地”,一直以來(lái)都很重視底層基礎(chǔ)平臺(tái)-數(shù)據(jù)庫(kù)的建設(shè)。特別是近些年來(lái)隨著金融業(yè)務(wù)轉(zhuǎn)型、自主創(chuàng)新需求、新技術(shù)架構(gòu)突破等因素,數(shù)據(jù)庫(kù)在金融領(lǐng)域的應(yīng)用正呈現(xiàn)一些新的變化趨勢(shì)。下文是我參加會(huì)議后的一些感受。
1. 參會(huì)有感:技術(shù)篇
1).路線之爭(zhēng):分布式與集中式
曾幾何時(shí),談到新型數(shù)據(jù)庫(kù)或信創(chuàng)數(shù)據(jù)庫(kù),大家都不約而同認(rèn)為是分布式數(shù)據(jù)庫(kù)。確實(shí),近些年來(lái)分布式數(shù)據(jù)庫(kù)發(fā)展很快,很多國(guó)產(chǎn)數(shù)據(jù)庫(kù)也采用了分布式架構(gòu)。同時(shí)在金融客戶的國(guó)產(chǎn)化替代過(guò)程中,因?yàn)閷?duì)國(guó)產(chǎn)數(shù)據(jù)庫(kù)在穩(wěn)定性、擴(kuò)展能力、算法優(yōu)化等方面的擔(dān)心,用戶也愿意去考慮選擇分布式架構(gòu)。但從真實(shí)業(yè)務(wù)系統(tǒng)來(lái)看,超過(guò)70%、甚至80%以上的業(yè)務(wù)系統(tǒng)是可以采用集中式架構(gòu)來(lái)解決的,而且其綜合成本、運(yùn)維資源、技術(shù)成熟度等更具優(yōu)勢(shì)。那么如何看待這一技術(shù)路線之爭(zhēng)?用戶又如何進(jìn)行兩種路線的選擇呢?很多乙方廠商,給出的自己的答案。
? 集中式分布式一體化
從技術(shù)長(zhǎng)期發(fā)展來(lái)看,集中式和分布式不是完全割裂的,而是可以做到統(tǒng)一。采用一套內(nèi)核代碼,使用統(tǒng)一的開(kāi)發(fā)、運(yùn)維接口,可以在兩種架構(gòu)間平滑過(guò)渡。用戶不用去糾結(jié)選擇哪種架構(gòu),而是可以根據(jù)需要隨時(shí)切換或升級(jí)架構(gòu)。我們也看到了有廠商提出諸如“單機(jī)分布式一體化”的理念,正是基于這一考慮。
? 單一平臺(tái),多種架構(gòu)
分布式架構(gòu),經(jīng)常被詬病的是組件眾多、使用復(fù)雜、成本投入高,特別是對(duì)于應(yīng)用而言,不可避免的需要進(jìn)行數(shù)據(jù)分片后的改造。一種新的思路是,基于分布式架構(gòu)提供多種運(yùn)行模式,針對(duì)數(shù)據(jù)規(guī)模有限、擴(kuò)展需求不大的場(chǎng)景,可以使用“單分片”架構(gòu),這樣即可以充分利用分布式帶來(lái)的收益,保留未來(lái)擴(kuò)展的可能性;又可以減少應(yīng)用遷移改造的成本,可以快速實(shí)現(xiàn)業(yè)務(wù)平遷。對(duì)于數(shù)據(jù)規(guī)模大或有擴(kuò)展需求的,可直接選擇分布式架構(gòu)。這樣實(shí)現(xiàn),一套平臺(tái),兩種架構(gòu),滿足不同場(chǎng)景需求。
? 充分挖掘單機(jī)潛力
隨著近年硬件技術(shù)的快速發(fā)展,單機(jī)的能力有了巨大的提升,也就是說(shuō)硬件上限被提的很高。在單機(jī)/集中式架構(gòu)下,中小規(guī)模的應(yīng)用其綜合使用成本是較低的,達(dá)到一定規(guī)模后會(huì)不及分布式架構(gòu)的成本低;但這一規(guī)模已經(jīng)可以滿足絕大部分用戶需求。因此,我們也看到近些年諸如“一體機(jī)”形態(tài)有重新火熱,通過(guò)極致的硬件組合可以滿足大部分需求,且通過(guò)一體化管控降低運(yùn)維壓力。
2).產(chǎn)品選型:選路線非選產(chǎn)品
在具體的數(shù)據(jù)庫(kù)產(chǎn)品選項(xiàng)上,參會(huì)的很多甲方企業(yè)經(jīng)過(guò)前些年的實(shí)踐,已經(jīng)形成了自己的一套方法論??偨Y(jié)下來(lái),可以大致總結(jié)為以下一些原則:
? 根據(jù)場(chǎng)景,選擇產(chǎn)品
面對(duì)金融企業(yè)復(fù)雜、多樣的業(yè)務(wù)場(chǎng)景,很難找到一種“one size fit all”的數(shù)據(jù)庫(kù),之前的一家數(shù)據(jù)庫(kù)獨(dú)大的情況不再會(huì)發(fā)生。用戶可以根據(jù)協(xié)議、負(fù)載、并發(fā)、容量、形態(tài)等多種因素進(jìn)行選擇。我之前也曾總結(jié)過(guò),金融企業(yè)需整理自己的數(shù)據(jù)庫(kù)應(yīng)用矩陣,來(lái)滿足內(nèi)部的不同需求。
? 選擇標(biāo)準(zhǔn),而非產(chǎn)品
這里所說(shuō)的標(biāo)準(zhǔn),是指數(shù)據(jù)庫(kù)的生態(tài)標(biāo)準(zhǔn)。與之前使用國(guó)外大型商業(yè)數(shù)據(jù)庫(kù)不同,國(guó)內(nèi)數(shù)據(jù)庫(kù)產(chǎn)品的生態(tài)建設(shè)相對(duì)較晚,還沒(méi)有形成生態(tài)標(biāo)準(zhǔn)。因而在產(chǎn)品構(gòu)建上大多選擇了兼容性,常見(jiàn)如對(duì)Oracle、MySQL、PostgreSQL的商業(yè)數(shù)據(jù)庫(kù)或開(kāi)源數(shù)據(jù)庫(kù)的兼容。后續(xù)在設(shè)計(jì)開(kāi)發(fā)層面,僅需面對(duì)生態(tài)標(biāo)準(zhǔn)編程即可。因此,在用戶選擇上選擇某種標(biāo)準(zhǔn)是比較好的做法,如選擇小眾產(chǎn)品又沒(méi)有兼容生態(tài),則會(huì)冒很大的風(fēng)險(xiǎn)。
? 選擇多家,不依賴綁定
即使是某款產(chǎn)品能很好地滿足需要,在選擇時(shí)也要考慮其他可能,做到可隨時(shí)替代。一方面是因?yàn)閺S商本身的不確定性帶來(lái)的風(fēng)險(xiǎn),一方面是廠商的供給服務(wù)能力存在一定制約,難以滿足需要。選擇多家,可以有充分的靈活性,同時(shí)在采購(gòu)、續(xù)約時(shí)也能保有一定話語(yǔ)權(quán)。
? 不迷信、不盲從,自主測(cè)試
目前國(guó)產(chǎn)數(shù)據(jù)庫(kù)廠商非常大,各家能力也參差不齊,很難通過(guò)一兩次交流就做出選型。同時(shí),不同機(jī)構(gòu)的業(yè)務(wù)場(chǎng)景也有其自身特點(diǎn),很難采用通用的標(biāo)準(zhǔn)進(jìn)行評(píng)測(cè)。很多甲方已經(jīng)總結(jié)出符合自己情況的一套測(cè)試標(biāo)準(zhǔn),通常包括有功能、非功能、性能、高可用等測(cè)試。通過(guò)這種方式,做出自己的選擇。
3).擴(kuò)大場(chǎng)景:HTAP 成為剛需
此次大會(huì)上,很多用戶與廠商都同時(shí)提到了 HTAP 能力。確實(shí),對(duì)于金融企業(yè)來(lái)說(shuō),很多場(chǎng)景很難通過(guò)簡(jiǎn)單的OLTP、OLAP 進(jìn)行劃分,混合負(fù)載的場(chǎng)景成為常態(tài),這對(duì)國(guó)產(chǎn)數(shù)據(jù)庫(kù)來(lái)說(shuō)提出了更高的要求。其實(shí)從本質(zhì)來(lái)說(shuō),之前很多國(guó)外的商用產(chǎn)品,都是一種 HTAP 架構(gòu),也只有這樣才能滿足金融業(yè)務(wù)需求。雖然針對(duì) HTAP 這一能力,不同廠商的實(shí)現(xiàn)技術(shù)差異較大,尚無(wú)統(tǒng)一的技術(shù)標(biāo)準(zhǔn),但各家都將這一能力的提升作為產(chǎn)品的核心競(jìng)爭(zhēng)力之一。相信未來(lái)針對(duì)這一技術(shù)能力,會(huì)形成技術(shù)共識(shí)。
4).降低門(mén)檻:全方位多層次兼容
兼容性也是這次大會(huì)被提及很多的一個(gè)能力,很多產(chǎn)品將兼容性提升到一定高度。從底層硬件適配,到內(nèi)核層面的SQL 語(yǔ)法、庫(kù)內(nèi)計(jì)算,到管理、安全、診斷、優(yōu)化等,再到上層驅(qū)動(dòng)、乃至上游生態(tài)如開(kāi)發(fā)工具、BI工具等都希望能支持,進(jìn)而達(dá)到全方位、多層次的兼容。即使無(wú)法做到兼容,也通過(guò)一系列的工具,來(lái)降低改造、遷移的工作量,進(jìn)而減低遷移的門(mén)檻。自己之前也曾對(duì)兼容性寫(xiě)過(guò)一篇文章,參考《Oracle兼容性面面觀》
5).規(guī)模供給:云化、容器與多芯
隨著國(guó)產(chǎn)數(shù)據(jù)庫(kù)在金融企業(yè)的規(guī)模化使用,頭部金融用戶的使用體量已經(jīng)達(dá)到數(shù)千、乃至上萬(wàn)節(jié)點(diǎn)數(shù)。如何快速實(shí)現(xiàn)資源供給,成為制約企業(yè)實(shí)施的因素。與會(huì)的很多甲方用戶,特別是頭部用戶,在數(shù)據(jù)庫(kù)落地實(shí)踐后都紛紛開(kāi)始提升規(guī)?;┙o能力。這其中技術(shù)能力包括有:
? 多芯:X86與國(guó)產(chǎn)化
所謂多芯,是指底層平臺(tái)是可以基于X86構(gòu)建,也同時(shí)需要支持國(guó)產(chǎn)非X86的方式。這樣一方面可以實(shí)現(xiàn)利用全國(guó)產(chǎn)化平臺(tái)來(lái)承載業(yè)務(wù),真正規(guī)避可能的卡脖子風(fēng)險(xiǎn);另一方面可以充分利用多資源池,實(shí)現(xiàn)資源供給的多樣性。從乙方廠商來(lái)看,一方面需適配國(guó)產(chǎn)化平臺(tái),另一方面將支持資源混部作為突破點(diǎn),來(lái)解決有效利用資源及規(guī)避?chē)?guó)產(chǎn)平臺(tái)穩(wěn)定性風(fēng)險(xiǎn)作為賣(mài)點(diǎn)。
? 容器:解決管理痛點(diǎn)
在分布式數(shù)據(jù)庫(kù)使用中,通常會(huì)面臨規(guī)模大、節(jié)點(diǎn)多、組件多、故障多等問(wèn)題及現(xiàn)象。如何實(shí)現(xiàn)分布式數(shù)據(jù)庫(kù)的規(guī)?;芾沓蔀橛脩羰褂蒙系钠毡橥袋c(diǎn)。容器方式,通過(guò)獨(dú)有資源編排能力,可在一定程度上解決之一問(wèn)題。部分頭部用戶,開(kāi)始嘗試使用容器化來(lái)解決這一問(wèn)題。
? 云化:實(shí)現(xiàn)規(guī)?;?/h4>
IT 的終極架構(gòu)在云上,金融企業(yè)也不例外,隨著國(guó)產(chǎn)數(shù)據(jù)庫(kù)逐步成熟,通過(guò)云實(shí)現(xiàn)規(guī)?;瘧?yīng)用成為必然。很多頭部用戶在已有多年云平臺(tái)的基礎(chǔ)上,支持國(guó)產(chǎn)數(shù)據(jù)庫(kù)的服務(wù),并通過(guò)“行業(yè)云”、“信創(chuàng)云”等實(shí)現(xiàn)對(duì)外或?qū)?nèi)的技術(shù)服務(wù)。這方面相較于公有云,金融企業(yè)自己的云有著獨(dú)特優(yōu)勢(shì)。
2. 參會(huì)有感:實(shí)踐篇
1).數(shù)據(jù)庫(kù)遷移規(guī)模化成難點(diǎn)
很多企業(yè)已經(jīng)在內(nèi)部做過(guò)了國(guó)產(chǎn)數(shù)據(jù)庫(kù)遷移,有了一定的經(jīng)驗(yàn),但這其中的難點(diǎn)在于規(guī)?;瘑?wèn)題。企業(yè)內(nèi)不是一兩套系統(tǒng),而是可能有上百套、數(shù)百套、乃至上千套的系統(tǒng)。如何在有限的時(shí)間內(nèi),付出可接受的成本完成遷移任務(wù),同時(shí)還需保障業(yè)務(wù)正常開(kāi)展是個(gè)大問(wèn)題。信創(chuàng)實(shí)施不是做科研項(xiàng)目,不能采用定制化的方式,是需要以工程化(低風(fēng)險(xiǎn))、可復(fù)制(標(biāo)準(zhǔn)化)、可推廣(服務(wù)化)的方式來(lái)完成。很多甲方用戶在進(jìn)行一定體量的改造后,建立了數(shù)據(jù)庫(kù)遷移實(shí)施的規(guī)范標(biāo)準(zhǔn),形成了“評(píng)估-實(shí)現(xiàn)-控制-改進(jìn)”的科學(xué)方法論,進(jìn)而實(shí)現(xiàn)遷移可評(píng)估、數(shù)據(jù)有保障、運(yùn)行可觀測(cè)、風(fēng)險(xiǎn)可控制的遷移能力。形成了一批包括從系統(tǒng)開(kāi)發(fā)、應(yīng)用改造、應(yīng)用測(cè)試、數(shù)據(jù)遷移(同步)、數(shù)據(jù)校驗(yàn)、流量切換、優(yōu)化分析等一整套工具或平臺(tái)。但這里有個(gè)較大的問(wèn)題在于,大型金融企業(yè)這么做沒(méi)有問(wèn)題,但對(duì)于廣大中小企業(yè)而言,既沒(méi)有足夠的技術(shù)積累,也沒(méi)有充足的財(cái)力支持,只能依賴于乙方廠商完成這一過(guò)程。因此如何將大型金融機(jī)構(gòu)的成熟能力為其他用戶賦能,是個(gè)關(guān)鍵問(wèn)題。
2).數(shù)據(jù)庫(kù)穩(wěn)定運(yùn)行風(fēng)險(xiǎn)
金融企業(yè)最為關(guān)注的是數(shù)據(jù)安全及業(yè)務(wù)可用性,作為數(shù)據(jù)的重要載體,數(shù)據(jù)庫(kù)承擔(dān)著至關(guān)重要的角色。如何滿足金融行業(yè)對(duì)數(shù)據(jù)一致性、運(yùn)行可靠性的要求是進(jìn)行國(guó)產(chǎn)化改造的關(guān)鍵。一方面乙方廠商通過(guò)自身技術(shù)積累、海量實(shí)踐磨合、新架構(gòu)技術(shù)突破等手段來(lái)解決這一風(fēng)險(xiǎn);另一方面作為甲方的用戶也在通過(guò)一系列運(yùn)營(yíng)手段來(lái)解決這一問(wèn)題。很多甲方企業(yè)已經(jīng)總結(jié)出一整套生產(chǎn)實(shí)施工藝,包括從可研評(píng)審、開(kāi)發(fā)測(cè)試、遷移切換、基線管理、版本升級(jí)、配置管理、高可用部署、告警監(jiān)控、應(yīng)急處置等多個(gè)環(huán)節(jié)來(lái)解決。盡量從流程上去解決引入數(shù)據(jù)庫(kù)可能帶來(lái)的運(yùn)行風(fēng)險(xiǎn)。
3).實(shí)施方式多種路徑各異
在具體的實(shí)施路徑及選擇方式上,不同企業(yè)差異很大。有的采取了“先核心、后推廣”的策略,通過(guò)核心系統(tǒng)遷移積累經(jīng)驗(yàn)、磨合產(chǎn)品、鍛煉隊(duì)伍,為后續(xù)的規(guī)?;瘡?fù)制做好鋪墊。有的則采取“先外圍、后核心”的策略,早期通過(guò)外圍系統(tǒng)選擇合適場(chǎng)景進(jìn)行試點(diǎn),然后再逐步深入。有的采取“平滑為主、重點(diǎn)突破”,通過(guò)將穩(wěn)定業(yè)務(wù)優(yōu)先平遷到國(guó)產(chǎn)庫(kù),然后再找難點(diǎn)場(chǎng)景完成分布式改造,即先易后難的方式。這些路徑及方式的選擇,通常是根據(jù)企業(yè)的自身技術(shù)能力、業(yè)務(wù)特點(diǎn)、財(cái)力投入、戰(zhàn)略發(fā)展等有關(guān),沒(méi)有標(biāo)準(zhǔn)經(jīng)驗(yàn)可復(fù)用。
3. 參會(huì)有感:發(fā)展篇
1).成熟度不足,還需驗(yàn)證
隨著國(guó)產(chǎn)數(shù)據(jù)庫(kù)在金融業(yè)的規(guī)?;瘧?yīng)用,特別是分布式數(shù)據(jù)庫(kù)的使用,在過(guò)程中暴露出國(guó)產(chǎn)產(chǎn)品的一些不足。金融行業(yè)作為數(shù)據(jù)庫(kù)應(yīng)用“高地”,對(duì)海量規(guī)模、高并發(fā)、高穩(wěn)定性等方面均提出苛刻的要求。國(guó)產(chǎn)數(shù)據(jù)庫(kù)產(chǎn)品在高性能、穩(wěn)定性、可運(yùn)維性方面普遍存在短板,需進(jìn)一步提升。
2).專(zhuān)業(yè)人才短缺,阻礙發(fā)展
國(guó)產(chǎn)數(shù)據(jù)庫(kù)(含分布式數(shù)據(jù)庫(kù)),存在較大的人才缺口,特別是具有實(shí)戰(zhàn)進(jìn)行的技術(shù)人員。一方面乙方廠商自有人員不足,三方資源培養(yǎng)也處于剛剛起步階段;另一方面以分布式數(shù)據(jù)庫(kù)為代表,技術(shù)領(lǐng)域跨度大,專(zhuān)業(yè)技術(shù)人才的培養(yǎng)較長(zhǎng);第三方面不僅僅在運(yùn)維側(cè)、針對(duì)分布式架構(gòu)在研發(fā)、架構(gòu)側(cè)同樣繼續(xù)人才,這方面更加匱乏。
3).無(wú)標(biāo)準(zhǔn)體系,推廣困難
目前缺乏數(shù)據(jù)庫(kù)標(biāo)準(zhǔn)體系,需聯(lián)合行業(yè)與產(chǎn)業(yè)端,加強(qiáng)數(shù)據(jù)庫(kù)金融應(yīng)用標(biāo)準(zhǔn)規(guī)范建設(shè)。覆蓋從路線、架構(gòu)、產(chǎn)品選型,到開(kāi)發(fā)、測(cè)試、遷移,再到部署、上線、保障全流程的使用體系;進(jìn)而推動(dòng)金融行業(yè)與數(shù)據(jù)庫(kù)產(chǎn)業(yè)融合健康發(fā)展。
4).開(kāi)源生態(tài)存在安全風(fēng)險(xiǎn)
開(kāi)源數(shù)據(jù)庫(kù)在金融行業(yè)已經(jīng)大規(guī)模使用,很多國(guó)產(chǎn)數(shù)據(jù)庫(kù)也是基于開(kāi)源基礎(chǔ)進(jìn)行構(gòu)建的。需充分借鑒、吸收開(kāi)源技術(shù)、融合開(kāi)源技術(shù)生態(tài),走獨(dú)立自主演進(jìn)開(kāi)源技術(shù)道路,實(shí)現(xiàn)彎道超車(chē)。在使用中應(yīng)加強(qiáng)開(kāi)源數(shù)據(jù)庫(kù)在金融業(yè)的管理、合規(guī)治理,考慮收斂技術(shù)棧,加強(qiáng)開(kāi)源數(shù)據(jù)庫(kù)風(fēng)險(xiǎn)防范并形成機(jī)制。
5).加速?gòu)摹澳苡谩钡健昂糜谩鞭D(zhuǎn)變
希望數(shù)據(jù)庫(kù)廠商,加大投入,針對(duì)金融行業(yè)客戶的典型場(chǎng)景,加快產(chǎn)品迭代,不斷優(yōu)化產(chǎn)品。加速產(chǎn)品從“能用”到“好用”的快速轉(zhuǎn)變,擴(kuò)大、深化國(guó)產(chǎn)數(shù)據(jù)庫(kù)在金融行業(yè)使用。
6).提升服務(wù)意識(shí),做好保障
金融行業(yè)是涉及國(guó)計(jì)民生的重要行業(yè),其穩(wěn)定性、可靠性尤為重要。希望廠商在應(yīng)用實(shí)施過(guò)程中,投入更多資源,做好售后技術(shù)保障工作,加快響應(yīng)速度,制定有效的應(yīng)急手段,提供全面、優(yōu)質(zhì)的服務(wù)保障體系。畢竟好的產(chǎn)品還需要好的服務(wù)配合,才能在用戶處發(fā)揮更大作用。















 
 
 








 
 
 
 