嘉賓 | 史海峰
編輯 | 睿暄
出品 | 51CTO技術(shù)棧(微信號(hào):blog51cto)
本文整理自方正證券架構(gòu)平臺(tái)負(fù)責(zé)人史海峰在WOT2024大會(huì)上的主題分享。在《云原生時(shí)代的成本優(yōu)化》專場(chǎng)中,史海峰以《未來在云端——方正證券云原生架構(gòu)升級(jí)實(shí)踐》為主題分享了方正證券的云計(jì)算基礎(chǔ)設(shè)施建設(shè)實(shí)踐以及云原生架構(gòu)升級(jí)的關(guān)鍵點(diǎn)和落地收益。
1.方正證券的上云歷程
國(guó)內(nèi)證券行業(yè)的信息系統(tǒng)發(fā)展經(jīng)歷了幾個(gè)階段:
- 1.0:交易電子化(2000年之前)
- 2.0:交易大集中(2000-2008)
- 3.0:網(wǎng)上交易(2008-2016)
- 4.0:數(shù)字化轉(zhuǎn)型(2017-今)
當(dāng)前證券行業(yè)正處于數(shù)字化轉(zhuǎn)型的4.0階段,在此背景下,監(jiān)管機(jī)構(gòu)和行業(yè)協(xié)會(huì)制定了一系列關(guān)于金融行業(yè)數(shù)字化轉(zhuǎn)型的指導(dǎo)政策。例如,2020年中證協(xié)發(fā)布了《關(guān)于推進(jìn)證券行業(yè)數(shù)字化轉(zhuǎn)型發(fā)展的研究報(bào)告》,旨在推廣數(shù)字化轉(zhuǎn)型領(lǐng)域的行業(yè)最佳實(shí)踐。2021年證監(jiān)會(huì)發(fā)布了《證券期貨業(yè)科技發(fā)展“十四五”規(guī)劃》,旨在全面推動(dòng)科技賦能行業(yè)發(fā)展。2023年《數(shù)字中國(guó)建設(shè)整體布局規(guī)劃》發(fā)布,強(qiáng)調(diào)數(shù)字基礎(chǔ)設(shè)施是數(shù)字中國(guó)建設(shè)的基石。
方正證券致力于數(shù)字化轉(zhuǎn)型,尤其重視IT基礎(chǔ)設(shè)施建設(shè),經(jīng)過多年持續(xù)投入,打造了面向未來的云原生基礎(chǔ)架構(gòu)。證券行業(yè)因其業(yè)務(wù)特性,對(duì)系統(tǒng)穩(wěn)定性有極高要求,因此在影響全局的IT基礎(chǔ)設(shè)施建設(shè)方面非常慎重。如果用《跨越鴻溝》的劃分方式,方正證券引入創(chuàng)新技術(shù)的戰(zhàn)略秉承實(shí)用主義原則,持續(xù)關(guān)注前沿技術(shù),在技術(shù)跨越鴻溝相對(duì)成熟之后再根據(jù)實(shí)際需求引入,云基礎(chǔ)設(shè)施的建設(shè)就是一個(gè)典型案例。
圖片
2019年,方正證券經(jīng)過充分調(diào)研,決定引入云計(jì)算技術(shù),基于KVM構(gòu)建了輕量級(jí)私有云。在驗(yàn)證私有云的穩(wěn)定性和降低成本的效果后,2020年方正證券進(jìn)一步選擇外購(gòu)私有云服務(wù)。進(jìn)入2021年,方正證券開始應(yīng)用Docker容器技術(shù),進(jìn)行自研應(yīng)用容器化改造,啟動(dòng)云原生架構(gòu)升級(jí)。隨后在2022年基于Kubernetes(K8S)技術(shù)自建容器云平臺(tái),并支持一云多芯。到了2023年,方正證券的云原生基礎(chǔ)設(shè)施已基本完善,成功將30%的自研應(yīng)用遷移到了容器云上。未來,除資源密集型、計(jì)算密集型或者對(duì)響應(yīng)時(shí)間及單機(jī)穩(wěn)定性有極高要求的應(yīng)用外,方正證券計(jì)劃在2025年將自研應(yīng)用全部遷移至云端,并遷移部分外購(gòu)應(yīng)用,遷移以容器為第一選項(xiàng),以虛擬機(jī)為第二選項(xiàng)。
2.云原生架構(gòu)升級(jí)之路
基于容器技術(shù)的云原生架構(gòu)與基于虛擬機(jī)技術(shù)的私有云架構(gòu)在本質(zhì)上存在顯著差異。虛擬機(jī)技術(shù)模擬的是傳統(tǒng)物理機(jī)操作模式,而云原生技術(shù)是要結(jié)合企業(yè)應(yīng)用生命周期,覆蓋從開發(fā)到部署、再到運(yùn)維的整個(gè)鏈路。云原生技術(shù)并不是簡(jiǎn)單地將業(yè)務(wù)應(yīng)用遷移至容器,而是多維度全方位的變革,是面向應(yīng)用的技術(shù)體系升級(jí)。
方正證券的云原生架構(gòu)升級(jí)是一個(gè)系統(tǒng)工程,共分為三個(gè)階段:
第一階段(2021-2022年):
構(gòu)建云原生基礎(chǔ)設(shè)施,打造包括應(yīng)用容器化改造,鏡像倉(cāng)庫(kù),鏡像安全掃描,DevOps平臺(tái)等一系列應(yīng)用改造及基礎(chǔ)設(shè)施。通過Docker改造升級(jí)進(jìn)行過渡,為后續(xù)云原生項(xiàng)目的展開奠定理論和實(shí)踐基礎(chǔ),提供最佳實(shí)踐;
第二階段(2022-2023年):
這個(gè)階段具有里程碑意義,方正證券創(chuàng)造性地與服務(wù)器廠商共創(chuàng)云原生基座,廠商提供更適合,更安全的云原生操作系統(tǒng),基于K8S構(gòu)建容器云,同時(shí)在監(jiān)控,運(yùn)維,安全等多維度,多領(lǐng)域適配云原生。2023年完成30%自研應(yīng)用云原生架構(gòu)升級(jí),遷移上線,并支持部分外購(gòu)系統(tǒng)部署。
第三階段(2024年-2025年):
穩(wěn)步推進(jìn)云原生進(jìn)程,自研應(yīng)用全面云原生化。對(duì)資源進(jìn)行精細(xì)化調(diào)度,并形成可靠保障機(jī)制,與私有云、物理機(jī)協(xié)同實(shí)現(xiàn)資源全生命周期管理,與數(shù)據(jù)平臺(tái)合作提供容器資源調(diào)度,充分合理利用資源,節(jié)約采購(gòu)成本,提升效率和可用性。
在應(yīng)用批量架構(gòu)升級(jí)后,方正證券看到了云原生技術(shù)帶來的成果:提效和降本。應(yīng)用生產(chǎn)部署效率提升了75%,容器化相對(duì)于虛擬機(jī)減少了50%以上的軟硬件資源占用;相對(duì)于物理機(jī)則減少了73%的軟硬件資源占用。
3.云原生架構(gòu)升級(jí)四個(gè)關(guān)鍵點(diǎn)
方正證券是如何實(shí)現(xiàn)云原生的架構(gòu)升級(jí)?通過哪些關(guān)鍵的舉措確保不出現(xiàn)大的風(fēng)險(xiǎn)?在建設(shè)過程中有兩點(diǎn)很重要,而在升級(jí)過程中還有兩點(diǎn)非常關(guān)鍵。
建設(shè)的第一點(diǎn)是定標(biāo)準(zhǔn),方正證券參考信通院的云原生能力成熟度模型標(biāo)準(zhǔn),結(jié)合自身實(shí)際需求設(shè)定《方正證券云原生能力成熟度模型》,并以此為基礎(chǔ)列出了一張表格,標(biāo)出每一個(gè)維度的階段目標(biāo),形成四年規(guī)劃。第二點(diǎn)則是與行業(yè)專家交流,汲取經(jīng)驗(yàn),方正證券先后與平安科技、自如、DaoCloud進(jìn)行了深入交流。
圖片
圖片
學(xué)習(xí)過后就要落地實(shí)踐。方正證券的云原生平臺(tái)架構(gòu)從上到下分別為DevOps、容器云和K8S,同時(shí)對(duì)接原有的平臺(tái)能力,比如監(jiān)控、集群管理、云管、項(xiàng)目管理、權(quán)限日志等。方正證券的DevOps平臺(tái)不僅服務(wù)于云原生架構(gòu),還將支持物理機(jī)和私有云環(huán)境,實(shí)現(xiàn)對(duì)前端、后端以及移動(dòng)端應(yīng)用的全面部署支持。
圖片
云原生基礎(chǔ)架構(gòu)建設(shè)之后,面對(duì)的最大挑戰(zhàn)是應(yīng)用升級(jí)改造,這個(gè)過程中有兩個(gè)關(guān)鍵點(diǎn):第一點(diǎn)是項(xiàng)目方式推進(jìn),制定升級(jí)計(jì)劃,每周通過例會(huì)確認(rèn)當(dāng)前進(jìn)度和下周目標(biāo),項(xiàng)目前期進(jìn)行培訓(xùn),提供詳盡的操作手冊(cè),架構(gòu)平臺(tái)團(tuán)隊(duì)專人對(duì)口一站式服務(wù);第二點(diǎn)是配套工具支持,包括DevOps平臺(tái)支持雙軌部署過渡、網(wǎng)絡(luò)連通性探測(cè),監(jiān)控系統(tǒng)支持云原生可觀測(cè)性指標(biāo),模板工程改造。
圖片
這里重點(diǎn)介紹雙軌和網(wǎng)絡(luò)連通性探測(cè)。雙軌部署允許應(yīng)用同時(shí)部署到虛擬機(jī)上的Docker和容器云的K8S容器運(yùn)行,對(duì)于級(jí)別較高的系統(tǒng),可先雙軌部署,觀察一段時(shí)間運(yùn)行平穩(wěn)再完全遷移到K8S的容器上。網(wǎng)絡(luò)連通性探測(cè)是針對(duì)復(fù)雜網(wǎng)絡(luò)環(huán)境下的必要功能,應(yīng)用遷移過程中需要重新開通網(wǎng)絡(luò)權(quán)限,方正證券的DevOps平臺(tái)支持提交網(wǎng)絡(luò)權(quán)限申請(qǐng),并在網(wǎng)絡(luò)權(quán)限變更之后自動(dòng)探測(cè)連通性,大幅減少人工操作。
4.未來在云端
隨著行業(yè)技術(shù)發(fā)展和數(shù)字化轉(zhuǎn)型的推進(jìn),未來將有更多的應(yīng)用運(yùn)行在云端,云原生架構(gòu)也將持續(xù)演進(jìn)。接下來方正證券會(huì)進(jìn)一步完善云原生能力。打造更為成熟的容器云、DevOps平臺(tái)、微服務(wù)技術(shù)架構(gòu)。
在容器云方面,方正證券將支持應(yīng)用的異地多活部署,合理調(diào)度資源,尤其是通過動(dòng)態(tài)調(diào)度為大數(shù)據(jù)平臺(tái)提供算力,以優(yōu)化成本。
DevOps平臺(tái)則專注于應(yīng)用的全生命周期管理,簡(jiǎn)化部署和監(jiān)控流程,提高問題定位的速度,并增強(qiáng)測(cè)試效率。平臺(tái)將采用一系列技術(shù)和工程規(guī)范,確保所有參與者在流程中達(dá)到既定的標(biāo)準(zhǔn),并設(shè)立準(zhǔn)入門檻以保證流程的質(zhì)量。在多版本、多分支的情況下,DevOps平臺(tái)將支持流量染色,提升并行開發(fā)和測(cè)試的能力,實(shí)現(xiàn)同時(shí)開發(fā)和測(cè)試不同版本的應(yīng)用。此外DevOps平臺(tái)還將探索應(yīng)用人工智能技術(shù),利用AI提升CodeReview的效率和準(zhǔn)確性。
通過實(shí)現(xiàn)以上種種能力和功能,方正證券希望能夠?qū)崿F(xiàn)降成本、保穩(wěn)定、提效率,節(jié)省硬件資源,提升部署效率,縮短線上故障恢復(fù)時(shí)長(zhǎng)。
5.總結(jié)
云原生架構(gòu)建設(shè)是技術(shù)戰(zhàn)略投入,隨著平臺(tái)能力不斷完善,必將深化科技賦能,從而推動(dòng)數(shù)字化轉(zhuǎn)型。方正證券金融科技團(tuán)隊(duì)秉承‘行穩(wěn)致遠(yuǎn),進(jìn)而有為’的理念,立足科技創(chuàng)新,面向業(yè)務(wù)場(chǎng)景,創(chuàng)造更多價(jià)值,助力數(shù)字金融建設(shè)。