目錄

一、云原生時代背景下的穩(wěn)定性挑戰(zhàn)

二、數(shù)據(jù)驅(qū)動的系統(tǒng)穩(wěn)定性保障體系

三、穩(wěn)保落地實踐——君巡智檢平臺建設(shè)

四、總結(jié)與思考

一、云原生時代背景下的穩(wěn)定性挑戰(zhàn)

當我們談論金融證券行業(yè)的數(shù)字化轉(zhuǎn)型，其實我們每個人手中都握著三個關(guān)鍵訴求：

• 業(yè)務連續(xù)性：每秒百萬級的交易指令不能中斷
• 客戶信任度：行情數(shù)據(jù)延遲超過500ms就會引發(fā)客戶投訴
• 架構(gòu)演進壓力：軟件系統(tǒng)拓撲復雜度爆發(fā)性增長

去年9月底，當國慶前突發(fā)行情引發(fā)全網(wǎng)交易量激增300%時，我們見證了公司架構(gòu)的韌性價值——短時間完成了應用系統(tǒng)的極速擴容，最終實現(xiàn)國慶前后行情爆發(fā)期間：零交易阻塞、零監(jiān)管客訴、全自動應急干預。

這背后，正是我們突破傳統(tǒng)運維邊界構(gòu)建的"全面質(zhì)量保障體系"效力，正是這些必要性和痛點，推動我們構(gòu)建了：

1、運維左移，介入軟件全生命周期

從需求評審開始，我們就帶著運維驗收清單深度參與：

• 架構(gòu)設(shè)計階段：植入熔斷降級基因
• 開發(fā)階段：埋入實時監(jiān)控探針
• 測試階段：用生產(chǎn)流量影子驗證

2、智能協(xié)同防線

聯(lián)動開發(fā)、測試、供應商等多方平臺構(gòu)建三重防護網(wǎng)的智能協(xié)同防線：

• 第一重：開發(fā)自驗的韌性代碼規(guī)范
• 第二重：測試環(huán)境的故障注入演練
• 第三重：投產(chǎn)前的SIT&UAT測試關(guān)卡

從各個維度提升系統(tǒng)架構(gòu)的韌性、應用設(shè)計的可靠性、業(yè)務運行的可觀測性、應用部署的持續(xù)穩(wěn)定性。

圖片

二、數(shù)據(jù)驅(qū)動的系統(tǒng)穩(wěn)定性保障體系

如何構(gòu)建主動式的穩(wěn)定性保障體系？參照google SRE模型，梳理包含的幾類要點：

第一層：被動防御層——夯實故障兜底能力

1）監(jiān)控可視化。畢竟沒有可觀測性就談不上可控性。從基礎(chǔ)資源監(jiān)控（CPU/內(nèi)存）到黃金信號監(jiān)控（延遲、流量、錯誤、飽和度）；從單點告警到動態(tài)基線告警（AI驅(qū)動的閾值自適應調(diào)整）。

2）應急止血。故障響應速度決定業(yè)務損失上限。包含應急預案、標準化SOP、熔斷、限流、流量調(diào)度等動作從人工決策升級為平臺自動執(zhí)行等。

3）深度復盤。復盤的目標不是追責，而是將“個體經(jīng)驗”轉(zhuǎn)化為“組織智慧”。從簡單的5Why分析到因果圖+ 故障樹聯(lián)合歸因，通過缺陷模式庫沉淀共性根因，驅(qū)動架構(gòu)韌性改造。

第二層：主動預防層——構(gòu)建風險攔截網(wǎng)絡

1）變更防控及容量規(guī)劃。70%的故障源于變更，防控的核心是“讓錯誤進不來”。識別運行瓶頸識別與彈性設(shè)計。

頂層設(shè)計：架構(gòu)免疫層——從源頭構(gòu)建可靠性

頂層設(shè)計：架構(gòu)免疫層——從源頭構(gòu)建可靠性

2）構(gòu)建可信架構(gòu)，讓穩(wěn)定性內(nèi)生于產(chǎn)品基因，而不是事后修補。

通過分層防御體系，將被動止血轉(zhuǎn)化為主動免疫。

然而，在云原生動態(tài)復雜的環(huán)境下，僅靠人工串聯(lián)這些能力遠遠不夠——我們需要一個中樞神經(jīng)系統(tǒng)，將分散的防御手段整合為智能化的穩(wěn)定性評估平臺。

圖片

穩(wěn)定性評估可以助力企業(yè)傳統(tǒng)救火式運維到預防性保障的轉(zhuǎn)變。實現(xiàn)：

• 可觀測：打破數(shù)據(jù)黑箱，實時掌握系統(tǒng)健康；
• 可評估：量化風險等級，精準定位隱患；
• 可優(yōu)化：驅(qū)動自動治理，從根源提升韌性。

圖片

系統(tǒng)性量化評估應用穩(wěn)定性正面臨數(shù)據(jù)分散、標準不一、整合困難與人工依賴四大核心挑戰(zhàn)。盡管其對保障金融機構(gòu)的運營效率與客戶滿意度至關(guān)重要，但在實踐中，評估工作仍步履維艱。

君巡智檢平臺旨在建立一套科學、高效的系統(tǒng)穩(wěn)定性保障能力自動化評估辦法，分解影響業(yè)務連續(xù)性因素節(jié)點，量化評估節(jié)點的有效性或運作質(zhì)量，通過可量化指標及工作流程機制驅(qū)動組織能力、流程協(xié)同機制、工具的完善，提升業(yè)務連續(xù)性。

圖片

君巡智檢平臺以中國信通院DevOps標準為基石，深度融合技術(shù)運營、敏捷開發(fā)及持續(xù)交付等能力模塊，構(gòu)建覆蓋十余個關(guān)鍵領(lǐng)域的評估體系，為行業(yè)提供可復制的成熟度診斷模型。

同時，公司積極響應數(shù)字化轉(zhuǎn)型浪潮，將金融科技作為創(chuàng)新發(fā)展核心，持續(xù)加大信息技術(shù)投入，明確將全面數(shù)字化轉(zhuǎn)型列為國企改革的“頭號工程”，致力于打造“數(shù)字金融”領(lǐng)先優(yōu)勢，并正式提出“SMART投行”這一全面轉(zhuǎn)型愿景。

在部門層面，我們通過階段性成果檢驗、優(yōu)勢強化與短板改進，結(jié)合行業(yè)先進經(jīng)驗的持續(xù)借鑒，實現(xiàn)技術(shù)運營能力在管理、技術(shù)、平臺、人員及應用等方面的逐年迭代提升。

基于DevOps技術(shù)運營標準與企業(yè)內(nèi)部實踐，我們進一步制定了契合自身需求的DevOps技術(shù)運營內(nèi)控標準，推動體系化、標準化建設(shè)持續(xù)深化。

圖片

構(gòu)建貫穿研運全流程的穩(wěn)定性保障體系

系統(tǒng)穩(wěn)定性保障要求我們深度參與軟件開發(fā)的完整生命周期，從項目立項、需求評審，到架構(gòu)設(shè)計、核心功能實現(xiàn)，始終將可運維性作為關(guān)鍵考量，系統(tǒng)化構(gòu)建具備高可運維性的軟件交付機制。

本體系將穩(wěn)定性保障能力劃分為兩個維度：

1）在開發(fā)階段形成的“系統(tǒng)原生性指標”；

2）在技術(shù)運營階段積累的“系統(tǒng)維護性指標”。

兩者并非彼此孤立，而是通過統(tǒng)一模型實現(xiàn)貫通，覆蓋從系統(tǒng)設(shè)計、上線評審、技術(shù)運營到運行治理的全流程穩(wěn)定性管理。該模型不僅實現(xiàn)了各階段能力的量化評估，也顯著降低了管理側(cè)與應用側(cè)的協(xié)作成本，明確團隊分工，提升跨部門協(xié)同效率。

圖片

三、穩(wěn)保落地實踐——君巡智檢平臺建設(shè)

1、平臺建設(shè)三大策略：數(shù)據(jù)整合、指標量化與智能評估

首先，異構(gòu)域數(shù)據(jù)整合。 打通監(jiān)控、日志、鏈路等共12類異構(gòu)數(shù)據(jù)源，通過實時流處理技術(shù)構(gòu)建統(tǒng)一的指標數(shù)據(jù)池；

其次，運維指標的量化和標準化。 基于管理標準、行業(yè)規(guī)范及自身實踐，我們利用數(shù)據(jù)樣本進行訓練，并通過智能調(diào)度編排對指標進行量化處理；

最后，多模態(tài)評估模型構(gòu)建。 我們建立了涵蓋5類業(yè)務系統(tǒng)內(nèi)部級別和5類能力級別的評估模型，形成多維度的評估體系，精準刻畫系統(tǒng)狀態(tài)與能力成熟度。

圖片

2、平臺設(shè)計思路

君巡平臺基于前述系統(tǒng)穩(wěn)定性保障體系構(gòu)建，致力于系統(tǒng)性解決穩(wěn)定性評估耗時過長、能力提升周期緩慢的痛點。平臺通過定期對系統(tǒng)開展穩(wěn)定性能力評估，顯著提升評估與管理效率。

評估涵蓋自動指標掃描與人工條目評審兩大模式。用戶可靈活選用掃描策略，包括僅執(zhí)行指標掃描，或結(jié)合指標與條目進行綜合掃描。

• 指標掃描：為保障對生產(chǎn)系統(tǒng)無侵入，平臺依托證券系統(tǒng)存儲特性，于每日夜間計算資源充裕時段，自動采集各后臺工具平臺中的系統(tǒng)運行數(shù)據(jù)并進行統(tǒng)一處理，將能力數(shù)據(jù)轉(zhuǎn)化為標準化指標存儲。用戶發(fā)起掃描后，平臺自動執(zhí)行能力目標與實測值的規(guī)則匹配，生成評估報告與分析結(jié)論，并通過郵件推送相關(guān)責任人。
• 條目評估：該部分不受時間限制，需由評審人員依據(jù)條目要求，手工上傳相關(guān)證明材料。專家根據(jù)預定規(guī)則進行評審、打分并提出改進建議，最終結(jié)合指標數(shù)據(jù)生成綜合性掃描報告。

圖片

3、平臺數(shù)據(jù)流

平臺數(shù)據(jù)流涵蓋采集、預處理、規(guī)則匹配及展示四個核心環(huán)節(jié)。重點對采集預處理與規(guī)則匹配進行了解耦設(shè)計。隨著接入數(shù)據(jù)規(guī)模與時間維度的擴展，系統(tǒng)需應對數(shù)據(jù)處理復雜度及體量的挑戰(zhàn)。鑒于穩(wěn)定性評估對實時性要求不高，平臺將采集與預處理前置，既緩解了數(shù)據(jù)源側(cè)的IO壓力，也大幅降低了平臺內(nèi)部存儲開銷。此外，獨立模塊化的采集預處理設(shè)計，使數(shù)據(jù)接入更便捷——關(guān)聯(lián)團隊無需適配平臺API，通過腳本即可完成對接，技術(shù)門檻顯著降低，真正實現(xiàn)“人人可寫、人人可用”。這一架構(gòu)改進為平臺長期穩(wěn)定運行奠定了堅實基礎(chǔ)。

4、數(shù)據(jù)整合

以占比15%的監(jiān)控告警能力子域為例，其當前能力得分為3級。該子域主要由七個能力項構(gòu)成，各能力項權(quán)重分配如下：數(shù)據(jù)采集、數(shù)據(jù)處理和數(shù)據(jù)可視化各占20%；數(shù)據(jù)存儲、數(shù)據(jù)服務、告警管控和監(jiān)控巡檢各占10%。

依據(jù)專家經(jīng)驗和源數(shù)據(jù)的訓練，為每個能力項均定義了清晰的量化指標與目標等級。這些指標不僅評估應用系統(tǒng)本身，也涵蓋對基礎(chǔ)工具平臺的能力分析，從而實現(xiàn)全方位的度量。通過將運維能力全面量化，并借助自動化平臺進行直觀展示，使團隊能夠清晰識別系統(tǒng)在各能力維度的短板，明確改進方向，精準、高效地推動穩(wěn)定性運營工作的持續(xù)優(yōu)化。

5、評估模型與風險等級

圖片

圖片

四、總結(jié)與思考

穩(wěn)定性保障的本質(zhì)并非追求完全消除故障，而是通過融合多元數(shù)據(jù)、構(gòu)建智能分析能力，提升系統(tǒng)對風險的提前感知與高效應急響應水平。

圖片

我們依托工具平臺提取量化指標，持續(xù)沉淀和鞏固穩(wěn)定性能力底座，并通過能力分析體系的建設(shè)，驅(qū)動組織協(xié)同、流程優(yōu)化與平臺能力的閉環(huán)演進，具體體現(xiàn)在：

• 事前智能防御：以數(shù)據(jù)驅(qū)動預測，替代傳統(tǒng)經(jīng)驗判斷，實現(xiàn)風險的精準識別與主動干預；
• 事中快速止血：貫通故障發(fā)現(xiàn)、定位、處置與恢復流程，提升應急響應的自動化與協(xié)同效率；
• 事后閉環(huán)進化：通過深度復盤與改進機制，將經(jīng)驗沉淀為能力，持續(xù)強化系統(tǒng)韌性與可觀測性。

我們最終實現(xiàn)的不僅是穩(wěn)定性的量變提升，更是系統(tǒng)在面對持續(xù)熵增與復雜不確定性時，實現(xiàn)自主適應、無感知修復的質(zhì)變跨越。

作者介紹

胡霞，國泰海通資深運維工程師。負責君巡智檢平臺建設(shè)，擁有豐富IT運維開發(fā)經(jīng)驗，專注運維自動化、系統(tǒng)監(jiān)控、故障診斷與應急響應等技術(shù)領(lǐng)域，致力于通過技術(shù)創(chuàng)新提升系統(tǒng)穩(wěn)定性和運維效率，全面推進系統(tǒng)穩(wěn)定性保障體系規(guī)劃建設(shè)和落地。