導(dǎo)語(yǔ) 

隨著銀行對(duì)金融科技要求不斷提高，各種變革和職能調(diào)整成為必然，科技運(yùn)營(yíng)管理的應(yīng)用運(yùn)維工作也不例外，新同事的加入和老員工的輪崗成為一種常態(tài)，這使得應(yīng)用管理員常常需要面對(duì)應(yīng)用系統(tǒng)的交接與調(diào)整工作。不管是新入職員工還是老應(yīng)用管理員，在接管一個(gè)新系統(tǒng)之初，他就是一名應(yīng)用運(yùn)維新兵，如何安全順利接管一個(gè)應(yīng)用系統(tǒng)，不妨從以下幾個(gè)關(guān)鍵方面逐步展開(kāi)。

一、夯實(shí)底座：從基礎(chǔ)技術(shù)能力起步

俗話說(shuō)“萬(wàn)丈高樓平地起”，對(duì)于應(yīng)用管理而言，扎實(shí)的技術(shù)基礎(chǔ)就是穩(wěn)固的地基。應(yīng)用管理員需著重培養(yǎng)核心技能，全力夯實(shí)技術(shù)底座。在操作系統(tǒng)方面需要掌握各類常用的命令，要具備初步Shell、Python編程能力，能夠熟練編寫(xiě)數(shù)據(jù)庫(kù)SQL語(yǔ)句和識(shí)別高風(fēng)險(xiǎn)SQL語(yǔ)句，能初步掌握常用數(shù)據(jù)庫(kù)的基礎(chǔ)操作，此外還需掌握應(yīng)用管理工作中常用的各類運(yùn)維工具平臺(tái)。這些基礎(chǔ)技能是深入探索應(yīng)用系統(tǒng)的“鑰匙”，只有熟練掌握，才能在后續(xù)工作中游刃有余。

二、熟悉業(yè)務(wù)：從業(yè)務(wù)場(chǎng)景理解系統(tǒng)

正所謂“知其然，更要知其所以然”，業(yè)務(wù)學(xué)習(xí)是熟悉應(yīng)用系統(tǒng)的首要任務(wù)，是深入了解熟悉一個(gè)系統(tǒng)的根本所在。如果不了解業(yè)務(wù)，就如同盲人摸象，根本無(wú)法知曉系統(tǒng)的真正用途。在接手應(yīng)用系統(tǒng)之前，必須從業(yè)務(wù)視角出發(fā)，全面了解業(yè)務(wù)規(guī)則和流程。要弄清楚系統(tǒng)承載的具體業(yè)務(wù)內(nèi)容、提供的功能模塊以及服務(wù)的用戶群體。作為應(yīng)用管理員，必須牢記“技術(shù)服務(wù)于業(yè)務(wù)”這一核心理念，業(yè)務(wù)是根基，技術(shù)是手段，只有清晰把握業(yè)務(wù)需求，才能充分發(fā)揮技術(shù)優(yōu)勢(shì)，更好地為業(yè)務(wù)發(fā)展保駕護(hù)航；對(duì)業(yè)務(wù)需求不恰當(dāng)?shù)睦斫饣驅(qū)崿F(xiàn)，很可能在后續(xù)系統(tǒng)運(yùn)營(yíng)中埋下重大隱患，充分理解業(yè)務(wù)流程和規(guī)則、熟悉業(yè)務(wù)需求才能在一定程度上防范這類風(fēng)險(xiǎn)。要熟悉業(yè)務(wù)可以從閱讀系統(tǒng)主管業(yè)務(wù)部門(mén)發(fā)布的管理辦法、操作規(guī)程、營(yíng)銷計(jì)劃方案等方面入手，在這個(gè)過(guò)程中，重點(diǎn)掌握業(yè)務(wù)術(shù)語(yǔ)、理解業(yè)務(wù)規(guī)則、熟悉關(guān)鍵業(yè)務(wù)流程，逐步構(gòu)建起對(duì)業(yè)務(wù)的清晰認(rèn)知。

三、全面梳理：構(gòu)建”兩圖、一表、兩預(yù)案“運(yùn)維知識(shí)圖譜

在完成業(yè)務(wù)學(xué)習(xí)后，接下來(lái)就要對(duì)應(yīng)用系統(tǒng)進(jìn)行全面梳理，在前任管理員交接的文檔上，自己動(dòng)手實(shí)踐，構(gòu)建充分理解后的“兩圖（系統(tǒng)內(nèi)邏輯架構(gòu)圖、系統(tǒng)間上下文游關(guān)系圖）、一表（系統(tǒng)數(shù)據(jù)庫(kù)表）、兩預(yù)案（技術(shù)應(yīng)急預(yù)案和業(yè)務(wù)應(yīng)急預(yù)案）”的運(yùn)維知識(shí)體系圖譜。

上下游關(guān)系圖.png

首先，要重點(diǎn)梳理系統(tǒng)內(nèi)部邏輯架構(gòu)圖，明確系統(tǒng)包含哪些子模塊，每個(gè)模塊的具體功能和作用，關(guān)鍵業(yè)務(wù)流程是如何實(shí)現(xiàn)的，以及模塊之間的調(diào)用關(guān)系。在這個(gè)過(guò)程中，需要運(yùn)用模塊化思維，結(jié)合之前所學(xué)的業(yè)務(wù)知識(shí)進(jìn)行理解，避免陷入細(xì)節(jié)的泥沼，做到抓大放小。其次，要理清系統(tǒng)間依賴關(guān)系，明確數(shù)據(jù)流如何通過(guò)聯(lián)機(jī)交易、批量交易、文件傳輸、中間件等方式在上下游系統(tǒng)間傳遞，從而了解具體業(yè)務(wù)場(chǎng)景在多系統(tǒng)間的功能實(shí)現(xiàn)。

同時(shí)，還需對(duì)系統(tǒng)的數(shù)據(jù)架構(gòu)進(jìn)行梳理，形成數(shù)據(jù)資產(chǎn)表，內(nèi)容包括數(shù)據(jù)庫(kù)實(shí)例、表結(jié)構(gòu)和表數(shù)據(jù)。詳細(xì)記錄數(shù)據(jù)庫(kù)的部署方案、應(yīng)用連接方式，以及數(shù)據(jù)庫(kù)中各個(gè)表的用途、表中字段的含義。

在兩圖、一表的梳理階段，通過(guò)對(duì)交易請(qǐng)求鏈路分段分層式的拆解，梳理請(qǐng)求經(jīng)歷了哪些系統(tǒng)、模塊和設(shè)備，進(jìn)而發(fā)掘架構(gòu)目前的風(fēng)險(xiǎn)點(diǎn)、瓶頸點(diǎn)后，就可以分析用什么樣的手段來(lái)將風(fēng)險(xiǎn)各個(gè)擊破，形成相應(yīng)的技術(shù)預(yù)案。在此基礎(chǔ)上，結(jié)合業(yè)務(wù)場(chǎng)景，通過(guò)加入降級(jí)、熔斷等方式，形成業(yè)技聯(lián)動(dòng)的業(yè)務(wù)預(yù)案。

在系統(tǒng)全面梳理過(guò)程中，不可避免會(huì)遇到各種歷史遺留問(wèn)題。此時(shí)，可遵循 “二八原則”，優(yōu)先處理重要且關(guān)鍵的部分，再逐步攻克細(xì)節(jié)；同時(shí)遵循“白名單原則”，先將確定健康的資源標(biāo)注整理出來(lái)，把剩余的零散問(wèn)題記錄在案，形成一個(gè)“賬本”。后續(xù)根據(jù)問(wèn)題的緊急程度和自身工作量，合理安排時(shí)間逐一解決，切記不要急于求成，也無(wú)需過(guò)度焦慮，每解決一個(gè)問(wèn)題，就是向全面掌握系統(tǒng)邁進(jìn)了一步。

四、動(dòng)態(tài)分析：深入理清系統(tǒng)運(yùn)行脈絡(luò)

完成系統(tǒng)全面梳理后，接下來(lái)就要深入了解系統(tǒng)的運(yùn)行狀態(tài)，從服務(wù)調(diào)用關(guān)系入手，對(duì)系統(tǒng)的運(yùn)行態(tài)進(jìn)行全面且深入的分析。分析服務(wù)調(diào)用需從具體交易出發(fā)，細(xì)致觀察交易請(qǐng)求的流轉(zhuǎn)過(guò)程，主要包含三個(gè)層面：一是不同應(yīng)用系統(tǒng)間交互所依賴的聯(lián)機(jī)、文件或中間件等形式；二是系統(tǒng)內(nèi)業(yè)務(wù)模塊邏輯之間的流轉(zhuǎn)順序；三是在基礎(chǔ)資源層面，交易如何串聯(lián)服務(wù)器、vip和域名等資源。在分析過(guò)程中，可借助現(xiàn)有的系統(tǒng)運(yùn)維手冊(cè)、投產(chǎn)評(píng)審材料、需求開(kāi)發(fā)文檔、變更實(shí)施控制表等資料，仔細(xì)甄別、核對(duì)，確保對(duì)系統(tǒng)運(yùn)行脈絡(luò)的準(zhǔn)確把握。

五、風(fēng)險(xiǎn)管控：構(gòu)建防御性運(yùn)維體系

應(yīng)用管理員的核心工作之一，就是關(guān)注系統(tǒng)何時(shí)可能出現(xiàn)問(wèn)題，以及出現(xiàn)問(wèn)題后如何迅速解決。在對(duì)應(yīng)用系統(tǒng)的穩(wěn)定狀態(tài)有了清晰了解后，就需要將目光轉(zhuǎn)向系統(tǒng)的異常狀態(tài)。

首先要重視告警管理。告警是對(duì)監(jiān)控信息的高度濃縮，雖然監(jiān)控體系的梳理可以循序漸進(jìn)，但告警管理必須盡快落實(shí)到位。告警存在不同的級(jí)別，應(yīng)優(yōu)先梳理出影響業(yè)務(wù)正常運(yùn)行的關(guān)鍵告警。與交接同事充分溝通，明確每個(gè)模塊必須處理的告警項(xiàng)及其影響范圍，做好詳細(xì)記錄，并在日常工作中留意業(yè)務(wù)告警，逐步形成“錯(cuò)題本”和應(yīng)急預(yù)案，以便在出現(xiàn)問(wèn)題時(shí)能夠迅速響應(yīng)。

其次要嚴(yán)格管控變更。一是應(yīng)用變更管控需要在技術(shù)和制度并行發(fā)力：許多生產(chǎn)環(huán)境中的問(wèn)題在開(kāi)發(fā)、測(cè)試階段難以暴露，且部分問(wèn)題不會(huì)立即顯現(xiàn)。因此，針對(duì)變更必須建立一套系統(tǒng)的評(píng)估和驗(yàn)證機(jī)制。從技術(shù)和制度兩個(gè)維度發(fā)力，能夠通過(guò)技術(shù)手段解決的問(wèn)題，優(yōu)先采用技術(shù)方案，對(duì)于技術(shù)暫時(shí)無(wú)法解決的，再通過(guò)制度進(jìn)行約束，最大程度降低變更帶來(lái)的風(fēng)險(xiǎn)。二是應(yīng)用變更左移：應(yīng)用管理員不僅要參與系統(tǒng)的架構(gòu)評(píng)審、設(shè)計(jì)評(píng)審和測(cè)試評(píng)審，還應(yīng)該有選擇性的參與到業(yè)務(wù)需求評(píng)審當(dāng)中。在業(yè)務(wù)需求評(píng)審階段，應(yīng)用管理員重點(diǎn)關(guān)注業(yè)務(wù)需求規(guī)則可能對(duì)安全運(yùn)營(yíng)存在的隱患，需求投產(chǎn)時(shí)間安排的合理性等；在架構(gòu)評(píng)審階段需要重點(diǎn)關(guān)注系統(tǒng)架構(gòu)設(shè)計(jì)的韌性，使用的技術(shù)和組件是否符合企業(yè)標(biāo)準(zhǔn)規(guī)范；在設(shè)計(jì)評(píng)審階段重點(diǎn)關(guān)注高可用設(shè)計(jì)、熔斷降級(jí)限流策略以及性能容量評(píng)估等；在測(cè)試階段重點(diǎn)關(guān)注非功能測(cè)試場(chǎng)景和指標(biāo)，功能測(cè)試覆蓋的全面性：邊界測(cè)試、業(yè)務(wù)場(chǎng)景、反案例測(cè)試等。

結(jié)語(yǔ)  

總之，應(yīng)用運(yùn)維工作是一個(gè)“認(rèn)知-實(shí)踐-迭代”的往復(fù)循環(huán)過(guò)程，只有通過(guò)持續(xù)系統(tǒng)化的知識(shí)沉淀、工具鏈搭建、流程優(yōu)化，逐步構(gòu)建起“業(yè)務(wù)+技術(shù)+流程”的多維能力模型，從被動(dòng)救急響應(yīng)到主動(dòng)積極預(yù)防，實(shí)現(xiàn)從一名應(yīng)用運(yùn)維新兵到老兵的蛻變，最終打贏安全運(yùn)營(yíng)這場(chǎng)沒(méi)有硝煙的保衛(wèi)戰(zhàn)。

王廣雨.jpg

負(fù)責(zé)G行核心系統(tǒng)應(yīng)用運(yùn)維工作。應(yīng)用運(yùn)維人員的核心競(jìng)爭(zhēng)力更多的在于運(yùn)維方法論的總結(jié)，尋到規(guī)律，事半功倍。希望能與各位前輩共同探討應(yīng)用運(yùn)維能力提升方法。