?一、背景與挑戰(zhàn)

隨著銀行數(shù)據(jù)業(yè)務(wù)的飛速發(fā)展，傳統(tǒng)數(shù)據(jù)倉庫也經(jīng)受著越來越多的挑戰(zhàn),數(shù)據(jù)量爆發(fā)式增漲，底層資源不斷擴(kuò)張，業(yè)務(wù)對數(shù)據(jù)的時(shí)效性要求提升。同時(shí)，新技術(shù)不斷涌現(xiàn)，技術(shù)架構(gòu)由單一數(shù)倉集群轉(zhuǎn)向功能化拆分，即：將單一數(shù)據(jù)倉庫經(jīng)過拆分，分解成不同的功能定位的倉庫集群，以達(dá)到提前感知業(yè)務(wù)變化、快速應(yīng)對，精準(zhǔn)利用資源等目的。

對數(shù)據(jù)倉庫的運(yùn)維來說，“一個(gè)數(shù)據(jù)倉庫容納全行業(yè)務(wù)數(shù)據(jù)”、“只需維護(hù)一個(gè)數(shù)據(jù)倉庫”的日子一去不返，傳統(tǒng)的“人肉運(yùn)維”滿足不了當(dāng)前以及未來的運(yùn)維需求。傳統(tǒng)運(yùn)維工具在某些場景下可以實(shí)現(xiàn)對已知問題和故障的快速處置、恢復(fù)生產(chǎn)，但終究還是屬于被動(dòng)運(yùn)維的范疇。當(dāng)前在數(shù)據(jù)倉庫不斷擴(kuò)展、業(yè)務(wù)訴求不斷提升的大背景下，業(yè)務(wù)中斷越來越不被接受，最終的結(jié)果將是被動(dòng)運(yùn)維疲于奔命。在數(shù)據(jù)倉庫發(fā)展的大背景下保證業(yè)務(wù)的正常開展、保障業(yè)務(wù)的連續(xù)性將是數(shù)據(jù)倉庫運(yùn)維的首要職責(zé)。

二、應(yīng)對與方案

運(yùn)維是保障業(yè)務(wù)的正常運(yùn)行和開展，不是發(fā)生問題之后的“堵窟窿”，盡管運(yùn)維的經(jīng)歷告訴我們：由于各種天災(zāi)人禍，“堵窟窿”的事情肯定少不了，但是很大一部分的事故故障都是有先兆的。正如海恩法則所示，一起重大事故的產(chǎn)生，經(jīng)由29次輕微事故，300個(gè)事故苗頭以及1000個(gè)事故隱患，如果能做到變被動(dòng)為主動(dòng)，主動(dòng)捕捉到事故苗頭以及事故隱患，提前發(fā)現(xiàn)運(yùn)維堤壩的薄弱、隱患環(huán)節(jié)，制定完備的應(yīng)對方案，就提前進(jìn)行加固處置，消除隱患。

伴隨銀行數(shù)據(jù)倉庫的不斷發(fā)展，運(yùn)維的思路也在不斷的演進(jìn)，逐漸由被動(dòng)運(yùn)維向主動(dòng)運(yùn)維轉(zhuǎn)變，結(jié)合既有運(yùn)維的經(jīng)驗(yàn)，推動(dòng)數(shù)據(jù)倉庫領(lǐng)域的主動(dòng)運(yùn)維。經(jīng)過近幾年的經(jīng)驗(yàn)積累，G行建設(shè)形成了一套相對成熟的數(shù)倉運(yùn)維方案，即主動(dòng)運(yùn)維與應(yīng)急處置相結(jié)合，“主動(dòng)運(yùn)維”提前發(fā)現(xiàn)問題、消滅隱患，應(yīng)急處置在問題發(fā)生時(shí)快速響應(yīng)、恢復(fù)業(yè)務(wù)，實(shí)現(xiàn)對數(shù)據(jù)業(yè)務(wù)的保駕護(hù)航。

三、數(shù)倉運(yùn)維落地實(shí)踐

與傳統(tǒng)的業(yè)務(wù)庫不同，數(shù)據(jù)倉庫擁有得天獨(dú)厚的條件，數(shù)據(jù)倉庫是所有業(yè)務(wù)數(shù)據(jù)存儲(chǔ)、分析、處理的核心。數(shù)據(jù)倉庫可以通過就地取材，將自身所有的運(yùn)行數(shù)據(jù)進(jìn)行采集、歸納、匯總、入倉，通過數(shù)據(jù)倉庫的數(shù)據(jù)存儲(chǔ)、分析、加工的能力，將數(shù)據(jù)倉庫的各項(xiàng)運(yùn)行數(shù)據(jù)進(jìn)行歸集處理，最終形成有效的數(shù)據(jù)倉庫運(yùn)行數(shù)據(jù)，將數(shù)據(jù)倉庫運(yùn)維轉(zhuǎn)向數(shù)字化。

G行數(shù)據(jù)倉庫運(yùn)維探索實(shí)踐，始終以保障業(yè)務(wù)連續(xù)性，釋放人力資源，精準(zhǔn)故障定位、快速業(yè)務(wù)恢復(fù)等為目標(biāo)，立足日常的生產(chǎn)運(yùn)維需求場景，如容量管理、故障處置等。將應(yīng)用業(yè)務(wù)運(yùn)行、底層資源消耗、數(shù)據(jù)倉庫運(yùn)行監(jiān)測等多方面的運(yùn)行數(shù)據(jù)進(jìn)行采集，建立多維數(shù)據(jù)倉庫運(yùn)行模型，能夠精準(zhǔn)的記錄各個(gè)時(shí)點(diǎn)，多個(gè)維度的運(yùn)行狀態(tài)。

全面的運(yùn)行數(shù)據(jù)采集包括底層資源數(shù)據(jù)、數(shù)據(jù)倉庫系統(tǒng)運(yùn)行數(shù)據(jù)、業(yè)務(wù)運(yùn)行數(shù)據(jù)等眾多方面。

底層資源數(shù)據(jù)：既包括CPU、內(nèi)存、IO、網(wǎng)絡(luò)，還包括系統(tǒng)層各項(xiàng)進(jìn)程的資源消耗，尤其是底層資源的橫向?qū)Ρ?。?shù)據(jù)倉庫的最大特點(diǎn)就是集中，而集中的最大的故障隱患就是牽一發(fā)而動(dòng)全身，資源節(jié)點(diǎn)瓶頸很大的概率就會(huì)將整個(gè)數(shù)據(jù)倉庫的處理性能拉低。就運(yùn)維經(jīng)驗(yàn)而言，除了全局性的性能問題，大概率的性能突降等問題或由“木桶效應(yīng)”局部故障引起的整體性能下降，而局部故障能從全局底層資源的橫向?qū)Ρ然驓v史資源消耗縱向比對，快速的定位局部，進(jìn)而快速的處理，恢復(fù)業(yè)務(wù)生產(chǎn)。

數(shù)據(jù)倉庫運(yùn)行數(shù)據(jù)：數(shù)據(jù)倉庫運(yùn)行與常規(guī)的數(shù)據(jù)庫運(yùn)行不同，常規(guī)數(shù)據(jù)庫運(yùn)行可根據(jù)QPS、TPS等指標(biāo)綜合判斷，而數(shù)據(jù)參倉庫受限于運(yùn)行的業(yè)務(wù)場景特點(diǎn)萬難梳理一兩個(gè)指標(biāo)來判斷整理運(yùn)行狀態(tài)，而由于處理數(shù)據(jù)規(guī)模及場景的復(fù)雜，通常一個(gè)常規(guī)SQL也將會(huì)導(dǎo)致整體的數(shù)據(jù)倉庫運(yùn)行壓力飆升。這也就是數(shù)據(jù)倉庫運(yùn)行與業(yè)務(wù)數(shù)據(jù)庫運(yùn)行的不同之處。

業(yè)務(wù)運(yùn)行數(shù)據(jù)：業(yè)務(wù)運(yùn)行數(shù)據(jù)同樣是不可或缺的一部分。不同于單一的業(yè)務(wù)系統(tǒng)數(shù)據(jù)庫，數(shù)據(jù)倉庫往往立足于復(fù)雜的多業(yè)務(wù)場景，必須適應(yīng)所有接入的業(yè)務(wù)。通過對業(yè)務(wù)運(yùn)行數(shù)據(jù)的監(jiān)測，發(fā)現(xiàn)業(yè)務(wù)場景的變化，能夠有效的快速的定位問題。由果尋因，業(yè)務(wù)發(fā)展變化往往是數(shù)據(jù)倉庫運(yùn)行變化的根因，將業(yè)務(wù)運(yùn)行數(shù)據(jù)采集監(jiān)控并納入數(shù)據(jù)倉庫的整體運(yùn)行監(jiān)測是必須的。

G行在探索實(shí)踐過程中，各項(xiàng)數(shù)據(jù)采集監(jiān)測告警指標(biāo)項(xiàng)100多項(xiàng)，其中底層資源采集指標(biāo)20余項(xiàng)，除常規(guī)的CPU、內(nèi)存、IO等資源更關(guān)注可能對數(shù)倉運(yùn)行產(chǎn)生影響明細(xì)項(xiàng)，如磁盤壞塊數(shù)量，負(fù)載波動(dòng)，進(jìn)程資源消耗，文件系統(tǒng)文件數(shù)，內(nèi)存分頁效率，句柄使用量，僵尸、殘留進(jìn)程等明細(xì)指標(biāo)項(xiàng)；數(shù)據(jù)庫運(yùn)行等采集指標(biāo)50余項(xiàng)，包括庫執(zhí)行效率，實(shí)時(shí)訪問量、訪問時(shí)長，阻塞排隊(duì)，庫實(shí)例級資源消耗，傾斜SQL，低效節(jié)點(diǎn)，Xlog同步、數(shù)據(jù)頁讀取效率等；業(yè)務(wù)相關(guān)指標(biāo)采集10余項(xiàng)，時(shí)點(diǎn)業(yè)務(wù)并發(fā)，單項(xiàng)任務(wù)時(shí)長、累計(jì)時(shí)長，完成任務(wù)占比等；其他采集指標(biāo)項(xiàng)20多項(xiàng)。隨著業(yè)務(wù)發(fā)展，運(yùn)維場景不斷豐富，所需的采集指標(biāo)項(xiàng)也不斷完善，簡而言之“與時(shí)俱進(jìn)”。將運(yùn)行數(shù)據(jù)終以圖形呈現(xiàn)，全面檢測，快速識別異常。

立足于數(shù)據(jù)倉庫的各類運(yùn)行數(shù)據(jù)，根據(jù)生產(chǎn)運(yùn)行場景以及日常運(yùn)維需求，形成有針對性的監(jiān)測模型，通過模型來監(jiān)測發(fā)現(xiàn)運(yùn)行異常，運(yùn)行變化等問題。同時(shí)，在運(yùn)行模型基礎(chǔ)上再通過實(shí)際結(jié)果的反饋，逐步優(yōu)化監(jiān)測模型，進(jìn)而優(yōu)化各項(xiàng)監(jiān)測采集指標(biāo)，形成一個(gè)可行性極高的閉環(huán)系統(tǒng)。通過場景模型上線、反饋優(yōu)化，不斷的完善反饋，逐步形成數(shù)據(jù)倉庫的數(shù)字化運(yùn)維平臺。

隨著運(yùn)行分析模型的建立和完善，除了在一定程度上實(shí)現(xiàn)潛在運(yùn)行故障的提前預(yù)判、突發(fā)運(yùn)行故障的快速定位之外，還有一種重要的運(yùn)維場景：故障回溯。所以在很多故障發(fā)生時(shí)，往往不可能有充足的時(shí)間分析定位問題，而有些問題又隱藏的很深，一旦發(fā)生影響生產(chǎn)的事件，一般采用強(qiáng)制手段恢復(fù)生產(chǎn)，強(qiáng)制手段很大程度升就破壞的現(xiàn)場，而全面的運(yùn)行數(shù)據(jù)采集保留，能夠在一定程度上實(shí)現(xiàn)保留現(xiàn)場，為后續(xù)的故障分析定位提供運(yùn)行數(shù)據(jù)的支撐。

數(shù)據(jù)倉庫運(yùn)行數(shù)據(jù)采集的基礎(chǔ)建立后，可向上逐步衍生，實(shí)現(xiàn)運(yùn)維功能自動(dòng)化。G行數(shù)據(jù)倉庫運(yùn)維平臺建設(shè)本著建立自動(dòng)化，標(biāo)準(zhǔn)化，數(shù)字化的原則，建立在兼顧運(yùn)維成本、運(yùn)維質(zhì)量和運(yùn)維效率基礎(chǔ)上，包括如下五個(gè)方面功能：

業(yè)務(wù)診斷：通過實(shí)施業(yè)務(wù)運(yùn)行跟蹤監(jiān)測，實(shí)施探查業(yè)務(wù)運(yùn)行狀態(tài)；通過歷史故障分析模型對實(shí)時(shí)提交的業(yè)務(wù)進(jìn)行分析，發(fā)現(xiàn)模型匹配的異常業(yè)務(wù)訪問進(jìn)行自動(dòng)處理；在針對實(shí)時(shí)業(yè)務(wù)進(jìn)行監(jiān)測的同時(shí)，經(jīng)運(yùn)行信息做歷史留存，為后續(xù)故障定位、場景分析、業(yè)務(wù)回溯做好準(zhǔn)備。

健康監(jiān)測：實(shí)時(shí)監(jiān)測應(yīng)用狀態(tài)，基礎(chǔ)資源使用情況，模擬業(yè)務(wù)場景不間斷進(jìn)行平臺監(jiān)測，做到實(shí)時(shí)健康監(jiān)測，運(yùn)行出現(xiàn)偏差立即響應(yīng)。

閉環(huán)優(yōu)化：包括應(yīng)用業(yè)務(wù)優(yōu)化和數(shù)倉自優(yōu)化，應(yīng)用業(yè)務(wù)優(yōu)化通過采集的業(yè)務(wù)運(yùn)行信息，進(jìn)行梳理將低效的業(yè)務(wù)信息以及優(yōu)化建議自動(dòng)推送給相關(guān)人員，敦促進(jìn)行整改，提升業(yè)務(wù)體驗(yàn)；數(shù)倉自優(yōu)化通過檢測訪問連接、并發(fā)，底層資源使用情況進(jìn)行動(dòng)態(tài)調(diào)整資源分配情況。

容量評估：通過對數(shù)倉各個(gè)集群的算力、空間、業(yè)務(wù)運(yùn)行時(shí)效等多個(gè)維度進(jìn)行綜合容量評估，每日、每周、每月形成報(bào)告推送，能夠快捷有效的進(jìn)行數(shù)倉容量監(jiān)測評估，實(shí)現(xiàn)有計(jì)劃的進(jìn)行數(shù)倉容量管理。

隨著G行各項(xiàng)運(yùn)行指標(biāo)數(shù)據(jù)采集的積累沉淀，立足于業(yè)務(wù)以及運(yùn)維需求場景，利用每天幾十GB的運(yùn)行數(shù)據(jù)，根據(jù)不同需求場景建立支撐模型，利用日趨完善的數(shù)字化、自動(dòng)化框架，實(shí)現(xiàn)快速需求響應(yīng)。

四、數(shù)據(jù)倉庫運(yùn)維展望

我們相信，隨著運(yùn)維技術(shù)的不斷演進(jìn)與發(fā)展以及運(yùn)維經(jīng)驗(yàn)的不斷積累、工具化、自動(dòng)化的深入發(fā)展，量變會(huì)引起質(zhì)變，數(shù)據(jù)倉庫運(yùn)維的智能化也將在不久的將來實(shí)現(xiàn)。