[[316623]]

【51CTO原創(chuàng)稿件】

上周微盟出現(xiàn)了大規(guī)模系統(tǒng)故障，根據(jù)官方通告:微盟研發(fā)中心運維部核心運維人員賀某，于2月23日晚18點56分通過個人VPN登入公司內(nèi)網(wǎng)跳轉(zhuǎn)機(jī)，因個人精神、生活等原因?qū)ξ⒚司€上生產(chǎn)環(huán)境進(jìn)行了惡意的破壞；這是一起運維部門核心員工在生產(chǎn)環(huán)境的“刪庫”操作引發(fā)的。

本次刪庫事件引發(fā)了IT技術(shù)圈的廣泛關(guān)注；小編整理了網(wǎng)友們比較好奇的幾個問題：運維產(chǎn)生的危害為何這么大？修復(fù)期為何這么久？微盟是否存在管理漏洞？類似事件如何預(yù)防？為此，小編對沃頓在線負(fù)責(zé)人朱磊、阿里云OLAP產(chǎn)品團(tuán)隊高級產(chǎn)品專家韓鋒和業(yè)界知名軟件研發(fā)工程效能專家茹炳晟進(jìn)行了專訪，內(nèi)容整理如下。

單個運維人員產(chǎn)生的危害為何這么大？

信息化時代，沒有孤立的個體

信息化時代，系統(tǒng)集成變得度越來越高，作為單個個體是完全可以摧毀一個系統(tǒng)的。但是在信息時代以前，這是難以想象的。人類歷史上，一個個體決定一個民族，一個朝代歷史走向的事情，也不是沒有發(fā)生過，但必須是那些位高權(quán)重的大人物。此次事件的主角作為公司的核心運維人員，顯然在這種事情擁有天然的便利。

云上服務(wù)，運維權(quán)限過大

談到運維和DevOps，我們會發(fā)現(xiàn)，很多IT運維人員的權(quán)限過大，甚至?xí)蟮娇梢源輾б粋€系統(tǒng)/產(chǎn)品，這種在一些創(chuàng)業(yè)公司中比較常見。微盟公司現(xiàn)提供的服務(wù)是部署在服務(wù)器上的。為了便于工作，運維工程師手里掌握著高權(quán)限的賬號，可以對服務(wù)器進(jìn)行任何操作。例如，這次刪庫事件運維工程師使用高權(quán)限賬號把服務(wù)器上的文件刪除，直接導(dǎo)致服務(wù)器崩潰，進(jìn)而造成公司業(yè)務(wù)中斷。

難以避免的人為因素

拋開運維人員是否會出于惡意去破壞自己的系統(tǒng)，但作為人的操控來講，忙中出錯的概率還是不小的。所以，這個問題帶給我們的啟示是，要充分重視個人在系統(tǒng)中可能產(chǎn)生的作用，必須對個人的行為進(jìn)行嚴(yán)格的監(jiān)管，避免由個人引發(fā)的系統(tǒng)性故障。

恢復(fù)時間為何這么長？

據(jù)介紹，一般來說數(shù)據(jù)備份要對最近的數(shù)據(jù)至少在30分鐘內(nèi)可以恢復(fù)。既然微盟已經(jīng)在全力搶修，騰訊云也表示在給予技術(shù)協(xié)助，那全面恢復(fù)的時間為什么還要這么久呢？

影響因素一：災(zāi)備出現(xiàn)問題

運維人員對生產(chǎn)服務(wù)器進(jìn)行了文件刪除，并沒有提到對備份服務(wù)器進(jìn)行破壞。如果微盟有著高性能災(zāi)備，那么恢復(fù)服務(wù)在技術(shù)層面是沒有太大難度的。但是根據(jù)目前官方的信息推測，數(shù)據(jù)庫應(yīng)該是在生產(chǎn)環(huán)境的本地庫發(fā)生了不可逆的刪除，否則不會需要這么長時間。假定本地生產(chǎn)庫沒了，那唯一的方法就是借助遠(yuǎn)程災(zāi)備的全量備份庫來恢復(fù)，但這也會引發(fā)出一系列的問題，比如遠(yuǎn)程庫容量大，需要大量的網(wǎng)絡(luò)傳輸時間。

影響因素二：恢復(fù)流程復(fù)雜

就數(shù)據(jù)恢復(fù)來講，受到的影響因素較多，這其中包括了應(yīng)急團(tuán)隊響應(yīng)速度、技術(shù)能力、被刪文件體積、文件被刪后繼續(xù)頻繁讀寫硬盤等等，這些任何一個出現(xiàn)問題都影響恢復(fù)時間。

影響因素三：恢復(fù)預(yù)案不完備

當(dāng)企業(yè)遭受到如此重大的破壞時，是否有完整的恢復(fù)預(yù)案并真實演練過，將變得非常重要。如果之前沒有相關(guān)準(zhǔn)備，很難在出現(xiàn)問題時快速響應(yīng)，并將問題涉及范圍、恢復(fù)手段、相關(guān)風(fēng)險、所需資源等一一考慮清楚。倉促應(yīng)戰(zhàn)的話，難免顧此失彼，且對可恢復(fù)的程度、時間等，也很難預(yù)估。

影響因素四：技術(shù)實現(xiàn)難度大

不熟悉運維的人可能會覺得恢復(fù)是比較簡單：不就是重裝一下系統(tǒng)或者恢復(fù)下數(shù)據(jù)庫備份嗎，其實這其中的涉及技術(shù)比我們想的要更復(fù)雜。

1.業(yè)務(wù)架構(gòu)復(fù)雜，現(xiàn)在常用的軟件的架構(gòu)及部署是極其復(fù)雜的，在微服務(wù)大行其道的今天，每個微服務(wù)本身就是一個集群，微服務(wù)和微服務(wù)之間還有各種依賴關(guān)系，同時每個微服務(wù)都有可能會和數(shù)據(jù)庫打交道，光理清楚這些服務(wù)之間的依賴和配置就夠大家受的了。

2.時間緊，任務(wù)重，此次事件涉及到幾乎是整體架構(gòu)的梳理，難度不亞于從0到1搭建一個新系統(tǒng)，再加上客戶壓力和輿論壓力，難度可想而知。

3.數(shù)據(jù)庫問題，有可能是增量備份的完整性欠缺，此外，還會出現(xiàn)由于近期的數(shù)據(jù)Scheme變更引發(fā)的備份數(shù)據(jù)兼容性問題等。這些都需要研發(fā)人員和運維人員的共同推進(jìn)，這些都會導(dǎo)致工作量加大和時間的推遲。

微盟的問題：技術(shù)管理和數(shù)據(jù)災(zāi)備不能忽視

成本是影響公司數(shù)據(jù)管理投入的直接因素

微盟刪庫事件，暴露了部分互聯(lián)網(wǎng)公司內(nèi)部數(shù)據(jù)管理的混亂。按理像微盟這種體量的公司對于數(shù)據(jù)安全和保護(hù)的投入和重視程度理應(yīng)是非常大的。但是此次事件背后隱藏的是利益問題，對以微盟為代表的企業(yè)來說，數(shù)據(jù)安全和保護(hù)對于是比較大的成本支出，并不能直接創(chuàng)造營收，所以往往有些還在成長階段的企業(yè)不會重視投入，很多制度保護(hù)也往往流于表面。對大公司來說，如果忽視數(shù)據(jù)安全會有可能帶來更大的損失，所以一般來講大公司對數(shù)據(jù)安全對投入和措施比較規(guī)范，類似微盟這樣對刪庫問題基本不會出現(xiàn)。

互聯(lián)網(wǎng)公司管理內(nèi)功欠缺

21世紀(jì)是屬于互聯(lián)網(wǎng)等新產(chǎn)業(yè)的時代，但是管理問題一直是新興互聯(lián)網(wǎng)企業(yè)前行的最大阻礙，企業(yè)管理的意義，估計每個公司的高管都懂，任何一個企業(yè)的領(lǐng)導(dǎo)掌舵者都不會忽略的問題，但是能夠真正做到真的很難。

互聯(lián)網(wǎng)發(fā)展迅速的同時也埋下了隱患，浮躁的行業(yè)使得互聯(lián)網(wǎng)公司高層管理沒有時間學(xué)習(xí)管理，沒有時間苦煉內(nèi)功，這次微盟事件，給互聯(lián)網(wǎng)公司上了重要的一課，也希望更多公司能吸取教訓(xùn)。

如何避免此類事件？

此次事件給微盟和微盟客戶造成了巨額損失，對于整個事件背后暴露的管理與技術(shù)漏洞等問 題，其他公司甚至整個行業(yè)需要如何避免類似問題再次發(fā)生呢？小編總結(jié)了茹炳晟和朱磊的建議，來從運維和公司兩個角度聊一下。

對于運維技術(shù)人員：

1.避免任何形式的人肉運維

如今隨著軟件架構(gòu)復(fù)雜性的不斷提升，從早期的“人肉”運維，到現(xiàn)在的DevOps，再到目前初綻頭角的AIOps，運維的理念和技術(shù)手段也一直都在不停地演進(jìn)。但這其中人的影響一直存在。

這也是為什么大型企業(yè)都會建立比較完善的分級和分層發(fā)布流程，層層監(jiān)管和審批，避免個人單點故障的無限放大。當(dāng)然，這些監(jiān)管和審批必須要納入到由技術(shù)驅(qū)動的DevOps流水線中來完成，而不是靠傳統(tǒng)的領(lǐng)導(dǎo)簽字來完成。

所有對生產(chǎn)環(huán)境的變更，像系統(tǒng)參數(shù)、安全策略、網(wǎng)絡(luò)配置、應(yīng)用參數(shù)、環(huán)境參數(shù)、文件更新和數(shù)據(jù)庫更新都應(yīng)該是通過DevOps的流水線走正式的發(fā)布上線流程，所有的操作必須是由腳本或者自動化代碼來完成，任何個人都不應(yīng)具有直接在生產(chǎn)環(huán)境上執(zhí)行命令操作的場景。

因此應(yīng)該避免任何形式的人肉運維，倡導(dǎo)“人管代碼，代碼管機(jī)器”，而不是“人直接管機(jī)器”。

2.未雨綢繆，做好災(zāi)備演練

一般來講待辦事項分為兩類，分別是既重要又緊急的事和非常重要但是不緊急的事，也就是運維同學(xué)經(jīng)常面對的各種救火型任務(wù)（生產(chǎn)環(huán)境Bug fix、Hotfix發(fā)布等）和未雨綢繆型任務(wù)（自動化運維、監(jiān)控數(shù)據(jù)分析統(tǒng)計、模型獲取與優(yōu)化等）。

理想情況下，應(yīng)該將更多的時間放在未雨綢繆型任務(wù)上，而只將少量的時間放在救火型任務(wù)上。當(dāng)把未雨綢繆型任務(wù)做好了，那么救火的概率就下降了。但是現(xiàn)實情況正好相反，運維同學(xué)天天忙于各種發(fā)布、各種線上救火，根本沒有精力去償還各個時期欠下的技術(shù)債，這種模式就難逃成本中心的宿命。

因此運維部門在平時定期開展一些故障演練的實踐是很必要的，結(jié)合混沌工程（Chaos Engineering）的思想，來確保系統(tǒng)的魯棒性和可維護(hù)性，以此來應(yīng)對各類突如其來的“黑天鵝”事件。“紙上得來終覺淺，絕知此事要躬行”，只有在實際故障演練的過程中，我們才有可能得到很多寶貴的一手實戰(zhàn)經(jīng)驗，光靠想是不行的。

對于整個公司：

1.運維是成本中心的謬論

在很多人的眼中，運維部門都被歸在成本中心，簡單來講就是花錢的部門。運維是成本中心的宿命論對于運維的發(fā)展其實是很不利的，如果運維部門長期處于機(jī)械性的發(fā)布執(zhí)行和生產(chǎn)環(huán)境救火的狀態(tài)，那么就會陷入無止境的惡性循環(huán)。

很多時候，我們總是解決了看得見的問題，但是看不見的問題往往會在看不見的地方聚集，這類問題一旦出現(xiàn)就都是大問題。所以我們需要轉(zhuǎn)變運維是成本中心的思維定式，讓運維的同學(xué)能夠更積極地去思考和解決系統(tǒng)性的問題。

2.做好危機(jī)公關(guān)

微盟的這次刪庫事件，對很多行業(yè)用戶造成了很大的影響，但是面對危機(jī)，微盟所表現(xiàn)出來的社會責(zé)任感是值得我們借鑒和學(xué)習(xí)的。面對突如其來的故障，微盟并沒有試圖掩蓋真相，而是第一時間在其官網(wǎng)發(fā)表聲明，解釋事情的背后原因，并且明確告知了后階段的恢復(fù)計劃以及明確的時間節(jié)點。

多一些真誠，少一些套路，有問題一起扛，是面對此類危機(jī)最好的方法。如果你試圖掩蓋，蓋不住了就撒謊，接著就像張宇唱的那樣“用一個謊言圓一個謊言”，必然會讓自己陷入更深層次的危機(jī)。危機(jī)之下，我們要的是公開的信息，這樣才能減少公眾的猜測，抵制黑公關(guān)，并獲得大家的理解和支持。

3. 練好“內(nèi)功”

面對類似疫情這類突發(fā)事件，首先讓員工知悉真實情況，并做好必要的宣導(dǎo)工作。從員工角度來講，一般能夠理解此類情況，并愿意付出。其次是要做好工作量評估及必要的人員安排，包括值班、輪休等。最為重要的一點，是負(fù)責(zé)人到崗，與員工一起承擔(dān)；一方面便于快速響應(yīng)、快速決策；一方面減少員工壓力，有利于公司業(yè)務(wù)的快速開展。

還有對于管理層來講，應(yīng)重視技術(shù)工作（包括基礎(chǔ)運維）的重要性。從團(tuán)隊構(gòu)建上予以傾斜，建立起一支有戰(zhàn)斗力的技術(shù)團(tuán)隊。從人才角度上，在“選育用留”多個環(huán)節(jié)，把握公司價值觀，將真正認(rèn)同公司價值、愿意付出的同學(xué)選到、用好；淘汰不合格人員。

最新消息

2020 年 2 月 25 日，微盟發(fā)布公告稱，公司線上生產(chǎn)環(huán)境及數(shù)據(jù)遭到員工惡意破壞，導(dǎo)致公司系統(tǒng)服務(wù)不可用。經(jīng)過幾天的“搶救”，3 月 1 日，微盟再次發(fā)布公告稱，數(shù)據(jù)已全部找回，將于 3 月 2 日進(jìn)行系統(tǒng)上線演練，于 3 月 3 日上午 9 點恢復(fù)數(shù)據(jù)正式上線，同時針對受到影響的商家也給出了賠付計劃。

賠付計劃

根據(jù)公開資料顯示，微盟目前的渠道代理商超 1600 家，注冊商戶超 300 萬。此次微盟宕機(jī)或?qū)е?300 萬商家生意停擺，損失巨大。因此，微盟也公布了商家賠付計劃，整體準(zhǔn)備了 1.5 億元人民幣賠付撥備金，其中微盟公司承擔(dān) 1 億元，管理層承擔(dān) 5000 萬元。

針對商家因系統(tǒng)不可以而造成的不同損失，微盟也制定了不同的賠付方案：

現(xiàn)金賠付計劃

針對因系統(tǒng)不可用而造成利潤損失的商戶，微盟將按照商家邊際貢獻(xiàn)利潤額進(jìn)行賠付，具體公式計算如下：邊際貢獻(xiàn)利潤額 = 日均收入×行業(yè)平均邊際貢獻(xiàn)利潤率×系統(tǒng)故障時間

流量賠付計劃

針對因系統(tǒng)不可用而造成流量損失的商戶，微盟將給予騰訊廣告 50000 曝光次數(shù)的流量補償，并且提供賬戶運營服務(wù)，同時再延長 SaaS 服務(wù)有效期兩個月。

放棄自建數(shù)據(jù)庫，基礎(chǔ)設(shè)施全力上云

以上是經(jīng)濟(jì)方面的賠償，在技術(shù)方面，此次核心運維對微盟生產(chǎn)環(huán)境和數(shù)據(jù)造成破壞，使得商家對微盟系統(tǒng)安全和穩(wěn)定性產(chǎn)生了質(zhì)疑，同時也給微盟自己敲響了警鐘。

微盟在 3 月 1 日發(fā)布的公告中稱，微盟將會支持基礎(chǔ)設(shè)施全力上云，逐步放棄自建數(shù)據(jù)庫服務(wù) ，遷移到騰訊云數(shù)據(jù)庫（CDB），增加數(shù)據(jù)庫跨可用區(qū)和異地災(zāi)備的能力，同時將黑石 1.0 物理機(jī)全面升級黑石 2.0，全面使用云主機(jī)。

除了之外，微盟還宣布將加強(qiáng)數(shù)據(jù)安全管理機(jī)制和安全災(zāi)備體系建設(shè)。

采訪對象：

1.茹炳晟：業(yè)界知名實戰(zhàn)派軟件質(zhì)量和研發(fā)工程效能專家，騰訊云最具價值專家，中國商業(yè)聯(lián)合會互聯(lián)網(wǎng)應(yīng)用技術(shù)委員會智庫專家，暢銷書《測試工程師全棧技術(shù)進(jìn)階與實踐》的作者，“軟件測試52講-從小工到專家的實戰(zhàn)心法”的專欄作者。現(xiàn)任Dell EMC中國研發(fā)集團(tuán)資深架構(gòu)師，歷任eBay中國研發(fā)中心測試基礎(chǔ)架構(gòu)技術(shù)負(fù)責(zé)人，HP軟件中國研發(fā)中心資深架構(gòu)師、性能測試專家，Alcatel-Lucent高級技術(shù)主管，Cisco中國研發(fā)中心資深工程師等職位，具有超過16年的軟件研發(fā)和技術(shù)管理經(jīng)驗。

2.朱磊：專注運維安全的北京沃頓在線信息技術(shù)有限公司創(chuàng)始人，《暗戰(zhàn)：數(shù)字世界之戰(zhàn)》一書作者。他曾任京東研發(fā)系統(tǒng)安全經(jīng)理，具有多年的互聯(lián)網(wǎng)信息安全管理經(jīng)驗，豐富的信息安全理念和多個安全系統(tǒng)架構(gòu)經(jīng)驗。

3.韓鋒：花名：群峰，阿里云數(shù)據(jù)庫產(chǎn)品團(tuán)隊高級產(chǎn)品專家，CCIA（中國計算機(jī)行業(yè)協(xié)會）常務(wù)理事，Oracle ACE，dbaplus社群聯(lián)合創(chuàng)始人，ACMUG主席團(tuán)成員、專家組成員，《SQL優(yōu)化最佳實踐》作者。

  【51CTO原創(chuàng)稿件，合作站點轉(zhuǎn)載請注明原文作者和出處為51CTO.com】