在 6 月 5 號(hào)，唯品會(huì)發(fā)布了 23 年 3 月 29 號(hào)的故障報(bào)告，因?yàn)槟仙?IDC 冷凍系統(tǒng)故障導(dǎo)致唯品會(huì)線(xiàn)上商城停止服務(wù)，造成了數(shù)以?xún)|計(jì)的損失（作為小運(yùn)維的我，瑟瑟發(fā)抖）。

對(duì)于唯品會(huì)來(lái)說(shuō)，線(xiàn)上商城是其核心業(yè)務(wù)入口，故障不可避免，但是故障如此之長(zhǎng)卻不能容忍，為什么會(huì)造成這種事情發(fā)生呢？在我們這種小運(yùn)維的眼里，這種事故不應(yīng)該發(fā)生在這種量級(jí)的公司中，我們都是在模仿、學(xué)習(xí)他們的 PPT 中尋找運(yùn)維之路。

但是，PPT 的高大上，無(wú)法壓住故障不發(fā)生，這是為什么呢？

我個(gè)人斗膽說(shuō)幾種猜測(cè)：

1. PPT≠ 現(xiàn)實(shí)
2. 故障演練=走過(guò)場(chǎng)？
3. 多活，說(shuō)說(shuō)而已？
4. 巧婦難為無(wú)米之炊

PPT≠ 現(xiàn)實(shí)

現(xiàn)在國(guó)內(nèi)各種技術(shù)大會(huì)，然后邀請(qǐng)一些知名企業(yè)的 CTO、技術(shù)負(fù)責(zé)人等到場(chǎng)演講，從演講來(lái)看，每家公司都很強(qiáng)（至少 PPT 上是這樣展示的），每次我聽(tīng)完都會(huì)豁然開(kāi)朗，大受裨益，打心底佩服這些公司，佩服他們超強(qiáng)的思維、超高的能力以及超酷的團(tuán)隊(duì)。

但是，PPT 畢竟只是一個(gè)輔助工具，它不能代替現(xiàn)狀。

漂亮的 PPT 只是給想看的人看的，不漂亮的事情是要獨(dú)自去承受的。

之前有看多唯品會(huì)在 GOPS 上的分享，PPT 上呈現(xiàn)的確實(shí)很棒，如果拿著這個(gè)向上匯報(bào)，老板也會(huì)覺(jué)得我們公司的技術(shù)真厲害，做的真好，給了老板一切都很好的假象。

出了問(wèn)題，不辦你辦誰(shuí)？

從自己嘴里吹出去的牛逼，也會(huì)回到自己嘴里。

故障演練=走過(guò)場(chǎng)？

在《SRE：Google 運(yùn)維解密》這本書(shū)中，故障演練占了很大的篇幅。通過(guò)故障演練，可以提高系統(tǒng)的可靠性和容錯(cuò)性，可以讓團(tuán)隊(duì)更好的了解系統(tǒng)的架構(gòu)和工作原理，可以更好的理解各模塊的相互影響，可以更快的發(fā)現(xiàn)系統(tǒng)架構(gòu)中的漏洞和故障。

可以說(shuō)，故障演練是整個(gè)穩(wěn)定性保障的核心環(huán)節(jié)，因?yàn)樗梢詭椭鷪F(tuán)隊(duì)最大限度的減少實(shí)際故障的同時(shí)，也能更高效的應(yīng)對(duì)可能出現(xiàn)的問(wèn)題。

但是，實(shí)際中是這樣的么？

在實(shí)際進(jìn)行故障演練的時(shí)候，要預(yù)定故障點(diǎn)，要整理輸出具體的應(yīng)對(duì)措施，要指定全面的計(jì)劃，要準(zhǔn)確描述每個(gè)人的工作職責(zé)和任務(wù)。

光這些前置工作就需要耗費(fèi)很大的人力物力，很多團(tuán)隊(duì)、很多人就會(huì)精簡(jiǎn)步驟、精簡(jiǎn)措施，抱著做了就行的心態(tài)看待故障演練，抱著僥幸心態(tài)看待故障本身，把希望寄托在別人不出問(wèn)題的情況下。

比如把希望寄托于公有云，公有云不出問(wèn)題，整個(gè)系統(tǒng)就是穩(wěn)定的，但是公有云 ≠ 完全可靠，谷歌云、阿里云、騰訊云等都發(fā)生過(guò)重大事故，然而買(mǎi)單的還是用戶(hù)自己。

所以，對(duì)于運(yùn)維團(tuán)隊(duì)或者 SRE 團(tuán)隊(duì)，需要認(rèn)真對(duì)待故障演練，不僅要做好演練的前置準(zhǔn)備工作，在演練中也要密切關(guān)注計(jì)劃，發(fā)現(xiàn)問(wèn)題及時(shí)采取措施并進(jìn)行修正。

不要讓演練成為走過(guò)場(chǎng)，不要讓演練成為 KPI，不然你就是下一個(gè)優(yōu)化對(duì)象。

多活，說(shuō)說(shuō)而已？

3 月 29 日唯品會(huì)的問(wèn)題，可以從側(cè)面反映：多活，也許真是說(shuō)說(shuō)而已。

隨著業(yè)務(wù)的發(fā)展，系統(tǒng)架構(gòu)會(huì)不斷演變，因?yàn)槲覀儗?duì)高可用的要求越來(lái)越高。

比如從同機(jī)房的單機(jī)架構(gòu)->同機(jī)房的主備架構(gòu)->同城多機(jī)房架構(gòu)->兩地三中心架構(gòu)等。

如果唯品會(huì)做了同城多機(jī)房，就算最簡(jiǎn)單的同城主備，也不至于宕機(jī) 12 個(gè)小時(shí)。

更別說(shuō)如果做了同城雙活。

但是，我只是站在上帝視角猜測(cè)。也許他們也做了多活，只是假多活罷了。

巧婦難為無(wú)米之炊

上面總總，到頭來(lái)都會(huì)走到財(cái)力、人力、物力上來(lái)，就拿多活來(lái)說(shuō)，搞一個(gè)同城災(zāi)備，投入的成本就不是 dubbo 那么簡(jiǎn)單，每當(dāng) SRE 負(fù)責(zé)人向上匯報(bào)申請(qǐng)資金的時(shí)候，如果上面的領(lǐng)導(dǎo)不予支持（錢(qián)，錢(qián)沒(méi)掙，還要花這么多），什么都是白搭。

領(lǐng)導(dǎo)要壓成本，下面要錢(qián)做事，成本不足導(dǎo)致入不敷出，也就會(huì)出現(xiàn) PPT 漂亮，實(shí)際很爛的局面。

縱有一腔抱負(fù)，乃無(wú)用武之地。

出了問(wèn)題，還要用你祭天。

最后

上面所說(shuō)純屬虛構(gòu)，如有雷同，請(qǐng)點(diǎn)贊~

在很多公司，運(yùn)維的話(huà)語(yǔ)權(quán)很低，低到離譜，這就導(dǎo)致運(yùn)維在做事或者推進(jìn)事情的時(shí)候寸步難行。

但是，一旦出現(xiàn)問(wèn)題，運(yùn)維卻是被第一個(gè)推出來(lái)的，所以“背鍋俠”一直被扣在運(yùn)維頭上。

那作為運(yùn)維應(yīng)該怎么做呢？

1. 走出去——不要局限于運(yùn)維團(tuán)隊(duì)內(nèi)部，要走出去，讓業(yè)務(wù)部門(mén)知道運(yùn)維的價(jià)值。
2. 走進(jìn)去——運(yùn)維知識(shí)體系復(fù)雜多變，要走進(jìn)知識(shí)內(nèi)部，深度理解背后的原理，用你的專(zhuān)業(yè)來(lái)為團(tuán)隊(duì)服務(wù)。
3. 走上去——要提升運(yùn)維影響力，通過(guò)專(zhuān)業(yè)的能力和積極的態(tài)度爭(zhēng)取更多的信任和支持，改變現(xiàn)狀，提升地位。

最后，說(shuō)歸說(shuō)，鬧歸鬧，別拿生產(chǎn)開(kāi)玩笑。