撰稿丨諾亞、云昭

出品 | 51CTO技術(shù)棧（微信號(hào)：blog51cto）

“沒(méi)想到月底了，竟然因?yàn)檫@個(gè)原因沒(méi)了全勤……”

“滴滴崩了”成為昨夜今晨的熱詞。雖然滴滴于今日早間發(fā)博表示網(wǎng)約車服務(wù)已恢復(fù)，但是依舊有不少用戶反饋無(wú)法正常打車，只能選擇別的平臺(tái)或方式出行。

“技術(shù)人員因?yàn)槌鲩T打不到滴滴 無(wú)法及時(shí)到達(dá)工作崗位導(dǎo)致修復(fù)延遲?！?/p>

雖然網(wǎng)友們已經(jīng)開(kāi)始玩起了黑色幽默，但不得不深思的是，如此大規(guī)模的宕機(jī)事故為何歷時(shí)一夜仍未恢復(fù)正常？

1、混亂一夜，對(duì)手爆單   

綜合各平臺(tái)用戶反饋看，此次滴滴App的崩潰是從昨日晚間10點(diǎn)多開(kāi)始的。

有司機(jī)接受采訪時(shí)表示，在這次突發(fā)事件中，滴滴平臺(tái)在接單、定位、計(jì)費(fèi)等各環(huán)節(jié)均出現(xiàn)了問(wèn)題。有乘客表示，7公里路程花了將近270元。

圖片

更有司機(jī)提到，接了一單距離為8公里的訂單，收費(fèi)顯示1540元。計(jì)費(fèi)系統(tǒng)的混亂可見(jiàn)一斑。

經(jīng)過(guò)一夜搶修，在早高峰來(lái)臨之際，滴滴發(fā)布微博表示“非常慚愧”，并更新了恢復(fù)情況。

滴滴稱“經(jīng)技術(shù)團(tuán)隊(duì)連夜修復(fù)，滴滴網(wǎng)約車等服務(wù)已恢復(fù)，用戶可下載滴滴App使用打車服務(wù)。騎車等服務(wù)還在陸續(xù)修復(fù)中，所有可開(kāi)鎖或未關(guān)鎖的青桔車輛均可免費(fèi)騎行，希望能為緩解早高峰壓力努力多做一點(diǎn)點(diǎn)?！?   

圖片

遺憾的是，對(duì)于早間出行的上班族來(lái)說(shuō)，這次系統(tǒng)故障的影響仍在持續(xù)。時(shí)至今天早上8點(diǎn)31分，依然有用戶反饋：好不容易打上了車，司機(jī)還是無(wú)法點(diǎn)擊確認(rèn)“已接到乘客”，取消訂單也取消不了，客服也聯(lián)系不上。

在微博相關(guān)話題下，不少網(wǎng)友提到因滴滴崩潰影響了早上通勤。與此同時(shí)，除滴滴以外的多個(gè)出行平臺(tái)，如高德、T3，出現(xiàn)了爆單現(xiàn)象。

據(jù)滴滴出行此前公布的2023年第三季度財(cái)報(bào)顯示，單季度中國(guó)出行業(yè)務(wù)總交易額為725億元，日均單量達(dá)到3130萬(wàn)單。如果將此次故障時(shí)長(zhǎng)計(jì)算為12小時(shí)，估計(jì)將會(huì)讓滴滴損失過(guò)千萬(wàn)的訂單量和超4億的交易額。

截至發(fā)稿，滴滴尚未對(duì)本次故障的具體原因作出說(shuō)明。

2、天崩背后，原因難測(cè)

這不是滴滴第一次出現(xiàn)類似的問(wèn)題，但可能是滴滴恢復(fù)耗時(shí)最長(zhǎng)、影響最廣的一次。

2022年9月22日，滴滴稱“由于機(jī)房網(wǎng)絡(luò)故障，導(dǎo)致滴滴部分服務(wù)受影響”。不到半天，經(jīng)緊急修復(fù)后全面恢復(fù)。

2021年2月25日，由于“系統(tǒng)異?！?，也出現(xiàn)了“部分訂單服務(wù)無(wú)法使用的情況”。

更早可追溯到2015年10月8日，“滴滴深圳部分服務(wù)器遭遇技術(shù)故障”，部分地區(qū)出現(xiàn)無(wú)法叫車的情況。

圖片

圖片

可以看到，以往滴滴出現(xiàn)技術(shù)故障，基本可以在較短時(shí)間內(nèi)解決，影響范圍較小。相較之下，本次事件中，平臺(tái)功能幾乎全面癱瘓，僅網(wǎng)約車服務(wù)功能恢復(fù)時(shí)長(zhǎng)近12小時(shí)。

鑒于滴滴尚未給出崩潰的根因，而目前披露的信息較少，所以出現(xiàn)了多方猜測(cè)。

有互聯(lián)網(wǎng)從業(yè)者在社交平臺(tái)爆料稱，是滴滴系統(tǒng)半夜被攻擊所致。“服務(wù)器沒(méi)有物理隔離，物理攻擊后臺(tái)服務(wù)全掛，dc都上不去。”

隸屬于不同板塊的業(yè)務(wù)之間本應(yīng)有隔離，但從表象上看，打車、共享單車等業(yè)務(wù)全崩了，據(jù)此有人推測(cè)，問(wèn)題可能出在更加底層的基礎(chǔ)設(shè)施。更有人指出，滴滴云可能就是此次系統(tǒng)崩盤的關(guān)鍵環(huán)節(jié)。   

2017年11月，滴滴公有云，伴著“為開(kāi)發(fā)者而生”的口號(hào)低調(diào)上線。然而這個(gè)愿景最終落空，今年滴滴云官方宣布，由于產(chǎn)品線調(diào)整，自2023年3月31日起不再對(duì)外提供公有云服務(wù)。

雖然不知道具體問(wèn)題在哪里，但是有一點(diǎn)是明確的：云服務(wù)的不穩(wěn)定性對(duì)于使用服務(wù)的企業(yè)殺傷力是巨大的。

3、阿里、滴滴事故頻發(fā)的背后 

如果說(shuō)去年阿里云香港節(jié)點(diǎn)的崩潰，讓大家認(rèn)識(shí)到即便是技術(shù)巨頭，也無(wú)法保證云產(chǎn)品的穩(wěn)定性，意識(shí)到單一云廠商會(huì)給企業(yè)帶來(lái)不小的風(fēng)險(xiǎn)，讓多云部署+混合云部署的訴求再度上升。

那么今年11月12日阿里云產(chǎn)品的全線崩潰，則是讓全國(guó)用戶在對(duì)于日常高頻使用的近乎壟斷的App不再那么信任了。一點(diǎn)云服務(wù)上的配置不當(dāng)，就會(huì)造成全國(guó)范圍內(nèi)的應(yīng)用故障，輕則數(shù)據(jù)丟失，重則業(yè)務(wù)受損，代價(jià)非常昂貴。

然而，彈性擴(kuò)容、異地多活、災(zāi)備這些故障防治措施預(yù)案，到底在故障發(fā)生時(shí)，能起到幾分效果，能否真正支撐起N個(gè)9的高可用數(shù)字？又一次引起了人們的質(zhì)疑。

再好的預(yù)案沒(méi)演練過(guò)也只是預(yù)案。就像平時(shí)，很多公司都會(huì)聲稱我們的系統(tǒng)有備份能還原。實(shí)際上最后真的需要還原的時(shí)候發(fā)現(xiàn)，要么備份沒(méi)成功，要么備份成功了但是數(shù)據(jù)陳舊，要么找到數(shù)據(jù)采集設(shè)備出故障了，總之無(wú)法還原。演練的缺失，導(dǎo)致相關(guān)人員對(duì)于故障場(chǎng)景缺乏應(yīng)用的理解和認(rèn)識(shí)。

針對(duì)各種故障場(chǎng)景下服務(wù)的容錯(cuò)能力、配置合理性、服務(wù)健壯性、監(jiān)控告警實(shí)效性、定位與解決問(wèn)題應(yīng)急能力，也許只有在真實(shí)演練之后，這些名詞才能真正經(jīng)得起現(xiàn)實(shí)的考驗(yàn)，知道現(xiàn)有系統(tǒng)和線上服務(wù)的薄弱性。

“墨菲定律”告訴我們，永遠(yuǎn)不要心存僥幸，怕什么往往就會(huì)來(lái)什么。

而除了技術(shù)層面，此次滴滴事件還折射出了更深層次的問(wèn)題。據(jù)脈脈一名滴滴員工聲稱，不止外部的App，就連滴滴內(nèi)部的辦公系統(tǒng)也癱瘓了。

圖片

這種自家系統(tǒng)故障當(dāng)天不能修復(fù)的情況比較少見(jiàn)，不少聲音都認(rèn)為是“降本增效”導(dǎo)致的。有經(jīng)驗(yàn)的技術(shù)人員在當(dāng)下增速放緩的環(huán)境下，被企業(yè)砍掉，系統(tǒng)熵增的問(wèn)題很難一時(shí)得到解決。

圖片

單純的技術(shù)問(wèn)題往往只是表象。正如航空業(yè)所提出的，一個(gè)事故的發(fā)生，往往是一系列事故鏈條的最終結(jié)果。關(guān)于人、關(guān)于組織和流程的問(wèn)題，我們或許更應(yīng)該深思。

4、大范圍崩潰何時(shí)休

首先，要杜絕系統(tǒng)大范圍故障，需要企業(yè)真正的重視和投入。業(yè)內(nèi)流行這樣一句話：面試造火箭，工作擰螺絲。面試篩選人才的時(shí)候問(wèn)的問(wèn)題都很高大上：如何保證系統(tǒng)的高可用，真到上崗干活的時(shí)候，往往由于許多原因并不會(huì)做出很多的設(shè)計(jì)和實(shí)現(xiàn)。   

圖片

“有些業(yè)務(wù)會(huì)為了一點(diǎn)點(diǎn)性能，堅(jiān)決不接入這些設(shè)計(jì)，怎么勸都沒(méi)用?！?/p>

對(duì)于內(nèi)部的安全放置、運(yùn)維工作，不應(yīng)該被視為負(fù)資產(chǎn)。今天系統(tǒng)的故障都是昨天買下的雷。

其次，企業(yè)對(duì)于應(yīng)急響應(yīng)機(jī)制需要高度重視，尤其在技術(shù)層面，不能應(yīng)付了事。

針對(duì)可能出現(xiàn)的突發(fā)事件，要確保在發(fā)生問(wèn)題時(shí)能夠迅速響應(yīng)、有效處置。   

最后，做好事后分析，避免重蹈覆轍，兩次踏進(jìn)同一條錯(cuò)誤的河流。崩潰的直接原因是什么，為什么，當(dāng)時(shí)是如何應(yīng)對(duì)的，如何降低此類事件再發(fā)的可能性或影響，如何使我們?cè)诖祟愂录械臏贤ǜ行А?/p>

5、寫(xiě)在最后：巨頭擔(dān)當(dāng)，知恥而后勇

滴滴出行崩潰事件不僅僅是一家企業(yè)的問(wèn)題，更反映了互聯(lián)網(wǎng)企業(yè)在快速發(fā)展中普遍面臨的挑戰(zhàn)。作為行業(yè)巨頭，滴滴在追求經(jīng)濟(jì)效益的同時(shí)，應(yīng)充分履行社會(huì)責(zé)任。如何保護(hù)用戶的數(shù)據(jù)安全？如何提供穩(wěn)定可靠的服務(wù)？如何推動(dòng)行業(yè)健康發(fā)展等等，都是亟待回答的問(wèn)題。無(wú)論是阿里云還是滴滴，大范圍宕機(jī)后，都是牽一發(fā)而動(dòng)全身。對(duì)于互聯(lián)網(wǎng)企業(yè)而言，只有不斷加強(qiáng)技術(shù)研發(fā)、優(yōu)化服務(wù)體驗(yàn)、履行社會(huì)責(zé)任，才能持續(xù)贏得用戶的信任和支持。

參考鏈接：

https://weibo.com/ttarticle/p/show?id=2309404973007549366286

https://tech.ifeng.com/c/8V4r37XAhyv

https://www.zhihu.com/question/632226716