1個P0故障,公司股價漲了10%,老板懵了!
今年 6 月,有一次大范圍的全球知名網(wǎng)站宕機,國內(nèi)的網(wǎng)民感知可能沒那么強烈,但是在國外,很多知名網(wǎng)站都受到了波及。
圖片來自 Pexels
本次大規(guī)模宕機時長長達(dá)一小時,受到影響的網(wǎng)站有谷歌、Twitter、亞馬遜、eBay、Target、Reddit、PayPal、Square、Spotify、Twitch,還有《衛(wèi)報》、《金融時報》、《獨立報》、《紐約時報》、CNN、BBC、TechRadar等各大媒體網(wǎng)站。
01
當(dāng)晚,網(wǎng)友們在訪問這些網(wǎng)站的時候,網(wǎng)站都無法正常顯示,會提示"Error 503 Service Unavailable"。甚至英國政府網(wǎng)站 gov.uk 同樣中招!
正在網(wǎng)民們猜測是什么原因?qū)е卤姸啻笮途W(wǎng)站集體宕機的時候,一家"名不見經(jīng)傳"的公司宣稱本次大規(guī)模宕機可能和他們有關(guān):“我們目前正在調(diào)查對我們的內(nèi)容交付網(wǎng)絡(luò)服務(wù)(Content Delivery Network)帶來潛在影響的沖擊。”
這家公司是一家名為 Fastly 的公司,他們的主營業(yè)務(wù)就是提供互聯(lián)網(wǎng)內(nèi)容傳遞服務(wù)。
他們主要的產(chǎn)品是邊緣計算平臺,其實就是提供內(nèi)容分發(fā)網(wǎng)絡(luò)(CDN)、網(wǎng)絡(luò)安全服務(wù)、負(fù)載均衡及視頻流等服務(wù)的。
因為很多公司要服務(wù)全球用戶,全球用戶想要訪問他們的網(wǎng)站,都需要通過網(wǎng)絡(luò)從他們的服務(wù)器上加載資源。
Fastly 就干了這么一件事兒,就是他提供了可以把服務(wù)器資源更近、更快的交付給終端用戶的服務(wù)。
相當(dāng)于把服務(wù)器上的資源預(yù)先加載到他們的 CDN 節(jié)點中,用戶訪問網(wǎng)站的時候,只需要從他們這里就可以獲取到服務(wù)器資源了,不需要和遠(yuǎn)程服務(wù)器直接交互,大大縮短了時間。
02
美國太平洋時間 8 日凌晨 2:58 分,F(xiàn)astly 表示全球大量網(wǎng)站斷網(wǎng)和他們有關(guān)之后,人們開始具體故障原因。
很多人的第一想法是可能是受到了黑客攻擊。甚至很多想象力豐富的朋友已經(jīng)在腦海里上演了一出黑客攻防大戲了。
大約 1 小時之后,在美國太平洋時間 8 日凌晨 4:10 分,F(xiàn)astly 表示他們已經(jīng)找到了問題并且完成修復(fù)。
“我們發(fā)現(xiàn)一個服務(wù)配置的更改引發(fā)了全球服務(wù)的短暫中斷,目前已將這一配置關(guān)閉,我們?nèi)蚍?wù)網(wǎng)絡(luò)已恢復(fù)正常。”
服務(wù)器配置更改???這無論怎么看都是個低級錯誤。這個解釋,顯然讓很多程序員們沒辦法接受,這么重要的系統(tǒng),配置推送難道沒有做灰度嗎?
后來,據(jù)說這個配置錯誤最初是在 5 月份的一次發(fā)布時引入的,直到 6 月份才導(dǎo)致 Bug 觸發(fā)。
在看到相關(guān)報道之后,我就在想,又要有程序員背鍋了,這么大的影響,一定是個 P0 級故障了,這種故障,至少要有副總裁級別的人被 fire 掉吧?
但是,事情接下來的發(fā)展出乎了我的意料。
03
本以為這件事會以 Fastly 道歉賠償、高管引咎辭職、程序員被開除收場。
但是,有一個有意思的現(xiàn)象發(fā)生了。當(dāng)人們知道這次重大故障的主要責(zé)任方是 Fastly 時,這家公司的股價卻在盤中大漲超過 10%。
因為,很多人發(fā)現(xiàn),原來這個之前從來沒聽說過的公司,竟然和這么多大企業(yè)都有合作關(guān)系,竟然能有這么大的影響力。
而且,更讓大家確認(rèn)這家公司有前途的是,當(dāng)天的故障,全球最大的云服務(wù)商 Amazon 也同樣宕機了。所以….
這個事情一發(fā)生,讓大家瞬間認(rèn)識了一家叫做 Fastly 的公司。
04
這個事件,有幾個事情是需要大家注意的:
- 邊緣計算云服務(wù)現(xiàn)在的應(yīng)用已經(jīng)非常廣泛了。
- 云服務(wù)商一旦出問題,那就一定是大問題。如何保證云服務(wù)的穩(wěn)定性,是個長期的課題。
- 這么大的故障,可以在 1 小時左右發(fā)現(xiàn)、定位并解決,這家公司的效率已經(jīng)算是很高了。
- 線上變更要謹(jǐn)慎!!!哪怕是一行配置!
最后,本文內(nèi)容,不構(gòu)成任何投資建議!!!
出處:轉(zhuǎn)載自公眾號碼出未來