微軟藍(lán)屏全球停擺,這個鍋是ta的?一次更新釀成全球?yàn)?zāi)難
活久見!
只因一次更新,Windows集體藍(lán)屏,全世界直接「斷片」了——
周五大禮包來了,打工人狂喜
HaveIBeenPwned網(wǎng)絡(luò)安全研究員Troy Hunt表示:這將是史上最大規(guī)模的IT故障
大批金融機(jī)構(gòu)、電視廣播公司、醫(yī)療機(jī)構(gòu)、支付系統(tǒng)原地癱瘓,甚至連便利店和售貨機(jī)都「停擺」了。
在德克薩斯州的一家星巴克,系統(tǒng)全面報(bào)錯,咖啡都點(diǎn)不了了
在英國的醫(yī)院,醫(yī)生無法訪問患者記錄和預(yù)約系統(tǒng),只能在紙上記錄患者病情、手寫處方。
Sky News和BBC也暫時停播。
同時,歐洲、澳大利亞和印度的銀行客戶也發(fā)現(xiàn):自己的在線賬戶登不上了。
而要說受到打擊最嚴(yán)重的,當(dāng)屬航空公司了。
數(shù)據(jù)顯示,全球有超過4000架航班被取消。
對美國空中交通的影響
在美國,United、Delta和American等航空公司被迫停飛和延誤,大批乘客滯留在機(jī)場。
美國紐約的拉瓜迪亞機(jī)場,人們正焦急地等待航班
菲律賓的尼諾·阿基諾國際機(jī)場摩肩接踵
西西里島巴勒莫機(jī)場,乘客直接睡倒在地
印度網(wǎng)友則拿到了人生中第一張手寫登機(jī)牌
全球一片混亂之際,「始作俑者」被揪了出來——它就是網(wǎng)絡(luò)安全巨頭CrowdStrike。
微軟:我不背這個鍋
網(wǎng)友玩梗系列
實(shí)際上,國外存在著大量運(yùn)行CrowdStrike軟件的計(jì)算機(jī)系統(tǒng)——
這些設(shè)備包括雜貨店的收銀機(jī)、機(jī)場和火車站的出發(fā)信息板、學(xué)校的計(jì)算機(jī)、工作用的筆記本電腦和臺式電腦、機(jī)場的值機(jī)系統(tǒng)、航空公司的票務(wù)和調(diào)度平臺、醫(yī)療網(wǎng)絡(luò)等等。
因此,CrowdStrike的故障會在全球范圍內(nèi)以各種方式造成混亂。
闖出如此大禍之后,「罪魁禍?zhǔn)住笴rowdStrike的股票在收盤時已暴跌11%,市值蒸發(fā)了近100億美元。
對它來說,這是2022年以來最糟糕的一天。
外媒銳評:一家本應(yīng)防止故障的公司,自己卻造成了全球最大的故障
對此,AI大牛Karpathy一針見血地提出了個中關(guān)鍵:我們該如何進(jìn)行設(shè)計(jì)才能防范這種風(fēng)險(xiǎn)?
全球大崩潰
在機(jī)場,人們焦急地等待著系統(tǒng)恢復(fù)。
超市也只能用現(xiàn)金付款了。
時代廣場的廣告牌,變成了一片空白。
聯(lián)合太平洋公司的部分區(qū)域受到影響,團(tuán)隊(duì)和調(diào)度員之間的通信一度中斷。
聯(lián)邦快遞表示,公司經(jīng)歷了嚴(yán)重故障,美國和歐洲的一些UPS計(jì)算機(jī)系統(tǒng)都受到影響。
在麻省布里格姆總醫(yī)院,所有非緊急的手術(shù)、醫(yī)療就診都被臨時取消。
英國吉爾福德皇家薩里醫(yī)院直接宣布發(fā)生「嚴(yán)重事件」,醫(yī)院的放射治療IT系統(tǒng)Varian等都因此宕機(jī)。
英國國家衛(wèi)生服務(wù)中心表示,大多數(shù)全科醫(yī)生辦公室都出現(xiàn)了服務(wù)中斷。
AWS的客戶發(fā)現(xiàn),一些使用了CrowdStrike的Windows Instances、Windows Workspaces和Appstream應(yīng)用,都遇到了問題。
在亞馬遜倉庫,員工用來管理日程和提交休假申請的A to Z程序直接癱瘓了??梢蕴崆爸∈杖氲腁nytime Pay內(nèi)部服務(wù),也無法使用。
亞馬遜的貨運(yùn)業(yè)務(wù)也出中斷了。使用Relay平臺的卡車司機(jī),則無法在倉庫提貨。
特斯拉部分工廠的生產(chǎn)線,也被迫停止了。服務(wù)器、筆記本電腦和制造設(shè)備,都發(fā)生了故障。
在南非的銀行,服務(wù)也一度中斷。
總之,銀行、媒體、機(jī)場……全球范圍內(nèi)任何使用CrowdStrike的系統(tǒng)都逃不過。
甚至,此事還驚動了美國總統(tǒng)和國土安全部。
如何修復(fù)
目前,官方已經(jīng)給出了兩個推薦的解決方案。
其中一個是將系統(tǒng)回滾至0409 UTC前創(chuàng)建的snapshot,而另一個則是利用管理員權(quán)限進(jìn)行修復(fù):
1. 將Windows啟動到安全模式或Windows恢復(fù)環(huán)境
2. 進(jìn)入C:\Windows\System32\drivers\CrowdStrike目錄
3. 找到匹配「C-00000291*.sys」的文件并刪除
4. 正常啟動電腦
聽起來很簡單,是吧?
然而,由于設(shè)備已經(jīng)斷聯(lián),這些操作都只能通過手動執(zhí)行。
這意味著IT團(tuán)隊(duì)不僅需要在現(xiàn)實(shí)中找到受影響的遠(yuǎn)程電腦,而且還需要找到對應(yīng)的Bitlocker恢復(fù)密鑰。(如果存在主機(jī)里,那就直接死鎖了)
那么問題來了,那些部署在偏遠(yuǎn)地區(qū),或者各種「犄角旮旯」的設(shè)備怎么辦?
詳見官方說明:https://www.crowdstrike.com/blog/statement-on-falcon-content-update-for-windows-hosts/
挪威網(wǎng)絡(luò)安全公司Promon的首席技術(shù)官Tom Lysemose Hansen表示,持續(xù)的全球IT故障可能并沒有很簡單的解決辦法。
罪魁禍?zhǔn)资钦l?
CrowdStrike于2011年成立,總部位于德克薩斯州奧斯汀,主營業(yè)務(wù)是為企業(yè)提供基于云的企業(yè)安全解決方案。
CrowdStrike于2019年6月12日在納斯達(dá)克首次公開募股
其中,一款名為Falcon的工具,可以通過識別異常行為和漏洞,來保護(hù)計(jì)算機(jī)系統(tǒng)免受惡意軟件等威脅。而它正是周五全球大崩潰的原因。
CrowdStrike CEO George Kurtz
截至1月,CrowdStrike的業(yè)務(wù)已經(jīng)遍及170多個國家,擁有29000個客戶,其中500多家位列財(cái)富1000強(qiáng)。
世界上最大的科技公司如谷歌、亞馬遜和英特爾,零售巨頭Target,頂級F1車隊(duì)梅賽德斯AMG,甚至美國50個州中的43個,都是它的客戶。
隊(duì)服上印著贊助商CrowdStrike巨大logo的梅賽德斯,果然的在當(dāng)天的FP1中全部藍(lán)屏了
在幫公司發(fā)現(xiàn)和防止安全漏洞方面上,CrowdStrike發(fā)揮著重要作用,自稱擁有「最快的平均時間」來檢測威脅。
自2011年成立以來,CrowdStrike已幫助調(diào)查了多起重大網(wǎng)絡(luò)攻擊,例如2014年索尼影業(yè)黑客攻擊,以及2015年和2016年俄羅斯對民主黨全國委員會的網(wǎng)絡(luò)攻擊。
截至周四晚間,CrowdStrike的估值還超過了830億美元。
CEO:已經(jīng)在修了
對此,CrowdStrike創(chuàng)始人兼CEO在第一時間發(fā)文表達(dá)了誠摯的道歉,并表示公司已經(jīng)動員了所有力量來幫助客戶修復(fù)問題。
官方通告:https://www.crowdstrike.com/blog/our-statement-on-todays-outage/
George Kurtz極力保證,公司正在「積極與受Windows主機(jī)單一內(nèi)容更新中發(fā)現(xiàn)的缺陷影響的客戶合作」,并強(qiáng)調(diào)Mac和Linux主機(jī)不會受到影響。
此外,他提醒客戶保持警惕,在尋求支持時一定要和CrowdStrike的官方代表聯(lián)系,因?yàn)椤父偁帉κ趾万_子會趁機(jī)出動」。
在X上,他表示,此次事件并不屬于安全事件或網(wǎng)絡(luò)攻擊,「問題已被識別、隔離,修復(fù)程序已部署」
微軟CEO納德拉也發(fā)帖表示,微軟正在跟CrowdStrike和整個行業(yè)密切合作,幫客戶的系統(tǒng)恢復(fù)。
帖子下面出現(xiàn)了我們熟悉的身影
軟件工程師被困機(jī)場
32歲的游戲開發(fā)公司CTO Ahmed Al Sharif,有著近20年的軟件工程師生涯。曾是初創(chuàng)公司的創(chuàng)始人,也曾在像EA和Meta這樣的大廠工作過。
他原計(jì)劃在當(dāng)?shù)貢r間上午11點(diǎn)從巴塞羅那飛往倫敦希思羅機(jī)場出差。
然而,到了機(jī)場之后,卻驚訝地發(fā)現(xiàn)航班停飛了。
早有跡象
在早上8點(diǎn)出發(fā)前往機(jī)場時,他就已經(jīng)發(fā)現(xiàn)自己無法登錄網(wǎng)上銀行應(yīng)用程序,登錄基于Outlook的電子郵件時速度也很慢。但他以為只是酒店的WiFi出了問題。
大約在早上8:20到達(dá)機(jī)場時,機(jī)場已經(jīng)擠滿了人。隊(duì)伍非常長。幾個值機(jī)柜臺顯示藍(lán)屏,沒有人能辦理手續(xù)。
這時,他才意識到了事件的嚴(yán)重性:
「我不知道該排在哪里,當(dāng)我問一位機(jī)場工作人員時,他們告訴我現(xiàn)在排隊(duì)沒有意義,因?yàn)槠眲?wù)、預(yù)訂和訂位系統(tǒng)都出了問題?!?/span>
混亂持續(xù)了一天
當(dāng)天,機(jī)場的行李托運(yùn)機(jī)、自動售貨機(jī)和大多數(shù)顯示屏都無法正常工作。
整個值機(jī)過程,都是手動進(jìn)行的——
在拿到手寫的紙質(zhì)機(jī)票之前,必須向工作人員出示電子郵件作為付款證明,來證明確實(shí)預(yù)訂了當(dāng)天的航班。有托運(yùn)行李的乘客都必須將行李帶到登機(jī)口,然后機(jī)場工作人員手動將行李扔進(jìn)貨艙。
相比于那些早已在機(jī)場等了超過11個小時的人來說,他還是很幸運(yùn)的——飛機(jī)最后「只」延誤了6個小時。
CrowdStrike如何踩在了微軟身上?
雖然CrowdStrike在網(wǎng)絡(luò)安全行業(yè)里非常有名,但直到今天,都沒有人意識到它在Windows平臺上的主導(dǎo)地位——區(qū)區(qū)一個第三方解決方案,竟能對所有Windows設(shè)備造成如此大的影響。
而且,作為軟件開發(fā)的規(guī)則之一,不在周五推送修復(fù)可以說是基本「常識」了。(避免在周末召集大量的人力來處理因?yàn)楦露霈F(xiàn)的問題)
如今,這個原則被CrowdStrike打破了。
Sharif認(rèn)為,如果進(jìn)行了更多的盡調(diào),甚至讓政府加入監(jiān)管,這樣的事件就不會發(fā)生。
獨(dú)立網(wǎng)絡(luò)安全研究員、《網(wǎng)絡(luò)安全哲學(xué)》作者Lukasz Olejnik表示,「我們的軟件是高度互連和相互依賴的。但這樣就會存在很多單點(diǎn)故障,特別是當(dāng)組織中存在軟件單一文化時?!?/span>
網(wǎng)友狂歡
昨天下午,微軟過得是十分煎熬。
但被微軟意外提早解放了的打工人,則掀起了一場全球狂歡。
「感謝Crowdstrike帶來了世界和平」
與此同時,網(wǎng)友們也紛紛在X上玩起了梗。
回形針也被拉來做成了meme。
當(dāng)然,也會有一些打不開電腦的人變得十分暴躁。
有人已經(jīng)提前預(yù)判:又有實(shí)習(xí)生要背鍋了。
網(wǎng)友猜測,今天的CrowdStrike員工be like——
CEO馬斯克一個上午轉(zhuǎn)發(fā)了多張梗圖,帶頭玩梗。
Mac和Linux上大分。
手寫機(jī)票、手寫病例算什么?手寫二進(jìn)制代碼,才是最燒的。