割接失敗，導(dǎo)致3/4/5G全網(wǎng)通信故障
日本運(yùn)營商DoCoMo的一次割接替換，給該國整個網(wǎng)絡(luò)造成了大面積的故障。引起了大量用戶的強(qiáng)烈不滿，甚至于日本總務(wù)大臣不得不出來進(jìn)行處理和解釋。
據(jù)悉，這次本來是一次簡單的升級替換，替換的設(shè)備是：存儲物聯(lián)網(wǎng)終端設(shè)備的用戶/位置信息的服務(wù)器，大約有20萬臺物聯(lián)網(wǎng)終端的位置信息從舊設(shè)備遷移到新設(shè)備的過程中，出現(xiàn)了問題。
于是操作人員啟動了回退操作，重新倒回到舊設(shè)備。這一回退，恰好就是問題的關(guān)鍵：回退引發(fā)了大量物聯(lián)網(wǎng)終端向舊服務(wù)器重新發(fā)起位置注冊信息，一股洶涌而來的“信令風(fēng)暴”快速引發(fā)了網(wǎng)絡(luò)擁塞，直接把3/4/5G的核心網(wǎng)給擠“癱瘓”了。
讓人難以理解的是，這一頓“升級-割接-回退”的操作，發(fā)生在工作日下午即將下班的晚高峰。(漲姿勢了，島國割接居然不要求在夜間?)
2021年10月14日下午5點(diǎn)左右開始，發(fā)生了導(dǎo)致DoCoMo語音通話和數(shù)據(jù)通信服務(wù)難以使用的網(wǎng)絡(luò)事故。
2021年10月14日下午7點(diǎn)57分，該運(yùn)營商采取了緊急網(wǎng)絡(luò)操作，故障開始逐漸恢復(fù)，但由于網(wǎng)絡(luò)擁塞，仍然有一些客戶無法連接網(wǎng)絡(luò)。
2021年10月15日凌晨5點(diǎn)05分，5G和4G網(wǎng)絡(luò)恢復(fù)正常，但部分區(qū)域的3G網(wǎng)絡(luò)仍然難以使用，正在努力恢復(fù)中，并告知廣大用戶，已訂閱4G套餐并顯示3G信號的用戶，可以通過重啟手機(jī)的方式來連接4G網(wǎng)絡(luò)，以獲得正常通信。
2021年10月15日下午，NTT DoCoMo副社長在新聞發(fā)布會上表示，3G網(wǎng)絡(luò)恢復(fù)“無法給出明確的時間”，并解釋說前景不明朗。
NTT DoCoMo管理層公開道歉，對于此次事故給客戶和很多人帶來了不便，深表歉意，并表示將努力防止事故再次發(fā)生。
嗯，在島國，沒有什么問題是鞠一躬解決不了的，如果有，就3個人一起鞠!
事故發(fā)生后，日本總務(wù)大臣在內(nèi)閣會議后的記者招待會上表示：
| 作為關(guān)系人們?nèi)粘Ｉ畹闹匾A(chǔ)設(shè)施，移動網(wǎng)絡(luò)發(fā)生了大規(guī)模故障，令人遺憾。總務(wù)省對此事非常重視，已要求NTT DoCoMo及時調(diào)查和報告事故原因和影響程度，以向廣大用戶做出充分的解釋。希望NTT DoCoMo能履行好社會責(zé)任，并采取一切可能的措施防止類似事故再次發(fā)生。 |
罰酒三杯，處理完畢!
啟示錄：
雖然此事發(fā)生在對面島國，但我們?nèi)匀恍枰獜闹形〗逃?xùn)。如今的移動網(wǎng)絡(luò)如同水電氣一樣的基礎(chǔ)設(shè)施，特別是5G時代，應(yīng)用到工業(yè)互聯(lián)網(wǎng)、煤礦、醫(yī)院等，網(wǎng)絡(luò)絕無小事。
1. 升級割接絕不可能在忙時進(jìn)行.
這在我國幾乎不可能，都是在深夜完成，這已經(jīng)成了通信這20年來的鐵律。感謝我們的“通信夜行者”辛勤的付出。
2. 網(wǎng)絡(luò)充分的冗余和備份機(jī)制。
網(wǎng)絡(luò)的狀況永遠(yuǎn)不可預(yù)料，要保障網(wǎng)絡(luò)不出問題，最可靠的方式就是冗余和備份機(jī)制，從AB面，到集群Pool，全面保障在核心網(wǎng)、傳輸網(wǎng)和接入網(wǎng)的冗余機(jī)制。這勢必會增加投資，但是一個品質(zhì)網(wǎng)絡(luò)的必需。
3. 核心網(wǎng)是重中之重。
其它故障一般影響到局部，而核心網(wǎng)則影響全局。除了做好冗余和備份，更應(yīng)該盡快升級網(wǎng)絡(luò)架構(gòu)。5G SA的核心網(wǎng)SBA架構(gòu)，能在盡可能節(jié)省投資的情況下保障網(wǎng)絡(luò)的安全運(yùn)行。
