近日，騰訊云的客戶北京清博數(shù)控科技有限公司所屬“前沿?cái)?shù)控”平臺(tái)一塊操作系統(tǒng)云盤發(fā)生故障，導(dǎo)致文件系統(tǒng)元數(shù)據(jù)損壞。

騰訊方面提出了總金額136,469元的“賠償+補(bǔ)償”解決方案，前沿?cái)?shù)控則索賠11,016,000元，被騰訊認(rèn)為過高，雙方未達(dá)成一致。

現(xiàn)在，騰訊云發(fā)布了一份關(guān)于客戶“前沿?cái)?shù)控”數(shù)據(jù)完整性受損的技術(shù)復(fù)盤，對(duì)客戶業(yè)務(wù)所受影響表示誠(chéng)摯歉意的同時(shí)，詳細(xì)解釋了此次故障發(fā)生的根源，以及將采取的措施。

騰訊云經(jīng)過復(fù)盤發(fā)現(xiàn)，故障緣起于因磁盤靜默錯(cuò)誤導(dǎo)致的單副本數(shù)據(jù)錯(cuò)誤，再加上數(shù)據(jù)遷移過程中的兩次不規(guī)范的操作，導(dǎo)致云盤的三副本安全機(jī)制失效，并最終導(dǎo)致客戶數(shù)據(jù)完整性受損。

當(dāng)天上午11:57，騰訊云運(yùn)維人員收到倉(cāng)庫(kù)I空間使用率過高告警，準(zhǔn)備發(fā)起搬遷擴(kuò)容。

14:05，運(yùn)維人員從倉(cāng)庫(kù)I選擇了一批云盤搬遷至新倉(cāng)庫(kù)II，為了加速搬遷，手動(dòng)關(guān)閉了遷移過程中的數(shù)據(jù)校驗(yàn)。

20:27，搬遷完成之后，運(yùn)維人員將客戶的云盤訪問切至倉(cāng)庫(kù)II，同時(shí)為了釋放空間，對(duì)倉(cāng)庫(kù)I中的源數(shù)據(jù)發(fā)起了回收操作。

20:30，監(jiān)控發(fā)現(xiàn)倉(cāng)庫(kù)II部分云盤出現(xiàn)IO異常。

騰訊表示，數(shù)據(jù)搬遷過程中的違規(guī)操作主要如下兩點(diǎn)：

***是正常數(shù)據(jù)搬遷流程默認(rèn)開啟數(shù)據(jù)校驗(yàn)，開啟之后可以有效發(fā)現(xiàn)并規(guī)避源端數(shù)據(jù)異常，保障搬遷數(shù)據(jù)正確性，但是運(yùn)維人員為了加速完成搬遷任務(wù)，違規(guī)關(guān)閉了數(shù)據(jù)校驗(yàn)；

第二是正常數(shù)據(jù)搬遷完成之后，源倉(cāng)庫(kù)數(shù)據(jù)應(yīng)保留24小時(shí)，用于搬遷異常情況下的數(shù)據(jù)恢復(fù)，但是運(yùn)維人員為了盡快降低倉(cāng)庫(kù)使用率，違規(guī)對(duì)源倉(cāng)庫(kù)進(jìn)行了數(shù)據(jù)回收。

因這些錯(cuò)誤操作的連續(xù)影響，導(dǎo)致該客戶數(shù)據(jù)完整性受損，給客戶的正常業(yè)務(wù)運(yùn)行造成影響，騰訊云再次表示最誠(chéng)懇的歉意。
 
改進(jìn)措施方面，騰訊云提出了兩點(diǎn)：

首先，將全面審視所有的數(shù)據(jù)流程，涉及數(shù)據(jù)安全的流程自動(dòng)化閉環(huán)，進(jìn)一步提升常規(guī)運(yùn)維自動(dòng)化和流程化，降低人工干預(yù)，同時(shí)把全流程的數(shù)據(jù)安全校驗(yàn)作為系統(tǒng)的常開功能，不允許被關(guān)閉。

其次，針對(duì)物理硬盤靜默數(shù)據(jù)錯(cuò)誤，在當(dāng)前用戶訪問路徑數(shù)據(jù)校驗(yàn)自愈的基礎(chǔ)上，優(yōu)化現(xiàn)有巡檢機(jī)制，通過優(yōu)先巡檢主副本數(shù)據(jù)塊、跳過近期用戶訪問過的正確數(shù)據(jù)塊等方法，加速發(fā)現(xiàn)該類錯(cuò)誤，進(jìn)行數(shù)據(jù)修復(fù)。

另外，騰訊云建議用戶開啟免費(fèi)的快照功能，對(duì)重要數(shù)據(jù)進(jìn)行定期備份。

對(duì)于索賠和賠償問題，騰訊云暫未披露更多進(jìn)展。

[[239276]]