[[412176]]

現(xiàn)代應(yīng)用程序開發(fā)的一大優(yōu)點(diǎn)是，像硬件故障或如何設(shè)置 RAID 這類問(wèn)題是由云提供商操心的。優(yōu)秀的云供應(yīng)商不太可能丟失你的應(yīng)用數(shù)據(jù)，所以有時(shí)我會(huì)被詢問(wèn)現(xiàn)在為什么還要備份？下面是一些現(xiàn)實(shí)世界的故事。

故事之一

第一個(gè)故事來(lái)自一個(gè)數(shù)據(jù)科學(xué)項(xiàng)目：它基本上是一個(gè)從正在進(jìn)行的研究中來(lái)收集數(shù)據(jù)的龐大而復(fù)雜的管道，然后用各種不同的方式處理以滿足一些尖端模型的需要。這個(gè)面向用戶的應(yīng)用程序還沒(méi)有推出，但是一個(gè)由數(shù)據(jù)科學(xué)家和開發(fā)人員組成的團(tuán)隊(duì)已經(jīng)為建立這個(gè)模型和它的數(shù)據(jù)集工作了好幾個(gè)月。

在項(xiàng)目中工作的人有他們自己的實(shí)驗(yàn)工作的開發(fā)環(huán)境。他們會(huì)在終端中做一些類似 export ENVIRONMENT=simonsdev 的事情，然后所有在終端上運(yùn)行的軟件都會(huì)在那個(gè)環(huán)境下運(yùn)行，而不是在生產(chǎn)環(huán)境下。

該團(tuán)隊(duì)迫切需要推出一個(gè)面向用戶的應(yīng)用程序，以便那些花錢的人能夠從他們幾個(gè)月的投資中真正看到一些回報(bào)。在一個(gè)星期六，一位工程師試圖趕工一些工作。他在晚上很晚的時(shí)候做完了一個(gè)實(shí)驗(yàn)，決定收拾東西回家。他啟動(dòng)了一個(gè)清理腳本來(lái)刪除他的開發(fā)環(huán)境中的所有內(nèi)容，但奇怪的是，這比平時(shí)花費(fèi)了更長(zhǎng)的時(shí)間。這時(shí)他意識(shí)到，他已經(jīng)忘記了哪個(gè)終端被配置為指向哪個(gè)環(huán)境。（LCTT 譯注：意即刪除了生產(chǎn)環(huán)境。）

故事之二

第二個(gè)故事來(lái)自于一個(gè)商業(yè)的網(wǎng)頁(yè)和手機(jī)應(yīng)用。后端有一個(gè)由一組工程師負(fù)責(zé)的微服務(wù)體系結(jié)構(gòu)。這意味著部署需要協(xié)調(diào)，但是使用正式的發(fā)布過(guò)程和自動(dòng)化簡(jiǎn)化了一些。新代碼在準(zhǔn)備好后會(huì)被審查并合并到主干中，并且高層開發(fā)人員通常會(huì)為每個(gè)微服務(wù)標(biāo)記版本，然后自動(dòng)部署到臨時(shí)環(huán)境。臨時(shí)環(huán)境中的版本會(huì)被定期收集到一個(gè)元版本中，在自動(dòng)部署到生產(chǎn)環(huán)境之前，該版本會(huì)得到各個(gè)人的簽署（這是一個(gè)合規(guī)環(huán)境）。

有一天，一位開發(fā)人員正在開發(fā)一個(gè)復(fù)雜的功能，而其他開發(fā)該微服務(wù)的開發(fā)人員都同意將他們正在開發(fā)的代碼提交到主干，也都知道它還不能被實(shí)際發(fā)布。長(zhǎng)話短說(shuō)，并不是團(tuán)隊(duì)中的每個(gè)人都收到了消息，而代碼就進(jìn)入了發(fā)布管道。更糟糕的是，那些實(shí)驗(yàn)性代碼需要一種新的方式來(lái)表示用戶配置文件數(shù)據(jù)，因此它有一個(gè)臨時(shí)數(shù)據(jù)遷移，它在推出到生產(chǎn)環(huán)境時(shí)運(yùn)行，損壞了所有的用戶配置文件。

故事之三

第三個(gè)故事來(lái)自另一款網(wǎng)頁(yè)應(yīng)用。這個(gè)有一個(gè)更簡(jiǎn)單的架構(gòu)：大部分代碼在一個(gè)應(yīng)用程序中，數(shù)據(jù)在數(shù)據(jù)庫(kù)中。然而，這個(gè)應(yīng)用程序也是在很大的截止日期壓力下編寫的。事實(shí)證明，在開發(fā)初期，當(dāng)徹底更改的數(shù)據(jù)庫(kù)架構(gòu)很常見(jiàn)時(shí)，添加一項(xiàng)功能來(lái)檢測(cè)此類更改并清理舊數(shù)據(jù)，這實(shí)際上對(duì)發(fā)布前的早期開發(fā)很有用，并且始終只是作為開發(fā)環(huán)境的臨時(shí)功能。不幸的是，在匆忙構(gòu)建應(yīng)用的其余部分并推出時(shí)，我們忘記了這些代碼。當(dāng)然，直到有一天它在生產(chǎn)環(huán)境中被觸發(fā)了。

事后分析

對(duì)于任何故障的事后分析，很容易忽視大局，最終將一切歸咎于一些小細(xì)節(jié)。一個(gè)特例是發(fā)現(xiàn)某人犯了一些錯(cuò)誤，然后責(zé)怪那個(gè)人。這些故事中的所有工程師實(shí)際上都是優(yōu)秀的工程師（雇傭 SRE 顧問(wèn)的公司不是那些在長(zhǎng)期雇傭中偷工減料的公司），所以解雇他們，換掉他們并不能解決任何問(wèn)題。即使你擁有 100 倍的開發(fā)人員，它仍然是有限的，所以在足夠的復(fù)雜性和壓力下，錯(cuò)誤也會(huì)發(fā)生。最重要的解決方案是備份，無(wú)論你如何丟失數(shù)據(jù)（包括來(lái)自惡意軟件，這是最近新聞中的一個(gè)熱門話題），它都能幫助你。如果你無(wú)法容忍沒(méi)有副本，就不要只有一個(gè)副本。

故事之一的結(jié)局很糟糕：沒(méi)有備份。該項(xiàng)目的六個(gè)月的數(shù)據(jù)收集白干了。順便說(shuō)一句，有些地方只保留一個(gè)每日快照作為備份，這個(gè)故事也是一個(gè)很好的例子，說(shuō)明了這也會(huì)出錯(cuò)：如果數(shù)據(jù)丟失發(fā)生在星期六，并且你準(zhǔn)備在星期一嘗試恢復(fù)，那么一日備份就只能得到星期日的一個(gè)空數(shù)據(jù)備份。

故事之二并不算好，但結(jié)果要好得多。備份是可用的，但數(shù)據(jù)遷移也是可逆的。不好的部分是發(fā)布是在推出前完成的，并且修復(fù)工作必須在生產(chǎn)站點(diǎn)關(guān)閉時(shí)進(jìn)行編碼。我講這個(gè)故事的主要原因是為了提醒大家，備份并不僅僅是災(zāi)難性的數(shù)據(jù)丟失。部分?jǐn)?shù)據(jù)損壞也會(huì)發(fā)生，而且可能會(huì)更加混亂。

故事之三還好。盡管少量數(shù)據(jù)永久丟失，但大部分?jǐn)?shù)據(jù)可以從備份中恢復(fù)。團(tuán)隊(duì)中的每個(gè)人都對(duì)沒(méi)有標(biāo)記極其明顯的危險(xiǎn)代碼感到非常難過(guò)。我沒(méi)有參與早期的開發(fā)，但我感覺(jué)很糟糕，因?yàn)榛謴?fù)數(shù)據(jù)所需的時(shí)間比正常情況要長(zhǎng)得多。如果有一個(gè)經(jīng)過(guò)良好測(cè)試的恢復(fù)過(guò)程，我認(rèn)為該站點(diǎn)應(yīng)該在總共不到 15 分鐘的時(shí)間內(nèi)重新上線。但是第一次恢復(fù)沒(méi)有成功，我不得不調(diào)試它為什么不能成功，然后重試。當(dāng)一個(gè)生產(chǎn)站點(diǎn)宕機(jī)了，需要你重新啟動(dòng)它，每過(guò) 10 秒鐘都感覺(jué)過(guò)了一個(gè)世紀(jì)。值得慶幸的是，老板們比某些人更能理解我們。他們實(shí)際上松了一口氣，因?yàn)檫@一場(chǎng)可能使公司沉沒(méi)的一次性災(zāi)難只導(dǎo)致了幾分鐘的數(shù)據(jù)丟失和不到一個(gè)小時(shí)的停機(jī)時(shí)間。

在實(shí)踐中，備份“成功”但恢復(fù)失敗的情況極為普遍。很多時(shí)候，小型數(shù)據(jù)集上進(jìn)行恢復(fù)測(cè)試是可以正常工作的，但在生產(chǎn)規(guī)模的大數(shù)據(jù)集上就會(huì)失敗。當(dāng)每個(gè)人都?jí)毫^(guò)大時(shí)，災(zāi)難最有可能發(fā)生，而生產(chǎn)站點(diǎn)的故障只會(huì)增加壓力。在時(shí)間合適的時(shí)候測(cè)試和記錄完整的恢復(fù)過(guò)程是一個(gè)非常好的主意。