如何應(yīng)對(duì)云計(jì)算環(huán)境下 VMware 虛擬機(jī)備份挑戰(zhàn)？
一、可行性評(píng)估
1.1 背景
2016年初國(guó)家出臺(tái)《中國(guó)金融業(yè)信息化“十三五”發(fā)展規(guī)劃(征求建議稿)》[1] 強(qiáng)調(diào)“科學(xué)利用云服務(wù)，提升金融服務(wù)能力和效率”。同年7月《中國(guó)銀行業(yè)信息科技“十三五”發(fā)展規(guī)劃監(jiān)管指導(dǎo)意見(jiàn)(征求意見(jiàn)稿)》[2 ]明確提出：積極開(kāi)展云計(jì)算架構(gòu)規(guī)劃，主動(dòng)和穩(wěn)步實(shí)施架構(gòu)遷移。在中國(guó)信通院2018年金融行業(yè)云計(jì)算技術(shù)調(diào)查報(bào)告中顯示參與調(diào)查的機(jī)構(gòu)中近九成金融機(jī)構(gòu)已經(jīng)或正計(jì)劃應(yīng)用云計(jì)算技術(shù)。這其中，近1/3 已經(jīng)部署了小規(guī)模以上(>500)的虛擬服務(wù)器;vmware 和openstack 占比為2.67:1;openstack用于生產(chǎn)環(huán)境占總環(huán)境不足20%[3]。在金融行業(yè)生產(chǎn)環(huán)境中vmware架構(gòu)為主流架構(gòu)。
另一方面，金融業(yè)競(jìng)爭(zhēng)日益加劇，業(yè)務(wù)對(duì)IT技術(shù)呈現(xiàn)極強(qiáng)的依賴(lài)性，對(duì)IT系統(tǒng)的可用性、連續(xù)性、安全性提出更高要求。以合理的成本構(gòu)建vmware環(huán)境下完備的高可用體系才能適應(yīng)新形勢(shì)要求。雖然vmware提供FT、HA等特性在一定程度上保障了業(yè)務(wù)連續(xù)性，但是仍無(wú)法應(yīng)對(duì)數(shù)據(jù)意外的的丟失如人為誤刪、意外覆蓋或存儲(chǔ)介質(zhì)損壞等，因此從備份副本中恢復(fù)數(shù)據(jù)尤為重要。
對(duì)于vmware虛擬化環(huán)境下的備份系統(tǒng)建設(shè)，金融企業(yè)主要面對(duì)以下挑戰(zhàn)：
1. 有限的備份窗口及帶寬：按照小型虛擬機(jī)(硬盤(pán)配置50GB)，以目前虛擬數(shù)據(jù)中心主流規(guī)模1000 臺(tái)進(jìn)行計(jì)算每天需要備份數(shù)據(jù)為50TB。在數(shù)據(jù)中心常用的千兆網(wǎng)環(huán)境下，無(wú)法預(yù)留出足夠的備份窗口。即使在萬(wàn)兆帶寬條件下，每天全量備份時(shí)間最少需要14小時(shí)，也很難滿(mǎn)足業(yè)務(wù)需求。
2. 備份介質(zhì)存儲(chǔ)開(kāi)銷(xiāo)：以每天備份一次，每個(gè)副本保留7天計(jì)算，總計(jì)保存7個(gè)副本，需要存儲(chǔ)容量為350TB(50TB*7)，存儲(chǔ)備份數(shù)據(jù)帶來(lái)巨大開(kāi)銷(xiāo)。
3. 額外運(yùn)維成本：為加快運(yùn)營(yíng)響應(yīng)速度，需要頻繁地對(duì)業(yè)務(wù)系統(tǒng)虛擬機(jī)進(jìn)行新增、刪除、遷移、重命名等變更操作。備份策略需要及時(shí)配合變更，增加額外運(yùn)維開(kāi)銷(xiāo)。
4. 有限恢復(fù)窗口：金融行業(yè)對(duì)于業(yè)務(wù)連續(xù)性要求近乎苛刻。在部分?jǐn)?shù)據(jù)丟失情況，卻需恢復(fù)整體數(shù)據(jù)，漫長(zhǎng)的恢復(fù)時(shí)間對(duì)于金融行業(yè)無(wú)法接受。
在有限帶寬和存儲(chǔ)空間下快速對(duì)大規(guī)模Vmware虛擬機(jī)集群進(jìn)行備份，成為金融業(yè)迫切需求之一。
1.2 項(xiàng)目?jī)r(jià)值
數(shù)據(jù)是金融業(yè)務(wù)系統(tǒng)的核心，當(dāng)前環(huán)境下大量生產(chǎn)業(yè)務(wù)系統(tǒng)運(yùn)行在Vmware虛擬機(jī)中。Vmware虛擬化后端存儲(chǔ)分為集中式存儲(chǔ)、分布式存儲(chǔ)、本地存儲(chǔ)。存儲(chǔ)資源池化提高了資源利用率的同時(shí)也集中了故障風(fēng)險(xiǎn)。任一存儲(chǔ)的故障都會(huì)帶來(lái)數(shù)10臺(tái)甚至數(shù)百臺(tái)虛擬機(jī)的數(shù)據(jù)丟失為金融企業(yè)帶來(lái)不可估量的損失。對(duì)Vmware虛擬機(jī)整機(jī)備份可以在人為操作失誤，軟件缺陷，硬件異常，自然災(zāi)害等諸多意外情況下保證數(shù)據(jù)完整性，有效性。
1.3 項(xiàng)目預(yù)期
在現(xiàn)有千兆網(wǎng)絡(luò)帶寬條件下，按照8小時(shí)備份窗口對(duì)于所有生產(chǎn)虛擬機(jī)自動(dòng)進(jìn)行整機(jī)備份。備份頻率為每日進(jìn)行一次備份。備份數(shù)據(jù)按照業(yè)務(wù)系統(tǒng)等級(jí)保留多個(gè)副本。確保在系統(tǒng)故障情況下快速恢復(fù)業(yè)務(wù)，在數(shù)據(jù)丟失情況下能按照整機(jī)或者文件顆?？焖倩謴?fù)數(shù)據(jù)。需提供解決方案以在Vmware環(huán)境變化時(shí)，自動(dòng)更改備份策略適應(yīng)新環(huán)境。不改變現(xiàn)有網(wǎng)絡(luò)架構(gòu)前提下避免大規(guī)模企業(yè)網(wǎng)絡(luò)架構(gòu)調(diào)整帶來(lái)額外開(kāi)銷(xiāo)。采用重刪算法，以數(shù)十倍的重刪比降低存儲(chǔ)備份介質(zhì)消耗，節(jié)省存儲(chǔ)資源。
1.4 重大風(fēng)險(xiǎn)揭示與管理：
在解決方案實(shí)施過(guò)程中，企業(yè)虛擬化環(huán)境可能會(huì)存在多個(gè)版本及配置。對(duì)備份任務(wù)執(zhí)行效果帶來(lái)負(fù)面影響。提前調(diào)研企業(yè)虛擬化環(huán)境，收集確認(rèn)各組件版本信息以及每套虛擬機(jī)配置信息。在備份方案實(shí)施之前對(duì)各組件進(jìn)行升級(jí)解決已知BUG或變更配置優(yōu)化效率。由于***備份為全量備份需要耗費(fèi)較多時(shí)間，按照現(xiàn)有網(wǎng)絡(luò)帶寬對(duì)初始備份任務(wù)進(jìn)行分批規(guī)劃，提前安排***備份時(shí)間。
1.5 預(yù)算評(píng)估：
預(yù)算構(gòu)成分為軟件許可費(fèi)用和硬件費(fèi)用兩部分。
軟件許可費(fèi)用至少包含以下：
1. 重刪容量許可
2. 虛擬機(jī)備份許可。
硬件費(fèi)用包含以下：
按照業(yè)務(wù)類(lèi)型、網(wǎng)絡(luò)類(lèi)型以及監(jiān)管要求將虛擬機(jī)分成不同的備份任務(wù)集?？紤]到日后一定時(shí)間內(nèi)增長(zhǎng)情況按照1:50重刪比進(jìn)行估算購(gòu)置等量空間備份介質(zhì)存儲(chǔ)設(shè)備。
為了控制成本，可以考慮將備份系統(tǒng)運(yùn)行在虛擬化環(huán)境中。每套服務(wù)器配置多張網(wǎng)卡，將備份介質(zhì)服務(wù)器綁定到單獨(dú)物理網(wǎng)卡獨(dú)占帶寬。
1.6 關(guān)鍵技術(shù)路線(xiàn)選型
目前市面上提供了多款虛擬化備份軟件，例如Veeam、Networker、nbu以及vmware公司的vdp(在之后的vmware產(chǎn)品中將不再可用[4])。后端存儲(chǔ)可以選擇集中式塊存儲(chǔ)、datadomain、msdp。各主流廠商基本上都采用調(diào)用Vsphere-Api技術(shù)進(jìn)行備份實(shí)現(xiàn)。解決方案分為軟硬件一體化解決方案例如Veeam、avamar、NBU一體機(jī)或備份軟件+重刪磁盤(pán)陣列方案例如Nbu+msdp/datadomain、Networker+datadomain等。
在進(jìn)行選型之前，首先應(yīng)考慮公司Vmware虛擬化環(huán)境當(dāng)前運(yùn)行架構(gòu)，例如是否包含萬(wàn)兆網(wǎng)、是否包含SAN網(wǎng)絡(luò)等選擇合理解決方案。在選型過(guò)程中，除了考慮備份效率還需著重對(duì)備份任務(wù)管理進(jìn)行考量。例如備份策略的建立、維護(hù)、備份報(bào)表的生成、與公司已有備份架構(gòu)的融合。參考其他特性以及成本完成最終的產(chǎn)品選型。
2 方案設(shè)計(jì)
2.1 項(xiàng)目目標(biāo)
項(xiàng)目目標(biāo)包含以下四個(gè)方面
1. 在規(guī)定備份時(shí)間窗口內(nèi)完成備份任務(wù)。
2. 建立智能備份策略。
3. 自動(dòng)生成報(bào)表。
4. 實(shí)現(xiàn)即時(shí)恢復(fù)。
2.2 項(xiàng)目的整體架構(gòu)以及組成部分說(shuō)明
以下為使用NBU解決方案的典型的Vmware虛擬化邏輯架構(gòu)。架構(gòu)圖中每套宿主機(jī)配置三個(gè)網(wǎng)絡(luò)，分別為千兆數(shù)據(jù)網(wǎng)、千兆管理網(wǎng)、SAN網(wǎng)絡(luò)。由此將管理流量、業(yè)務(wù)流量、存儲(chǔ)流量相分離，避免互相影響。由于管理網(wǎng)主要用于監(jiān)控?cái)?shù)據(jù)、故障切換、Vmotion，常規(guī)情況下流量不大。備份流量雖然在任務(wù)發(fā)起期間會(huì)占用大量管理帶寬，但是考慮到備份任務(wù)一般在業(yè)務(wù)低峰期發(fā)起，因此對(duì)管理網(wǎng)影響有限。另一方面，管理流量和業(yè)務(wù)流量、存儲(chǔ)流量相分離的設(shè)計(jì)方案保證了業(yè)務(wù)帶寬和存儲(chǔ)帶寬使得業(yè)務(wù)可用性不受影響。架構(gòu)中包含若干套NBU-MSDP服務(wù)器完成備份數(shù)據(jù)重刪，增加并發(fā)備份流，提高備份速度。
按照合規(guī)性與安全性要求，金融機(jī)構(gòu)多區(qū)域隔離，備份集需存放在不同分區(qū)中。在實(shí)踐中對(duì)備份數(shù)據(jù)重刪比可達(dá)：99.1%左右。按照1000臺(tái)虛擬機(jī)平均每套200GB計(jì)算，每天備份一次，每次保留7天，共需要1400TB，所需存儲(chǔ)空間為12.6TB。當(dāng)前市場(chǎng)上主流2U-X86服務(wù)器可以容納24塊2.5寸硬盤(pán)，裸容量可達(dá)48TB，因此建議采用虛擬機(jī)形式構(gòu)建不同重刪池，以符合監(jiān)管強(qiáng)隔離規(guī)定，兼顧管理、擴(kuò)展性。此外，由于備份時(shí)會(huì)占用大量帶寬，建議盡可能將備份介質(zhì)服務(wù)器和所需備份集群規(guī)劃在同一交換機(jī)中，節(jié)省交換機(jī)上聯(lián)帶寬。
2.3 關(guān)鍵技術(shù)
Vmware-CBT：
ESX/ESXi 主機(jī)上運(yùn)行的虛擬機(jī)可以跟蹤更改了的磁盤(pán)扇區(qū)。 此功能被稱(chēng)為塊修改跟蹤，記錄變更塊(CBT)[5]。CBT是備份系統(tǒng)高效備份的關(guān)鍵，能顯著提高備份速度，降低備份數(shù)據(jù)存儲(chǔ)空間。在許多文件系統(tǒng)上，CBT在兩個(gè)變更集 ID 之間識(shí)別修改了的磁盤(pán)扇區(qū)。在VMFS分區(qū)上，CBT還可以識(shí)別所有正在使用的磁盤(pán)扇區(qū)。可從虛擬機(jī)外部到虛擬化層中對(duì)虛擬磁盤(pán)的塊修改進(jìn)行跟蹤。當(dāng)軟件執(zhí)行備份時(shí)，它可以請(qǐng)求僅傳輸自上次備份以來(lái)更改的數(shù)據(jù)塊或正在使用的數(shù)據(jù)塊。第三方應(yīng)用程序可以訪問(wèn)此功能。通過(guò)調(diào)用 VADP，應(yīng)用程序可請(qǐng)求VMkernel 返回自上次備份快照以來(lái)虛擬磁盤(pán)上已更改的數(shù)據(jù)塊。
要使 CBT 識(shí)別自上次更改ID以來(lái)已更改的磁盤(pán)扇區(qū)，需要滿(mǎn)足以下條件：
1. 主機(jī)必須是 ESX/ESXi 4.0 或更高版本。
2. 包含要進(jìn)行磁盤(pán)跟蹤的虛擬機(jī)的硬件版本必須是7或更高版本。
3. I/O 操作必須通過(guò) ESX/ESXi 存儲(chǔ)堆棧。因此，NFS 和虛擬兼容模式下的RDM 受支持，但物理兼容模式下的 RDM 不受支持。而對(duì)于VMFS、SAN、iSCSI 或本地磁盤(pán)都提供支持。
4. 必須為虛擬機(jī)啟用 CBT。當(dāng)備份日志中出現(xiàn)：更改塊跟蹤配置不正確 (Incorrect changed block tracking configuration)、磁盤(pán)“硬盤(pán)編號(hào)”的更改塊跟蹤配置不正確 (Disk "Hard disk #" has incorrect changed block tracking configuration)、一個(gè)或多個(gè)虛擬機(jī)磁盤(pán)的更改塊跟蹤配置不正確(One or more VM disks have incorrect changed block tracking configuration)時(shí)，此類(lèi)虛擬機(jī)的CBT功能可能未開(kāi)啟。需按照[6]中所示開(kāi)啟。
5. 虛擬機(jī)存儲(chǔ)不能是獨(dú)立磁盤(pán)(持久性和非持久性的)
而在一些情況下，例如虛擬機(jī)啟動(dòng)時(shí)發(fā)生電源故障或硬關(guān)閉等情況，CBT 可能會(huì)重置和丟失增量變更的跟蹤記錄。在vSphere 4.1和之前的版本中，冷遷移(而不是Storage vMotion)會(huì)重置CBT，但不能禁用 CBT。在vSphere 5.5 Update 2 之前的 vSphere 5.x 版本中，Storage vMotion會(huì)重置CBT。如果出現(xiàn)此類(lèi)情況，需要預(yù)先預(yù)留出足夠時(shí)間窗口進(jìn)行全備。
在實(shí)踐中，發(fā)現(xiàn)有些ESXI版本會(huì)導(dǎo)致CBT功能失效。例如[7]，CBT堆耗盡導(dǎo)致備份效率下降。此時(shí)在/var/log/vmkernel.log中顯示
重刪池：
Vmware備份方案中一定要使用重刪功能，可以通過(guò)Veeam、Vdp、NBU-MSDP軟件實(shí)現(xiàn)或使用后端重刪池例如NBU一體機(jī)、Avamar、Datadomain來(lái)實(shí)現(xiàn)。
使用重刪設(shè)備能夠：
- 減少存儲(chǔ)的數(shù)據(jù)量。
- 減小備份帶寬。
- 減少備份時(shí)段。
- 減少基礎(chǔ)架構(gòu)。
以下為MSDP部署***做法，詳細(xì)請(qǐng)參考[8]
1.逐漸增加作業(yè)數(shù)。
2.使用客戶(hù)端重復(fù)數(shù)據(jù)刪除來(lái)擴(kuò)展重復(fù)數(shù)據(jù)刪除處理以提高性能。
3.擴(kuò)展備份介質(zhì)服務(wù)器提高并發(fā)流，提高備份效率。
構(gòu)建智能策略：
由于虛擬化平臺(tái)中的虛擬機(jī)經(jīng)常變更，因此配置智能策略自動(dòng)發(fā)現(xiàn)，添加備份任務(wù)對(duì)于降低金融企業(yè)運(yùn)維人員壓力尤為重要。在金融企業(yè)中不同集群往往代表不同的業(yè)務(wù)區(qū)域。以下以NBU為例：說(shuō)明一個(gè)自動(dòng)發(fā)現(xiàn)策略：
在虛擬機(jī)備份策略中增加自動(dòng)字段：
Cluster anyof “1-管理區(qū)” AND NOT [backneed] equal “0”
“1-管理區(qū)”代表集群名稱(chēng)，[backneed]代表VM中自定義字段，過(guò)濾不需要備份的虛擬機(jī)如：大量讀寫(xiě)IO特性的vm(快照靜默會(huì)使虛擬機(jī)夯住)。
通過(guò)這些條件的組合就能自動(dòng)過(guò)濾，隔離備份虛擬機(jī)。
其他前置條件：
各備份軟件對(duì)備份環(huán)境有各別特殊要求，例如NBU備份vmware前提條件(詳細(xì)請(qǐng)參考[9])
1.在計(jì)劃備份的虛擬機(jī)上安裝 VMware Tools。
2.在低版本NBU中Vm不能采用中文名命名
3.在Linux 虛擬機(jī)上，NetBackup 需要一個(gè)特殊的實(shí)用程序 (SYMCquiesce) 來(lái)靜默文件系統(tǒng)，為創(chuàng)建快照做準(zhǔn)備。如果沒(méi)有SYMCquiesce，在創(chuàng)建快照時(shí)，NetBackup 無(wú)法保證該文件系統(tǒng)中的數(shù)據(jù)處于一致?tīng)顟B(tài)。
2.4 設(shè)備清單(可選)
除去vmware產(chǎn)品，備份項(xiàng)目中需采購(gòu)的產(chǎn)品主要分為備份軟件和后端重刪存儲(chǔ)兩部分。具體設(shè)備根據(jù)選型方案所定。
2.5 關(guān)鍵設(shè)備選型(可擴(kuò)展問(wèn)題)
選型時(shí)候考慮以下幾點(diǎn)
1. 備份效率
Vmware規(guī)模隨著數(shù)據(jù)中心規(guī)模會(huì)迅猛增長(zhǎng)，備份系統(tǒng)的并行能力尤為重要。因此要求備份軟件支持多節(jié)點(diǎn)部署。
2. 管理效率
Vmware集群在上線(xiàn)后，變更頻繁。高效的管理功能能大幅減輕運(yùn)維人員壓力。例如：本文之前提到的自動(dòng)發(fā)現(xiàn)、報(bào)表等功能。
3. 恢復(fù)效率
大多數(shù)數(shù)據(jù)恢復(fù)并不需要完全恢復(fù)vm，直接通過(guò)NAS方式掛載出備份鏡像，臨時(shí)恢復(fù)出其中需要的文件能達(dá)到文件級(jí)別細(xì)粒度恢復(fù)，大幅度提升運(yùn)維效率。
4. 其他新特性
備份產(chǎn)品處于在不斷更新中總是能夠提供更好的特性，綜合考慮各家產(chǎn)品新特性，選出最適合自己的產(chǎn)品。
參考文檔：
[1] 《中國(guó)金融業(yè)信息化“十三五”發(fā)展 規(guī) 劃(征求建議稿)》
[2] 《中國(guó)銀行業(yè)信息科技“十三五”發(fā)展規(guī)劃監(jiān)管指導(dǎo)意見(jiàn)(征求意見(jiàn)稿)》
[3] 《金融行業(yè)云計(jì)算技術(shù)調(diào)查報(bào)告 》中國(guó)信息通信研究院2018年3月
[4] https://kb.vmware.com/s/article/2149614
[5] https://kb.vmware.com/s/article/2076678
[6] https://kb.vmware.com/s/article/2078214
[7] https://kb.vmware.com/s/article/2116126
[8] Symantec NetBackup™ Deduplication 指南
[9] Symantec NetBackup™ for VMware 管理指南
本文作者：沈志鑫，主要從事私有云、備份系統(tǒng)建設(shè)與運(yùn)維支持工作。熟悉x86服務(wù)器、各類(lèi)存儲(chǔ)架構(gòu)、VMWARE、NBU、BMC等平臺(tái)的運(yùn)維及管理。
