?數(shù)據(jù)，是指任何以電子或者其他方式對(duì)信息的記錄，可以是數(shù)字、文字、圖像、聲音等等?？蓮?fù)制可流通且被開發(fā)利用的數(shù)據(jù)，才算是財(cái)富，否則可能會(huì)成為企業(yè)的負(fù)擔(dān)。數(shù)據(jù)復(fù)制作為數(shù)據(jù)流通、交換、共享、保護(hù)、集成、計(jì)算分析、管理等領(lǐng)域的關(guān)鍵應(yīng)用，在幫助數(shù)據(jù)實(shí)現(xiàn)價(jià)值最大化的過程中發(fā)揮著重要貢獻(xiàn)。

本文來自：中國數(shù)據(jù)復(fù)制行業(yè)白皮書（2022年）

數(shù)據(jù)復(fù)制的過程主要包含了數(shù)據(jù)抓取、數(shù)據(jù)傳輸和數(shù)據(jù)復(fù)原三個(gè)環(huán)節(jié)。數(shù)據(jù)抓取環(huán)節(jié)主要指對(duì)生產(chǎn)端的變化數(shù)據(jù)進(jìn)行識(shí)別和提取，要求識(shí)別顆粒度細(xì)且對(duì)生產(chǎn)系統(tǒng)影響小數(shù)據(jù)傳輸環(huán)節(jié)主要指對(duì)數(shù)據(jù)進(jìn)行分段拆分組合、加密、壓縮等，實(shí)現(xiàn)準(zhǔn)確、高效、安全地傳輸數(shù)據(jù)；數(shù)據(jù)復(fù)原主要指目標(biāo)端的數(shù)據(jù)接收和數(shù)據(jù)寫入，其核心在于快速寫入的同時(shí)，保證數(shù)據(jù)的一致性、可用性。

數(shù)據(jù)復(fù)制應(yīng)遵守三大原則∶一是合規(guī)性，包括數(shù)據(jù)安全、數(shù)據(jù)一致性、數(shù)據(jù)加密傳輸、數(shù)據(jù)分級(jí)分類、等保、歸檔管理等；二是時(shí)效性，包括數(shù)據(jù)實(shí)時(shí)或周期性復(fù)制、快速恢復(fù)、RTO 合規(guī)，滿足可用性、供數(shù)要求等；三是多樣性，包括復(fù)制數(shù)據(jù)格式多樣性，以及涵蓋系統(tǒng)層、數(shù)據(jù)庫層、存儲(chǔ)層等多層的數(shù)據(jù)復(fù)制，滿足用戶生產(chǎn)環(huán)境多平臺(tái)、多功能、個(gè)性化的需求。

數(shù)據(jù)復(fù)制行業(yè)的主要應(yīng)用領(lǐng)域包括數(shù)據(jù)合規(guī)性和大數(shù)據(jù)采集應(yīng)用等，此外系統(tǒng)遷移也較為普遍。數(shù)據(jù)合規(guī)性應(yīng)用包括容災(zāi)、備份、治理、歸檔、加密、脫敏、數(shù)據(jù)庫審計(jì)、分級(jí)分類、等級(jí)保護(hù)等領(lǐng)域。容災(zāi)備份也稱為災(zāi)備，或?yàn)?zāi)難恢復(fù)，作為數(shù)據(jù)復(fù)制的典型應(yīng)用場景之一，災(zāi)備用于保障用戶的數(shù)據(jù)安全和業(yè)務(wù)連續(xù)性。衡量災(zāi)備系統(tǒng)的性能指標(biāo)是RPO（數(shù)據(jù)恢復(fù)點(diǎn)目標(biāo)）和RTO（恢復(fù)時(shí)間目標(biāo)）。根據(jù)RTO和RPO的不同，災(zāi)備系統(tǒng)可分為定時(shí)備份系統(tǒng)和容災(zāi)系統(tǒng)，而數(shù)據(jù)復(fù)制能力在根本上決定了RPO/RTO，也決定了整體災(zāi)備系統(tǒng)能力。

1、數(shù)據(jù)復(fù)制基礎(chǔ)知識(shí)

數(shù)據(jù)復(fù)制是將一組數(shù)據(jù)從一個(gè)數(shù)據(jù)源拷貝到其它一個(gè)或多個(gè)數(shù)據(jù)源。根據(jù)計(jì)算機(jī)網(wǎng)絡(luò)體系結(jié)構(gòu)（OSI），數(shù)據(jù)源在IT系統(tǒng)中所處的層級(jí)不同，數(shù)據(jù)復(fù)制主要可分為存儲(chǔ)硬件層數(shù)據(jù)復(fù)制、操作系統(tǒng)層數(shù)據(jù)復(fù)制和數(shù)據(jù)庫層數(shù)據(jù)復(fù)制。

同步復(fù)制∶也稱為全同步復(fù)制，要求每一個(gè)I/O寫入操作在執(zhí)行下一個(gè)操作處理之前，在源端和目標(biāo)端都能完成。特點(diǎn)是數(shù)據(jù)丟失少，會(huì)影響生產(chǎn)系統(tǒng)性能，除非目標(biāo)系統(tǒng)物理上離生產(chǎn)系統(tǒng)比較近。

異步復(fù)制∶在處理下一個(gè)I/O寫入操作前，不等待數(shù)據(jù)復(fù)制到目標(biāo)系統(tǒng)中。特點(diǎn)是復(fù)制的數(shù)據(jù)與源數(shù)據(jù)有時(shí)間差，但這種復(fù)制對(duì)生產(chǎn)系統(tǒng)性能影響較小。

半同步復(fù)制∶介于全同步復(fù)制與異步復(fù)制之間，主庫在執(zhí)行完客戶端提交的事務(wù)后不是立刻返回給客戶端，而是等待至少一個(gè)從庫接收到并寫到relay log中才返回給客戶端。相對(duì)于異步復(fù)制，半同步復(fù)制提高了數(shù)據(jù)的安全性，同時(shí)它也造成了一定程度的延遲，這個(gè)延遲最少是一個(gè)TCP/IP往返的時(shí)間。

序列化傳輸復(fù)制∶由于網(wǎng)絡(luò)傳輸?shù)臄?shù)據(jù)必須是二進(jìn)制數(shù)據(jù)，但調(diào)用方請(qǐng)求的出入?yún)?shù)都是對(duì)象，對(duì)象無法直接在網(wǎng)絡(luò)中傳輸，所以需要提前把它轉(zhuǎn)成可傳輸?shù)亩M(jìn)制，并且轉(zhuǎn)換算法是可逆的，而序列化是將對(duì)象的狀態(tài)信息轉(zhuǎn)換為可以存儲(chǔ)或傳輸形式的過程。

上述數(shù)據(jù)復(fù)制方式各有優(yōu)缺點(diǎn)，也各有其應(yīng)用場景，從用戶角度分析，無論采用哪種復(fù)制方式，對(duì)于數(shù)據(jù)的采集，要求盡量不影響數(shù)據(jù)生產(chǎn)端業(yè)務(wù)邏輯，保障業(yè)務(wù)運(yùn)行和數(shù)據(jù)收集互不影響，即做到非入侵的數(shù)據(jù)采集。

2、系列數(shù)據(jù)復(fù)制技術(shù)

根據(jù)計(jì)算機(jī)網(wǎng)絡(luò)體系結(jié)構(gòu)，數(shù)據(jù)源所處層級(jí)可分為存儲(chǔ)硬件層、操作系統(tǒng)層和數(shù)據(jù)庫層。

存儲(chǔ)硬件層的數(shù)據(jù)指存儲(chǔ)設(shè)備內(nèi)的所有數(shù)據(jù)，可能對(duì)應(yīng)多個(gè)操作系統(tǒng)層的數(shù)據(jù)。操作系統(tǒng)層的數(shù)據(jù)是指由操作系統(tǒng)內(nèi)部的卷層和文件系統(tǒng)進(jìn)行組織和管理的數(shù)據(jù)，可能存儲(chǔ)在若干存儲(chǔ)設(shè)備中。數(shù)據(jù)庫層的數(shù)據(jù)通常是業(yè)務(wù)系統(tǒng)及應(yīng)用程序儲(chǔ)存在數(shù)據(jù)庫中、需要隨時(shí)查詢或使用的數(shù)據(jù)。

根據(jù)獲取數(shù)據(jù)的層級(jí)不同，數(shù)據(jù)復(fù)制軟件也可分為存儲(chǔ)硬件層數(shù)據(jù)復(fù)制軟件、操作系統(tǒng)層數(shù)據(jù)復(fù)制軟件和數(shù)據(jù)庫層數(shù)據(jù)復(fù)制軟件。具體情況如下∶

A.存儲(chǔ)硬件層復(fù)制技術(shù)?

存儲(chǔ)硬件層復(fù)制主要指基于存儲(chǔ)磁盤陣列之間的直接鏡像，是通過存儲(chǔ)系統(tǒng)內(nèi)建的固件或操作系統(tǒng)，利用IP網(wǎng)絡(luò)或光纖等傳輸介質(zhì)連結(jié)，將數(shù)據(jù)以同步或異步的方式復(fù)制到目標(biāo)端。

存儲(chǔ)硬件層復(fù)制的優(yōu)勢在于復(fù)制工作僅在存儲(chǔ)硬件層面進(jìn)行，與操作系統(tǒng)層無關(guān)，因此可以避免服務(wù)器的性能開銷過大的問題，適用于關(guān)鍵任務(wù)和高端交易應(yīng)用，也是目前最廣泛用于容災(zāi)場景的數(shù)據(jù)復(fù)制技術(shù)之一。存儲(chǔ)硬件層復(fù)制的劣勢在于主要適用于同品牌且同型號(hào)的同構(gòu)存儲(chǔ)系統(tǒng)，并需配備低延遲和大帶寬的物理鏈路，成本較高，給異地復(fù)制帶來極大困難。

B.操作系統(tǒng)層復(fù)制技術(shù)?

在英方實(shí)踐中，根據(jù)數(shù)據(jù)捕獲環(huán)節(jié)的不同，操作系統(tǒng)層復(fù)制可以分為字節(jié)級(jí)復(fù)制和塊級(jí)復(fù)制。

字節(jié)級(jí)復(fù)制技術(shù)是指對(duì)生產(chǎn)服務(wù)器文件系統(tǒng)的I/O操作信息進(jìn)行實(shí)時(shí)捕獲，生成序列化I/O操作日志并發(fā)送至目標(biāo)服務(wù)器，操作日志包括I/O操作發(fā)生的時(shí)間、發(fā)起的進(jìn)程、操作具體針對(duì)的文件、文件具體操作的位置以及操作的內(nèi)容。目標(biāo)服務(wù)器收到I/O操作日志后進(jìn)行數(shù)據(jù)的寫入，完成數(shù)據(jù)復(fù)制。該技術(shù)具有對(duì)計(jì)算機(jī)資源占用小、復(fù)制顆粒度細(xì)等優(yōu)勢，能夠?qū)崿F(xiàn)高實(shí)時(shí)性的數(shù)據(jù)復(fù)制，在容災(zāi)以及持續(xù)數(shù)據(jù)保護(hù)領(lǐng)域有較強(qiáng)的優(yōu)勢。

塊級(jí)復(fù)制技術(shù)是指在生產(chǎn)服務(wù)器的文件系統(tǒng)之下和磁盤驅(qū)動(dòng)之上的卷層設(shè)置驅(qū)動(dòng)模塊，實(shí)現(xiàn)磁盤數(shù)據(jù)變化的捕捉。通過對(duì)生產(chǎn)服務(wù)器磁盤空間進(jìn)行劃分，構(gòu)建磁盤位圖，將發(fā)生數(shù)據(jù)變化的位圖信息發(fā)送至目標(biāo)服務(wù)器并與前次位圖信息進(jìn)行整合，實(shí)現(xiàn)數(shù)據(jù)的復(fù)制。和字節(jié)級(jí)復(fù)制相比，塊級(jí)復(fù)制顆粒度較粗，單次傳輸數(shù)據(jù)量較大，適用于具有海量文件的文件系統(tǒng)或者非標(biāo)準(zhǔn)化文件系統(tǒng)的場景，在定時(shí)備份領(lǐng)域具有較強(qiáng)的優(yōu)勢。

C.數(shù)據(jù)庫層復(fù)制技術(shù)

數(shù)據(jù)庫層復(fù)制通常采用邏輯復(fù)制的方式，將源數(shù)據(jù)庫中的重做日志和歸檔日志解析出SQL語句后，發(fā)送至目標(biāo)數(shù)據(jù)庫，在目標(biāo)數(shù)據(jù)庫上重做SQL語句實(shí)現(xiàn)數(shù)據(jù)復(fù)制。

邏輯復(fù)制的優(yōu)點(diǎn)在于可以實(shí)現(xiàn)不同品牌數(shù)據(jù)庫之間的數(shù)據(jù)復(fù)制，且能實(shí)現(xiàn)數(shù)據(jù)庫讀寫分離、多活，適用于各種數(shù)據(jù)庫數(shù)據(jù)容災(zāi)、高可用、讀寫分離等場景。

不管是哪種數(shù)據(jù)復(fù)制，都有其優(yōu)缺點(diǎn)，用戶可根據(jù)生產(chǎn)環(huán)境以及項(xiàng)目規(guī)劃，選擇合適的技術(shù)產(chǎn)品以達(dá)到目的。上述三類層級(jí)的復(fù)制技術(shù)優(yōu)缺點(diǎn)如下∶

3、數(shù)據(jù)復(fù)制技術(shù)發(fā)展趨勢

數(shù)據(jù)爆發(fā)式的增長，數(shù)據(jù)應(yīng)用場景的不斷豐富，數(shù)據(jù)交易的可持續(xù)發(fā)展，是推動(dòng)數(shù)據(jù)復(fù)制技術(shù)高速發(fā)展的基礎(chǔ)條件。在新基建及新一代信息技術(shù)等大環(huán)境下，數(shù)據(jù)復(fù)制技術(shù)也表現(xiàn)出了三大發(fā)展趨勢。

A.軟硬件解耦的數(shù)據(jù)復(fù)制技術(shù)?

數(shù)據(jù)復(fù)制技術(shù)最早是由存儲(chǔ)硬件及數(shù)據(jù)庫廠商開發(fā)，作為其存儲(chǔ)硬件或數(shù)據(jù)庫軟件的輔助工具，通常與存儲(chǔ)硬件或數(shù)據(jù)庫綁定，通常只用于本公司的存儲(chǔ)硬件或數(shù)據(jù)庫之間的數(shù)據(jù)復(fù)制。

其優(yōu)點(diǎn)在于對(duì)本公司的存儲(chǔ)或數(shù)據(jù)庫產(chǎn)品的兼容良好、穩(wěn)定性高、數(shù)據(jù)復(fù)制速度快，但在靈活性和可擴(kuò)展性上有所欠缺。

隨著信息技術(shù)的發(fā)展，各行業(yè)信息系統(tǒng)不斷升級(jí)和迭代，存儲(chǔ)及數(shù)據(jù)庫類型多樣化，數(shù)據(jù)量的提升也帶來了分級(jí)存儲(chǔ)、分級(jí)備份的需求，與硬件或數(shù)據(jù)庫綁定的復(fù)制技術(shù)功能單一、缺乏靈活性等缺點(diǎn)逐漸顯現(xiàn)。

軟硬件解耦的數(shù)據(jù)復(fù)制技術(shù)可以實(shí)現(xiàn)不同存儲(chǔ)硬件、不同數(shù)據(jù)庫之間的數(shù)據(jù)復(fù)制，在信息系統(tǒng)升級(jí)、數(shù)據(jù)分級(jí)存儲(chǔ)等場景下具有較強(qiáng)的優(yōu)勢，有望成為未來數(shù)據(jù)復(fù)制行業(yè)的重要發(fā)展方向。同時(shí)，在國內(nèi)信息系統(tǒng)軟硬件安全可信的趨勢下，國產(chǎn)存儲(chǔ)設(shè)備和數(shù)據(jù)庫紛紛涌現(xiàn)，軟硬件解耦的數(shù)據(jù)復(fù)制技術(shù)也將在信息系統(tǒng)國產(chǎn)化進(jìn)程中發(fā)揮重要作用，加速國產(chǎn)化進(jìn)程。

B.云端數(shù)據(jù)復(fù)制技術(shù)?

云計(jì)算相較于傳統(tǒng)IT架構(gòu)，具有資源配置效率高、運(yùn)維難度低、多地多中心布局、業(yè)務(wù)冗余能力強(qiáng)等優(yōu)勢。隨著云計(jì)算技術(shù)和新型基礎(chǔ)設(shè)施的逐步成熟，越來越多的企業(yè)開始將業(yè)務(wù)系統(tǒng)、數(shù)據(jù)應(yīng)用等遷移上云。數(shù)據(jù)復(fù)制技術(shù)也從本地?cái)?shù)據(jù)復(fù)制向云端數(shù)據(jù)復(fù)制發(fā)展。和本地IT 架構(gòu)不同的是，云計(jì)算架構(gòu)將底層硬件設(shè)備虛擬化后形成統(tǒng)一的計(jì)算資源、存儲(chǔ)資源和網(wǎng)絡(luò)資源，企業(yè)在云端的業(yè)務(wù)系統(tǒng)均統(tǒng)一部署在數(shù)據(jù)中心的虛擬平臺(tái)上，因此云端復(fù)制和本地復(fù)制相比，傳輸環(huán)境存在較大的差異，云端復(fù)制的傳輸具有帶寬窄、傳輸不穩(wěn)定等特點(diǎn)，對(duì)復(fù)制技術(shù)的壓縮能力、斷點(diǎn)續(xù)傳能力提出了更高的要求。

同時(shí)，云端復(fù)制還需兼顧數(shù)據(jù)隱私及安全問題，特別是在公有云的場景下，云供應(yīng)商有較大的權(quán)限，可以對(duì)數(shù)據(jù)進(jìn)行管理。因此在云端復(fù)制場景下，數(shù)據(jù)的脫敏、加密、備份也是云端復(fù)制技術(shù)需要考慮的重要問題。例如，不要將數(shù)據(jù)全部存儲(chǔ)于云平臺(tái)，考慮將重要數(shù)據(jù)在本地進(jìn)行備份。

C.大數(shù)據(jù)平臺(tái)實(shí)時(shí)復(fù)制技術(shù)?

大數(shù)據(jù)平臺(tái)是為了滿足大數(shù)據(jù)的存儲(chǔ)、運(yùn)算、分析、展現(xiàn)的軟件平臺(tái)，主要功能包括數(shù)據(jù)接入、數(shù)據(jù)計(jì)算和處理、數(shù)據(jù)存儲(chǔ)、查詢檢索、分析和可視化、安全管理、數(shù)據(jù)交換和流通等。

大數(shù)據(jù)平臺(tái)擁有特殊的文件系統(tǒng)、數(shù)據(jù)庫及數(shù)據(jù)處理模塊，以適配大數(shù)據(jù)的查詢、存儲(chǔ)和計(jì)算。以Hadoop為例，Hadoop平臺(tái)采用HDFS分布式文件系統(tǒng)和HBase分布式數(shù)據(jù)庫，通過Hive數(shù)據(jù)倉庫進(jìn)行數(shù)據(jù)的存儲(chǔ)、查詢和分析，與傳統(tǒng)的數(shù)據(jù)庫結(jié)構(gòu)存在較大的差別，因此傳統(tǒng)的數(shù)據(jù)庫數(shù)據(jù)復(fù)制技術(shù)無法實(shí)現(xiàn)大數(shù)據(jù)平臺(tái)間的數(shù)據(jù)實(shí)時(shí)復(fù)制，亦無法實(shí)現(xiàn)由傳統(tǒng)數(shù)據(jù)庫向大數(shù)據(jù)平臺(tái)的數(shù)據(jù)實(shí)時(shí)復(fù)制。隨著大數(shù)據(jù)技術(shù)不斷演進(jìn)和應(yīng)用持續(xù)深化，以數(shù)據(jù)為核心的大數(shù)據(jù)產(chǎn)業(yè)生態(tài)正在加速構(gòu)建。

4、異構(gòu)復(fù)制技術(shù)應(yīng)用場景

在開源軟件及信息技術(shù)路線多樣化發(fā)展潮流下，數(shù)據(jù)復(fù)制異構(gòu)場景逐漸增多。?異構(gòu)復(fù)制因?yàn)榧夹g(shù)和產(chǎn)品架構(gòu)的不同，數(shù)據(jù)復(fù)制過程中存在數(shù)據(jù)庫、操作系統(tǒng)、桌面用戶數(shù)據(jù)、遷移過程的復(fù)雜性、大量非結(jié)構(gòu)化數(shù)據(jù)、遷移過程的安全性等諸多挑戰(zhàn)，涵蓋包括字符集不兼容，中英文轉(zhuǎn)換難、數(shù)據(jù)治理難度高、兼容性差等系列難點(diǎn)。

場景一∶文件異構(gòu)遷移和復(fù)制?

文件異構(gòu)的場景下，又細(xì)分為“異構(gòu)服務(wù)器/操作系統(tǒng)之間、異構(gòu)NAS存儲(chǔ)之間、對(duì)象存儲(chǔ)數(shù)據(jù)遷移和復(fù)制”三類應(yīng)用場景。

場景二：數(shù)據(jù)庫異構(gòu)遷移和復(fù)制?

異構(gòu)數(shù)據(jù)庫的遷移和復(fù)制，其應(yīng)用場景可細(xì)分為“異構(gòu)平臺(tái)經(jīng)Kafka或直接復(fù)制遷移、異構(gòu)數(shù)據(jù)融合與異構(gòu)數(shù)據(jù)庫遷移”。

場景三∶整機(jī)異構(gòu)遷移和復(fù)制?

整機(jī)遷移即操作系統(tǒng)遷移，該場景整合了字節(jié)級(jí)遷移與塊級(jí)兩種復(fù)制技術(shù)，可為用戶提供整機(jī)在線熱遷移。

場景四：HDFS異構(gòu)遷移和復(fù)制?

HDFS的英文全稱是Hadoop File System，作為大數(shù)據(jù)文件系統(tǒng)的主要應(yīng)用場景，在容災(zāi)方面難以做到底層的實(shí)時(shí)復(fù)制和容災(zāi)。

網(wǎng)上下載鏈接：https://www.info2soft.com/whitepaper