前言

隨著互聯(lián)網(wǎng)的發(fā)展，以及大數(shù)據(jù)時代的來臨，信息數(shù)據(jù)量也呈現(xiàn)出迅速增長的發(fā)展趨勢，越來越多企業(yè)認識到，數(shù)據(jù)不僅可以在本地存儲，還可以在云端存儲。而云原生數(shù)據(jù)庫就是一種穩(wěn)定可靠、可彈性伸縮，解決數(shù)據(jù)運維工作的數(shù)據(jù)庫服務。

項目使用前期調(diào)研

亞馬遜云科技提供了100余種產(chǎn)品免費套餐。其中，計算資源 Amazon EC2 首年12個月免費，750小時/月；存儲資源 Amazon S3 首年12個月免費，5GB 標準存儲容量；數(shù)據(jù)庫資源 Amazon RDS 首年12個月免費，750小時；Amazon Dynamo DB 25GB 存儲容量 永久免費。??https://aws.amazon.com/cn/free/??

我公司蘇州凱捷智能科技有限公司從本地存儲更換為亞馬遜云科技數(shù)據(jù)庫存儲數(shù)據(jù)。

本人公司2021年開業(yè)創(chuàng)業(yè)性公司主要服務對象3C、新能源、政府等。數(shù)據(jù)存儲量比較大。因為創(chuàng)業(yè)性公司不會專門搭建一個服務器用于存儲，對于時間、成本等條件?？隙ú荒軡M足這樣使用。于是我們開始調(diào)研云數(shù)據(jù)庫性能對比，價格等。最終選擇了 Amazon。

公司的預算以及規(guī)模要求

在幾萬預算中性能對比下來 Amazon 數(shù)據(jù)存儲、數(shù)據(jù)操作簡單方便技術目前是全球領先的據(jù)我了解在全球范圍內(nèi)，Amazon 在云服務領域處于領導者地位。數(shù)以百萬計的客戶——包括發(fā)展最快的初創(chuàng)企業(yè)、最大的企業(yè)和領先的政府機構——相信 Amazon 能夠為他們的基礎設施提供動力，變得更加靈活，并降低成本。

豐富的云服務和功能

Amazon 在各個方面的業(yè)務需求上，都有對應的產(chǎn)品或者整體的解決方案存在。Amazon 的這些服務還具有最為多樣復雜的功能。例如，Amazon 提供了種類繁多的數(shù)據(jù)庫，這些數(shù)據(jù)庫是為不同類型的應用程序?qū)ｉT構建的，因此您可以選擇適合作業(yè)的工具來獲得最佳的成本和性能。

覆蓋全球的云基礎設施

Amazon 擁有強大的、充滿活力的生態(tài)系統(tǒng)，擁有數(shù)百萬活躍客戶和數(shù)萬合作伙伴。Amazon 客戶幾乎涵蓋所有行業(yè)和規(guī)模的組織，包括初創(chuàng)企業(yè)、企業(yè)和公共部門組織。

強大的云計算生態(tài)

WS 開發(fā)工具完善、文檔和教程齊全、社區(qū)氛圍友好，在 Amazon 上開發(fā)應用非常方便。

最終蘇州凱捷智能科技有限公司選擇了Amazon 數(shù)據(jù)存儲服務。

首先講講什么是云原生數(shù)據(jù)庫？

云原生數(shù)據(jù)庫是一種通過云平臺進行構建、部署和分發(fā)的服務。作為一種云平臺，云原生數(shù)據(jù)庫以 Paas 的形式進行分發(fā)，也經(jīng)常被稱作 DBaas ；用戶可以將該平臺用于多種目的，例如存儲，管理和提取數(shù)據(jù)。

簡單來說，云原生數(shù)據(jù)庫，是一種通過云平臺進行構建、部署和分發(fā)的服務。這種云原生屬性是它相比于其他類型數(shù)據(jù)庫最大的特點。作為一種云平臺，云原生數(shù)據(jù)庫以 Paas (平臺即服務, Platform-as-a-Service )的形式進行分發(fā)，也經(jīng)常被稱作 DBaas (數(shù)據(jù)庫即服務, DataBase-as-a-Service)。用戶可以將該平臺用于多種目的，例如存儲，管理和提取數(shù)據(jù)。

云原生數(shù)據(jù)庫通常通過在云基礎設施之上安裝數(shù)據(jù)庫軟件來實現(xiàn)，這種方式使得云原生數(shù)據(jù)庫具備了傳統(tǒng)數(shù)據(jù)庫所不具備的直接訪問性和運行時可伸縮性。隨著云原生數(shù)據(jù)和海量計算的重要性不斷提高，人們空前重視通過部署這種服務為企業(yè)提供增強的可靠性和可伸縮性。

mysql 數(shù)據(jù)庫，云數(shù)據(jù)庫的優(yōu)勢有哪些？

1、服務可用性

云數(shù)據(jù)庫具有高可用性，完善的數(shù)據(jù)自動備份機制，數(shù)據(jù)可保留時間長，分鐘級別可完成故障轉(zhuǎn)移。而在自購服務器搭建的傳統(tǒng)數(shù)據(jù)庫服務中，需自行搭建主從復制，自建 RAID，單獨實現(xiàn)或者購買負載均衡設備等。

2、數(shù)據(jù)可靠性

云數(shù)據(jù)庫是保證99.95%高可靠的，提供主從數(shù)據(jù)存儲，支持按時間點恢復、秒級監(jiān)控等，保障線上數(shù)據(jù)安全。而在自購服務器搭建的傳統(tǒng)數(shù)據(jù)庫服務中，需要自行保障。

3、系統(tǒng)安全性

云數(shù)據(jù)庫具有高安全性，DDoS 防護，能幫助用戶抵御攻擊流量，減少數(shù)據(jù)安全風險，保證業(yè)務的正常運行。而傳統(tǒng)數(shù)據(jù)庫則需自行部署，價格高昂，同時也需自行修復數(shù)據(jù)庫安全漏洞。

4、軟硬件投入

云廠商提供的云數(shù)據(jù)庫不需要客戶購置 軟硬件投，并且支持按需付費。而傳統(tǒng)數(shù)據(jù)庫成本相對較高，對于 SQL Server 還需支付許可證費用。

云數(shù)據(jù)庫結(jié)合云服務器使用，具有數(shù)據(jù)傳輸穩(wěn)定高可用，內(nèi)網(wǎng)帶寬傳輸速度快，可擴展性高的優(yōu)勢。相對于自建數(shù)據(jù)庫，云數(shù)據(jù)庫具有更經(jīng)濟、更專業(yè)、更高效、更安全、簡單易用等特點，用戶能更專注于核心業(yè)務。

睿江云目前擁有單節(jié)點，雙節(jié)點，三節(jié)點三個版本的云數(shù)據(jù)庫，用戶可根據(jù)業(yè)務需求選擇購買。高性能、高安全、高可靠的數(shù)據(jù)庫服務，可以有效地減輕用戶的運維壓力，為用戶帶來安全可靠的全新體驗。

5、轉(zhuǎn)身 Amazon 原因

第一個就是分布式、高可擴展性的 OLTP 數(shù)據(jù)庫的云原生化。我認為包括 Amazon Aurora、包括現(xiàn)在的主流的這些號稱 Cloud Native 的一些數(shù)據(jù)庫，還遠沒有到達一個最終形態(tài)，它相當于只是一個把一個單機數(shù)據(jù)庫的技術云化了而已。分布式數(shù)據(jù)庫如何與云原生真正結(jié)合，這現(xiàn)在還是一個懸而未決的問題。這個問題的本質(zhì)就是分布式數(shù)據(jù)庫如何從 On Cloud，走向 In Cloud。

手把手教你將服務器遷移到 Amazon 全過程

遷移策略方案

以上這些數(shù)據(jù)庫由 Amazon 完全托管，用戶不用去管理底層硬件系統(tǒng)升級維護等相關工作，這也是推薦使用全托管數(shù)據(jù)庫而非自建數(shù)據(jù)庫的原因。為了方便客戶數(shù)據(jù)庫遷移上云，Amazon 還為客戶提供了非常方便的遷移工具 DMS，幫助用戶輕松經(jīng)濟高效的完成遷移任務。

那么面對這么多種類的數(shù)據(jù)庫，尤其是一些新型數(shù)據(jù)庫，我們從來沒有使用過，我們該如何選擇？我們需要從業(yè)務場景為出發(fā)點來分析使用哪種數(shù)據(jù)庫，下面我對 Amazon 數(shù)據(jù)庫的使用場景做個簡單的介紹，也讓大家對 Amazon 各種數(shù)據(jù)庫的應用場景有一個大致了解。

1、盤點云服務

首先盤點下我們用到的阿里云服務有哪些？云服務器 ECS，負載均衡 SLB，對象存儲 OSS，大數(shù)據(jù)服務 MaxCompute，其中數(shù)據(jù)庫、緩存、隊列之類均使用 ECS + 開源產(chǎn)品搭建，而非阿里云服務。基本 Amazon 均有對標產(chǎn)品，EC2， ELB，S3 等可以滿足需求，當然成本上 Amazon 產(chǎn)品還是略貴一些。

2.盤點服務機器

在線服務主要依賴ECS ，系統(tǒng)搭建 CentOS，部署應用服務器，數(shù)據(jù)中心主要包括 Mysql 、MongoDB、Redis、ES、OSS等 ，中間件服務，消息隊列，路由網(wǎng)關等。離線服務數(shù)據(jù)倉庫主要基于 MaxCompute，以及相關報表服務。

3.遷移策略

3.1.離線服務遷移策略

在新數(shù)據(jù)中心建立數(shù)倉，導入歷史數(shù)據(jù)，新機房搭建 ETL 服務，遷移后增量數(shù)據(jù)從新機房在線服務中抽取。遷移可獨立進行不受限于在線服務，注意在線服務遷移節(jié)點前后的數(shù)據(jù)補錄和剔除。由于阿里云 MaxCompute 服務與 hive 語法有差異，此處還有些 sql 修改的工作。

3.2.在線服務遷移策略

原機房服務架構情況如下圖：

圖中 router 作為網(wǎng)關和負載均衡，簡化隊列等其他服務。遷移方案總體分為不停服遷移和停服遷移兩種，下面就具體分析下如何選型。

3.3.不停服遷移方案

首先在新機房按同等架構部署一套服務，數(shù)據(jù)庫維持主從架構（原機房做主，新機房做從），redis （只用于緩存）兩邊各自部署維護。

從 網(wǎng)關層（router）切流量到新機房應用服務，但服務讀寫數(shù)據(jù)庫仍從原機房（阿里云機房），如果不考慮延時或一致性要求不高的場景可以從新機房數(shù)據(jù)庫讀，寫到原機房數(shù)據(jù)庫。

應用流量遷移后，切換數(shù)據(jù)庫讀寫到新機房，遷移前需要檢查新機房是否有數(shù)據(jù)落后，通過變更連接配置進行切換，對使用數(shù)據(jù)庫長連接的連接池模式，需要在程序做支持，捕獲配置變更后啟動新配置的連接池。

此方案采用從應用服務層到數(shù)據(jù)層自頂向下遷移，遷移過程中會出現(xiàn)雙機房雙活和跨機房調(diào)用的情況，確保盡可能少的出現(xiàn)跨機房調(diào)用。

方案優(yōu)點：

服務基本可用，對用戶無感知，或感知較小。

方案缺點：

實施過程復雜，跨機房數(shù)據(jù)延時會影響服務正常，切換瞬間可能會有數(shù)據(jù)不一致。

為了減少跨機房延時，一般采用拉專線方式，同機房數(shù)據(jù)傳輸一般延時在 10ms 以內(nèi)， 同城專線一般延時在 10 ms 左右，跨城專線一般在 10 - 200 ms，公網(wǎng)傳輸一般在幾百毫秒。

由于兩個機房之間無法直接拉專線，跨機房調(diào)用可能會導致服務延時失敗，出現(xiàn)更多不可控因素，且業(yè)務存在夜間低峰期且無新用戶，停服影響可接受，因此最終實施將會按停服方案來操作。

3.4.停服遷移方案

和不停服一樣，首先搭建一套鏡像服務，在某個時間點會將所有寫入暫停（無新數(shù)據(jù)寫入），待數(shù)據(jù)全部同步新機房后，在新機房啟動服務，并將流量完全導向新機房。

方案優(yōu)點：

實施過程簡單，實施過程中不會出現(xiàn)臟數(shù)據(jù)。

方案缺點：

會有一段時間對用戶完全不可用，必須根據(jù)業(yè)務場景來評估是否可接受。

實現(xiàn)流程

1.完善實施細節(jié)

實施遷移前，必要的準備工作必不可少，購買新機房服務，配置網(wǎng)絡及服務的搭建，應用服務的部署，數(shù)據(jù)庫的準備及數(shù)據(jù)同步（及一致性檢查），涉及到  ip 變更合作機構加白名單，以及必要的通知工作，最后需要對新機房服務做回歸測試和校驗。為了防止遺漏，最好使用 checklist 清單，完成一項對其打鉤。

2.執(zhí)行遷移過程

選擇合適的遷移時間，服務低峰時間，避開必要的定時任務執(zhí)行時間，梳理清可提前的或可推后的定時任務，遷移時間與必須按時執(zhí)行的定時任務錯峰。遷移過程對用戶訪問進行限制，除測試白名單可正常訪問服務，其他用戶會提示 “系統(tǒng)升級，請稍后回來” 。遷移計劃可以分幾步，確定好時間，執(zhí)行人，執(zhí)行內(nèi)容，必要的執(zhí)行操作，做好 checklist 清單，格式如下：

停止原機房對外服務

1)上線代碼控制訪問請求

2)停止定時腳本和常駐 （注意順序）

3)觀察數(shù)據(jù)無寫入 xx 時間，保險起見對主庫改為 readonly

4)觀察隊列無新增，消費已完成 （可省略遷移隊列數(shù)據(jù)）

外網(wǎng)域名 DNS 解析切換

1)外網(wǎng)域名 DNS 解析切換

2)DNS 解析生效需要周期，此時打入舊機房流量可以做轉(zhuǎn)發(fā)到新機房

新機房服務恢復

1）在準備階段已完成服務部署，數(shù)據(jù)庫維持從庫同步數(shù)據(jù)，此時斷開與主庫連接

2）可以校驗數(shù)據(jù)是否完全一致，準備階段完成歷史記錄校驗，遷移階段只校驗增量部分

3）涉及 OSS 數(shù)據(jù)，需要同步到 S3，沒有直接同步工具，可以先下載再上傳，最后寫了個比對工具校驗兩邊一致性

4）定時任務和常駐進程在新機房啟動。

回歸測試

恢復對外服務

1)觀察日志監(jiān)控

2)服務和業(yè)務監(jiān)控

3)其他系統(tǒng)服務恢復

3.遷移過程的突發(fā)事件

雖然做了“萬全”的計劃，但遷移過程還是會發(fā)生一些計劃外的事件，這時候就要隨機應變了，但一個基本原則就是是否可以先忽略？如果不影響正常業(yè)務可以事后解決。

在停止對外訪問后，按預期將沒有新數(shù)據(jù)寫入，但發(fā)現(xiàn) MongoDB 數(shù)據(jù)庫仍有數(shù)據(jù)寫入，通過追查連接 ip 發(fā)現(xiàn)有其他部門服務連接，此時半夜無法聯(lián)系到對方處理，最后確認該數(shù)據(jù)表我們并不使用，那么可以忽略不處理，但因為此項確認比預期要長，整體遷移時間也向后發(fā)生了偏移。

MongoDB 采用了停服后全量數(shù)據(jù)導出，在新服務器上導入的方案，并未使用從庫。因為數(shù)據(jù)量較少，導出恢復速度快，不會有不一致問題。

在使用 Amazon 的 負載均衡服務（ELB）時，發(fā)現(xiàn)了與阿里云的 SLB 不一樣的情況，在長連接服務過程中會斷開連接，而當時在場的 Amazon 技術支持也未能有效解決，當時根據(jù)情況決策不使用負載均衡，直接連接 ip 的方式，先解決了服務斷開的問題。

Amazon 負載均衡有健康檢查機制，如果長時間無目標響應就會斷開連接。

4.回滾計劃

在做遷移計劃時，也會出相應的回滾方案，如果不符合預期就會執(zhí)行回退到阿里云，那么在停服階段的回滾，相對比較簡單且無損。而一旦對外開放流量后再回退，基本上需要執(zhí)行遷移方案的逆向操作。

收尾

服務前移完成后，還有一些收尾的工作，以及服務的觀察和監(jiān)控。系統(tǒng)指標對比：如 cpu、內(nèi)存、io 等系統(tǒng)層面的使用情況和負載

應用指標對比：如接口響應時間，QPS 等情況

業(yè)務指標對比：如關鍵業(yè)務的轉(zhuǎn)化率等情況遷移前可在原機房看一些關鍵數(shù)據(jù)，如最后一條用戶數(shù)據(jù)、訂單數(shù)據(jù)等，然后在新機房有針對性的查看放量后新增數(shù)據(jù)情況。經(jīng)過歷時幾個小時的通宵遷移，服務已平穩(wěn)從阿里云機房遷移至了 Amazon 機房，觀察幾個小時后整體符合預期，算是基本圓滿達成目標。

Amazon 數(shù)據(jù)庫優(yōu)勢

在眾多的云廠商中，我們?yōu)槭裁催x擇 Amazon 數(shù)據(jù)庫服務，Amazon 還有哪些獨特的優(yōu)勢呢？我主要總結(jié)以下幾點：

成本優(yōu)勢

使用自建數(shù)據(jù)，企業(yè)首先需要支付一筆資金購買服務器，一些商業(yè)數(shù)據(jù)庫的授權，需要再次支付一筆費用。如果遷移到 Amazon 的自研數(shù)據(jù)庫，客戶不必再支付高昂的商業(yè)數(shù)據(jù)庫授權，也不必再去花費大量資金去購買服務器，在云中，客戶只需要按量付費，因此很多企業(yè)由于把數(shù)據(jù)庫遷移到 Amazon 而節(jié)省巨大費用支出。

從最近的 Amazon 公告中，看到 Amazon 幫助三星把數(shù)據(jù)從商業(yè)數(shù)據(jù)庫 Oracle 遷移到了 Aurora，為三星每月的數(shù)據(jù)庫成本降低了 44%，并讓三星的數(shù)據(jù)庫運行更加穩(wěn)定。

完全托管

以上所說的幾種數(shù)據(jù)庫都是 Amazon 完全托管的數(shù)據(jù)庫，完全托管意味著零運維。首先客戶不需要去維護硬件的生命周期、系統(tǒng)的補丁更新、高可用的部署、備份等。如果需要對數(shù)據(jù)庫擴展，也只需點幾下鼠標而已，非讓方便，讓 DBA 從復雜的數(shù)據(jù)庫運維中解脫出來，專注于數(shù)據(jù)庫性能調(diào)優(yōu)。

全球優(yōu)勢

過去我們需要借助非常復雜的技術手段，花費大量的成本、甚至犧牲一定的可用性，才能實現(xiàn)快速、穩(wěn)定、安全的跨區(qū)域的數(shù)據(jù)復制，現(xiàn)在只要在 Amazon 云中輕輕點幾下鼠標即可完成。
Amazon 云現(xiàn)已在全球 24 個地理區(qū)域內(nèi)運營著 77 個可用區(qū)，180個邊緣站點等，為 Amazon 相應全球數(shù)據(jù)庫提供了基礎保障。依托于 Amazon 強大的基礎設施，目前已經(jīng)有三款數(shù)據(jù)庫支持全球同步，延遲通常不超過 1 秒，可以滿足目前大部分應用的需求。

對于關系型數(shù)據(jù)庫的全球同步需求，Amazon Aurora Global Database 能夠允許用戶輕松實現(xiàn)跨區(qū)域的數(shù)據(jù)庫部署，讓用戶輕松在區(qū)域之間復制數(shù)據(jù)和解決更新沖突，從而更加專注于應用程序的業(yè)務邏輯。Amazon 還提供了 Amazon DynamoDB Global Tables。它基于 DynamoDB 的全球覆蓋范圍構建，具有多區(qū)域、多主表的特性，可讓全局分布式應用程序?qū)崿F(xiàn)快速的本地讀寫性能，為用戶提供一個完全托管的、多區(qū)域、多主的 Key-Value 類型數(shù)據(jù)庫。

針對緩存數(shù)據(jù)庫，在眾多組織都在利用 Redis 為全球用戶提供低延遲訪問的背景下，Amazon 為更好滿足客戶的需求，Amazon 推出了 Amazon ElastiCache Global Datastore for Redis 全球緩存數(shù)據(jù)庫，為用戶提供數(shù)據(jù)跨區(qū)域復制，可以在一個區(qū)域?qū)懭霐?shù)據(jù)，同時在其他區(qū)域讀取數(shù)據(jù)，使緩存的數(shù)據(jù)更接近用戶，減少網(wǎng)絡延遲，并提高應用程序的響應能力。

心得與建議

當然，數(shù)據(jù)庫遷移是一個龐大而復雜的工程，尤其將數(shù)據(jù)庫遷移上公有云，除了數(shù)據(jù)庫知識更需要了解公有云上網(wǎng)絡，存儲，虛擬化等一系列知識。但是，我們不應該僅僅將數(shù)據(jù)庫上云看做一個復雜的任務，更應該把它當做一個優(yōu)化我們數(shù)據(jù)庫的契機，那么上云過程中有哪些注意事項和建議呢？

對于一些允許停機的應用，這部分數(shù)據(jù)我們推薦使用離線遷移，整個操作比較簡單，速度快，不容易出問題。

如果業(yè)務需要在線遷移，那么推薦使用 DMS 進行遷移，需要注意的是，在數(shù)據(jù)庫切換之前先停掉源數(shù)據(jù)庫寫入，帶數(shù)據(jù)完全同步到目標數(shù)據(jù)庫之后進行數(shù)據(jù)庫切換。如果遷移的數(shù)據(jù)量比較大，建議選擇配置比較大的復制實例，這樣可以加速我們的復制速度。如果您想要轉(zhuǎn)換數(shù)據(jù)庫引擎，在使用 SCT 進行 Schema 轉(zhuǎn)換的時候可能會遇到一些目標數(shù)據(jù)庫不支持的地方，請先聯(lián)系 DBA 人員，對這些地方進行更改，滿足之后再進行轉(zhuǎn)換。

資料分享

1. 數(shù)據(jù)庫免費試用鏈接及上手教程：??https://aws.amazon.com/cn/getting-started/databases/get-started/??
2. 云原生數(shù)據(jù)庫在線大會：??https://www.awsevents.cn/CloudNative/listDetails.html??

粉絲福利

亞馬遜云科技專為開發(fā)者們打造了多種學習平臺：

1. 入門資源中心：從0到1 輕松上手云服務，內(nèi)容涵蓋：成本管理，上手訓練，開發(fā)資源。??https://aws.amazon.com/cn/getting-started/??
2. 架構中心：亞馬遜云科技架構中心提供了云平臺參考架構圖表、經(jīng)過審查的架構解決方案、Well-Architected 最佳實踐、模式、圖標等。??https://aws.amazon.com/cn/architecture/??
3. 構建者庫：了解亞馬遜云科技如何構建和運營軟件。??https://aws.amazon.com/cn/builders-library/??
4. 用于在亞馬遜云科技平臺上開發(fā)和管理應用程序的工具包：??https://aws.amazon.com/cn/tools/??

【專屬福利】

福利一：100余種產(chǎn)品免費套餐。其中，計算資源 Amazon EC2 首年12個月免費，750小時/月；存儲資源 Amazon S3 首年12個月免費，5GB 標準存儲容量。??https://aws.amazon.com/cn/free/??

福利二：最新優(yōu)惠大禮包，200$數(shù)據(jù)與分析抵扣券，200$機器學習抵扣券，200$微服務與應用開發(fā)抵扣券。??https://www.amazonaws.cn/campaign/??

原文來自亞馬遜云科技開發(fā)者文章：

??https://dev.amazoncloud.cn/column/articleDetail?id=63209584ed07ac10b0752c74??