偷偷摘套内射激情视频,久久精品99国产国产精,中文字幕无线乱码人妻,中文在线中文a,性爽19p

下一代云存儲系統(tǒng)技術(shù)白皮書

存儲 存儲軟件
信息處理技術(shù)、互聯(lián)網(wǎng)技術(shù)、云計算技術(shù)的誕生與成長對各行各業(yè)產(chǎn)生著潛移默化的影響。互聯(lián)網(wǎng)時代,數(shù)據(jù)采集手段紛繁復(fù)雜,形態(tài)五花八門,半結(jié)構(gòu)化與非結(jié)構(gòu)化數(shù)據(jù)體量日趨增大,傳統(tǒng)的儲架構(gòu)已經(jīng)逐漸顯現(xiàn)出自身的固有局限。

 1 下一代云存儲系統(tǒng)簡介

1.1云存儲系統(tǒng)簡介

信息處理技術(shù)、互聯(lián)網(wǎng)技術(shù)、云計算技術(shù)的誕生與成長對各行各業(yè)產(chǎn)生著潛移默化的影響?;ヂ?lián)網(wǎng)時代,數(shù)據(jù)采集手段紛繁復(fù)雜,形態(tài)五花八門,半結(jié)構(gòu)化與非結(jié)構(gòu)化數(shù)據(jù)體量日趨增大,傳統(tǒng)的儲架構(gòu)已經(jīng)逐漸顯現(xiàn)出自身的固有局限。

在傳統(tǒng)數(shù)據(jù)中心中,以O(shè)LTP和OLAP為代表的數(shù)據(jù)庫應(yīng)用占據(jù)了昂貴但又低效率的在線存儲設(shè)施,交易記錄、分析性數(shù)據(jù)則消耗了大量的后端存儲空間。異構(gòu)的存儲設(shè)備難以應(yīng)對大數(shù)據(jù)浪潮帶來需求浪潮,無法及時利用數(shù)據(jù)支撐業(yè)務(wù)決策,并在“大、智、云、移”的時代提供多樣化服務(wù)。

[[208245]]

下一代云存儲系統(tǒng)融合分布式存儲技術(shù),利用標準化硬件設(shè)施構(gòu)造存儲池,虛擬化已有存儲設(shè)施空間,互聯(lián)互通,打破數(shù)據(jù)調(diào)度壁壘;在統(tǒng)一的系統(tǒng)下提供了對象、塊、和文件存儲服務(wù);并且具有可靠性高、管理簡便的優(yōu)點。同時,下一代云存儲系統(tǒng)具有靈活的擴展性,能夠提供PB到乃至EB級的存儲能力。

1.2云存儲系統(tǒng)設(shè)計目標

下一代云存儲系統(tǒng)從行業(yè)切實需求出發(fā),面向數(shù)據(jù)中心私有云場景,實現(xiàn)大規(guī)模、大容量的存儲資源池,整合替代現(xiàn)有存儲設(shè)施,支撐各類OLTP或OLAP業(yè)務(wù)應(yīng)用。為了能夠?qū)Ω黝悰Q策支撐系統(tǒng)、研發(fā)測試系統(tǒng)提供有效支撐;突破隨機訪問海量數(shù)據(jù)的性能瓶頸;解決數(shù)據(jù)安全性、存儲平滑擴容的問題,下一代云存儲系統(tǒng)在規(guī)劃建設(shè)過程中具有以下幾點目標:

1.高性能

下一代云存儲系統(tǒng)首先需要有能力提供足夠的性能,能夠覆蓋到用戶大部分業(yè)務(wù)需求,滿足高并發(fā)或大量的業(yè)務(wù)數(shù)據(jù)分析等需求。

2.高可用性

下一代云存儲系統(tǒng)需要滿足更高要求的高可用性。存儲和數(shù)據(jù)高可靠性是業(yè)務(wù)活動連續(xù)開展的基礎(chǔ)支撐。在存儲發(fā)生故障時候,有相應(yīng)的高可用機制來支撐和保障數(shù)據(jù)的自動恢復(fù)和動態(tài)遷移。

3.資源動態(tài)擴展

下一代云存儲系統(tǒng)能夠支撐資源的動態(tài)伸縮以及資源池的動態(tài)擴展,能夠按需分配,彈性擴展。在系統(tǒng)擴容的時候,能夠做到性能和容量的線性擴展,避免資源的浪費。

4.服務(wù)、接口的多樣性

下一代云存儲系統(tǒng)能夠提供多樣的存儲服務(wù),包括塊設(shè)備服務(wù)來滿足數(shù)據(jù)庫類型的存儲要求;文件系統(tǒng)、對象等存儲服務(wù)來滿足半結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)的存儲要求。因此,這就要求存儲能夠提供豐富的標準接口,包括文件系統(tǒng)接口(NFS、CIFS)、塊接口(iSCIS、FC)或者對象接口(S3、SWIFT)以及對內(nèi)能夠提供標準的管理接口。

5.高可管理性

下一代云存儲系統(tǒng)在日常部署、管理、監(jiān)控的環(huán)節(jié)能夠?qū)崿F(xiàn)自動化和可視化,提高存儲資源服務(wù)的可管理性,包括資源分配、資源監(jiān)控、故障告警等多方面的內(nèi)容,提高運維管理人員的管理效率;并且逐步支持智能化的采集和分析,高效地利用現(xiàn)有資源,包括對存儲IOPS、存儲吞吐量以及存儲容量的使用進行動態(tài)的監(jiān)測和預(yù)測,方便管理人員對存儲現(xiàn)有情況進行了解和及時對未來存儲的擴容進行規(guī)劃。

2 下一代云存儲系統(tǒng)架構(gòu)

2.1云存儲系統(tǒng)總體方案架構(gòu)

下一代云存儲系統(tǒng)的核心是統(tǒng)一管理存儲資源,面向云平臺,提供多樣化的數(shù)據(jù)服務(wù)。下一代云存儲系統(tǒng)將應(yīng)用與底層存儲解耦,不依賴于傳統(tǒng)設(shè)備和應(yīng)用廠商的綁定。在未來數(shù)據(jù)中心全面轉(zhuǎn)型,整體上云的過程中,實現(xiàn)存儲與計算、網(wǎng)絡(luò)資源的聯(lián)動,順應(yīng)數(shù)據(jù)價值鏈向服務(wù)轉(zhuǎn)移。

圖 2-1 下一代云存儲系統(tǒng)架構(gòu)示意圖

下一代云存儲系統(tǒng)主要由基于分布式架構(gòu)的軟件定義存儲系統(tǒng)和輕量化異構(gòu)存儲統(tǒng)一管理組件構(gòu)成。

基于分布式架構(gòu)的軟件定義存儲運行在標準的X86服務(wù)器之上,利用虛擬化技術(shù),將集群中的存儲資源虛擬化為存儲池,并向上提供塊設(shè)備、文件和對象存儲服務(wù)。同時,軟件定義存儲具有高性能,能夠輕松應(yīng)對各類高負載管理的要求,其中包括業(yè)務(wù)關(guān)鍵型應(yīng)用與核心業(yè)務(wù)系統(tǒng);多副本及強一致性技術(shù)的應(yīng)用提供高可用特性;極強的橫向擴展能力則為業(yè)務(wù)擴張帶來的管理維護提供了極大的靈活性和便利。

輕量化異構(gòu)存儲統(tǒng)一管理組件實現(xiàn)了分布式存儲和集中式存儲的統(tǒng)一自動化管理,分布式軟件定義存儲通過面向存儲統(tǒng)一管理組件開放存儲系統(tǒng)的控制接口,實現(xiàn)存儲系統(tǒng)的監(jiān)控與運維。通過開放的接口,異構(gòu)存儲統(tǒng)一管理組件可以實現(xiàn)分布式存儲系統(tǒng)的資源劃分與服務(wù)編排,并對集中式存儲設(shè)備劃分基于不同QoS策略的虛擬卷服務(wù)于云平臺,實現(xiàn)與計算、網(wǎng)絡(luò)的聯(lián)動。

2.2系統(tǒng)組件及功能

2.2.1基于分布式架構(gòu)的軟件定義存儲系統(tǒng)

基于分布式架構(gòu)的軟件定義存儲技術(shù)集中提供包括對象、塊、和文件在內(nèi)的多種存儲服務(wù),并且具有可靠性高、管理簡便的優(yōu)點,并且具有靈活的擴展性,能夠提供PB到乃至EB級的存儲能力。

基于分布式架構(gòu)的軟件定義存儲技術(shù)把所有服務(wù)器的硬盤虛擬化成為若干個資源池,提供虛擬卷的創(chuàng)建/刪除和快照等功能,提供北向虛擬卷形式的存儲服務(wù)。

軟件定義存儲系統(tǒng)分為硬件設(shè)備層、引擎驅(qū)動層、特性功能層、服務(wù)接口層以及監(jiān)控管理層五個層面,具體的功能架構(gòu)圖如下所示:

圖 2-2 軟件定義存儲系統(tǒng)層級示意圖

1.硬件設(shè)備層

基于分布式架構(gòu)的軟件定義存儲系統(tǒng)通基于標準的X86服務(wù)器,配以不同的磁盤介質(zhì),包括傳統(tǒng)的機械磁盤HDD、SATA-SSD以及PCIE-SSD等,來提供不同等級的IOPS和帶寬等服務(wù)性能,同時10GE網(wǎng)卡的廣泛應(yīng)用也讓系統(tǒng)在傳輸和重建過程中具有更快的速度。

2.驅(qū)動引擎層

基于分布式架構(gòu)的軟件定義存儲系統(tǒng)采用分布式算法(例如CRUSH、DHT等)將數(shù)據(jù)趨近于隨機的分散于集群中的所有磁盤中,避免了數(shù)據(jù)存儲熱點的產(chǎn)生。數(shù)據(jù)的存放通過多副本提供高可用性,每個副本分散于不同的服務(wù)器上,并且根據(jù)業(yè)務(wù)需求能夠遵循強一致性。單個硬盤或節(jié)點的故障不影響業(yè)務(wù)的連續(xù)性,一旦發(fā)生故障,系統(tǒng)會自動重建。

3.特性功能層

基于分布式架構(gòu)的軟件定義存儲系統(tǒng)能夠?qū)崿F(xiàn)精簡配置,即支持提前劃分存儲卷的大小,但是加分配時按照數(shù)據(jù)寫入的規(guī)模自動增長,節(jié)省可用存儲空間。在卷級層面可以實現(xiàn)實時QoS,調(diào)整附加在卷上的限制屬性,同時為了業(yè)務(wù)的需要,系統(tǒng)也支持在線擴容和縮容,保證其他卷能夠獲取足夠的空間。除此之外,還有快照、容災(zāi)、備份等功能。

4.服務(wù)接口層

基于分布式的軟件定義存儲系統(tǒng)能夠提供多樣化的存儲服務(wù),支持基于開放Linux平臺的SCSI設(shè)備輸出,支持iSCSI接口協(xié)議,支持FC接口協(xié)議和基于FC的硬件。

5.運維管理層

基于分布式架構(gòu)的軟件定義存儲系統(tǒng)能夠通過向用戶提供可視化交互界面來完成系統(tǒng)的自動化配置、在線升級、告警、監(jiān)控和日志等功能。包括系統(tǒng)日志和操作日志。系統(tǒng)日志記錄重要的系統(tǒng)事件,操作日志記錄操作員行為,便于排錯、審計以及跟蹤。

2.2.2輕量化異構(gòu)存儲統(tǒng)一管理組件

輕量化異構(gòu)存儲統(tǒng)一管理組件基于Openstack Cinder組件,實現(xiàn)了對后端存儲資源的統(tǒng)一管理,來提供業(yè)務(wù)驅(qū)動、自動化的數(shù)據(jù)服務(wù)。輕量化異構(gòu)存儲統(tǒng)一管理組件將應(yīng)用與底層存儲解耦,解除設(shè)備廠商的綁定,打破異構(gòu)存儲設(shè)備之間的壁壘,將存儲功能應(yīng)用化,支持文件、塊、對象等類型存儲資源分配服務(wù)。

在云計算應(yīng)用場景下,從租戶的角度看來,將不同架構(gòu)的存儲封裝起來,無論是傳統(tǒng)的集中式存儲還是分布式存儲都進行統(tǒng)一管理并向上提供服務(wù)。

圖 2-3輕量化異構(gòu)存儲統(tǒng)一管理組件架構(gòu)示意圖

輕量化異構(gòu)存儲統(tǒng)一管理組件向下可以將各設(shè)備中可提供相同能力的存儲資源聚集起來,進行統(tǒng)一管理。這一功能基于Openstack的Cinder組件,通過不同存儲廠商提供的面向OpenStack的Cinder的驅(qū)動來獲取不同存儲設(shè)備的基本信息,包括磁盤類型、空間大小、服務(wù)能力等。在獲取不同的存儲設(shè)備信息之后,將性能、服務(wù)相近的存儲設(shè)備進行編排、分組,以供后續(xù)使用。

輕量化異構(gòu)存儲統(tǒng)一管理組件可以實現(xiàn)業(yè)務(wù)部署自動化、運維監(jiān)控智能化。其中,業(yè)務(wù)部署自動化是指支持運維人員編輯保存服務(wù)模板,目的是為了簡化創(chuàng)建調(diào)用存儲的流程。在申請存儲資源的過程中,僅需要輸入存儲容量和卷的數(shù)量即可完成資源的申請,統(tǒng)一管理組件會根據(jù)事先編排好的模板自動調(diào)用不同模塊來完成具體工作。同時該組件也支持運維監(jiān)控的智能化,即針對不同的存儲池,不同的虛擬卷,都能夠?qū)崟r監(jiān)控性能與故障,對存儲卷進行有效性、空間、數(shù)據(jù)可用性等方面進行的監(jiān)控管理;支持在存儲系統(tǒng)的各級軟硬件產(chǎn)生故障時,由控制臺向管理員告警提示;支持卷級的QoS編排,保證不同租戶之間的服務(wù)質(zhì)量。

輕量化異構(gòu)存儲統(tǒng)一管理組件北向通過REST接口與虛擬化平臺或者容器云平臺完成兼容,實現(xiàn)存儲資源服務(wù)的統(tǒng)一發(fā)放。OpenStack的不同組件如Cinder、Nova等與異構(gòu)存儲管理組件,完成卷的劃分與掛載,實現(xiàn)云硬盤的分配或者虛擬機實例創(chuàng)建在云硬盤中;Kubernets中Persist Volume 存儲系統(tǒng)則通過Cinder提供的插件,實現(xiàn)應(yīng)用和服務(wù)的狀態(tài)保存。

3 下一代云存儲系統(tǒng)特性

3.1高性能

下一代云存儲系統(tǒng)基于主流的開源分布式存儲技術(shù)以及開源云平臺中的存儲管理模塊,充分滿足國內(nèi)企業(yè)自主可控的要求。下一代云存儲系統(tǒng)能夠勝任高并發(fā)、高效率的需求,與主流NVMe閃存相結(jié)合,突破單點性能瓶頸,適應(yīng)多種場景需求。

3.1.1 I/O并行提升性能

下一代云存儲系統(tǒng)提供了類似于條帶化技術(shù)的并行I/O功能,滿足支持業(yè)務(wù)開展的高性能需求。獨立存儲設(shè)備的吞吐量限制,極大影響了存儲的性能和伸縮性,所以存儲系統(tǒng)一般都支持把連續(xù)的信息分片存儲于多個設(shè)備以增加吞吐量和性能。在下一代云存儲系統(tǒng)中,數(shù)據(jù)會均勻分布到存儲池中所有的硬盤上。當某臺應(yīng)用服務(wù)器進行讀寫時,集群中所有的節(jié)點都會對其提供服務(wù),這樣能很好地保證IO并發(fā)。

3.1.2閃存的應(yīng)用與分級存儲

下一代云存儲系統(tǒng)支持各類接口閃存介質(zhì),通過閃存介質(zhì)的使用,來提供高性能的IO。當前閃存存儲開始進入開始逐漸進入數(shù)據(jù)中心市場,如表3-1所示,閃存相比HHD具有如下差別:

表 3-1 閃存與HDD特性對比

固態(tài)閃存SSD作為新的存儲技術(shù),相比HDD具有超快的數(shù)據(jù)訪問速度,隨機數(shù)據(jù)訪問速度比HDD快100多倍,響應(yīng)時間從毫秒級縮短到亞毫秒級(0.1ms),將IOPS從HDD的200-300提升至數(shù)萬。SSD的高性能充分滿足了存儲系統(tǒng)I/O負荷瓶頸帶來的困擾。

SSD在下一代云存儲系統(tǒng)中的應(yīng)用有兩種不同的方式,均能提升性能,一是作為讀寫緩存,二是作為數(shù)據(jù)盤直接存儲數(shù)據(jù)。

在第一種情況下,下一代云存儲系統(tǒng)采用緩存算法對熱點數(shù)據(jù)進行優(yōu)化,使熱點數(shù)據(jù)盡可能駐留在高速閃存存儲上,以提升系統(tǒng)性能;而對于訪問不頻繁的數(shù)據(jù)則從高速存儲中遷移到低速機械磁盤做持久化存儲。這種方式對于大量讀取場景下的業(yè)務(wù)系統(tǒng)具有較大的提升;或者將高速存儲設(shè)備作為全局緩存,數(shù)據(jù)先寫入高速存儲中,在適當?shù)臅r機再將數(shù)據(jù)同步入后端存儲中,這種方式同樣可以在滿足性能要求的前提下明顯降低存儲成本。

圖 3-1 下一代云存儲系統(tǒng)的多級緩存

面對對性能有強烈需求的業(yè)務(wù)場景,第二種全閃存模式能夠大幅度增強對各類高要求負載的管理,其中包括業(yè)務(wù)關(guān)鍵型應(yīng)用、核心業(yè)務(wù)系統(tǒng)等等。這種情況下,可以充分發(fā)揮閃存存儲的高性能讀寫,但是成本較高。

3.2高可靠性

3.2.1數(shù)據(jù)多副本存儲

下一代云存儲系統(tǒng)采取多副本備份機制替換傳統(tǒng)的RAID模式來保證核心數(shù)據(jù)的完整性。同一個數(shù)據(jù),在系統(tǒng)的不同節(jié)點的不同磁盤上會有大于等于三個副本的存儲,這樣,當節(jié)點或者磁盤產(chǎn)生故障的時候,數(shù)據(jù)可以從冗余的副本中讀取并恢復(fù)。同時所有的數(shù)據(jù)均勻的分布在所有的節(jié)點上以達到負載均衡的效果,避免局部熱點的出現(xiàn)。在下一代云存儲系統(tǒng)具體部署時,所有的副本采取跨機架同步分布策略,確保單一機架掉電后的數(shù)據(jù)可用性。

3.2.2保持數(shù)據(jù)一致

下一代云存儲系統(tǒng)支持強一致性和最終一致性兩種模型,面向不同的業(yè)務(wù)場景需求。保證租戶成功寫入一份數(shù)據(jù)時,幾個副本都保持一致,在讀取數(shù)據(jù)時,無論從任何一個副本上進行,都能夠保證取到最新的、可用的數(shù)據(jù)。強一致性情況下,保證對副本的讀寫操作會產(chǎn)生交集,從而保證可以讀取到最新版本;無論更新操作實在哪一個副本執(zhí)行,之后所有的讀操作都要能獲得最新的數(shù)據(jù)。最終一致性情況下,保證用戶最終能夠讀取到某操作對系統(tǒng)特定數(shù)據(jù)的更新,針對的是讀寫都比較頻繁的場景,是一個比較折中的策略。

3.2.3服務(wù)質(zhì)量保證(QoS)

無論任何行業(yè),業(yè)務(wù)的連續(xù)性與高質(zhì)量是主流需求,下一代云存儲系統(tǒng)提供了多種場景下的服務(wù)質(zhì)量保證手段:

1、提供面向卷級的服務(wù)器訪問QoS,充分避免非關(guān)鍵應(yīng)用占用過多帶寬;

2、在數(shù)據(jù)較長時間處于不一致的狀態(tài)時,自動觸發(fā)數(shù)據(jù)重建,在此過程中支持QoS,保證重建過程中占用過多帶寬,避免影響關(guān)鍵業(yè)務(wù)的穩(wěn)定運行。

3.2.4副本安全邊界

規(guī)模龐大的分布式系統(tǒng),必須考慮多故障的安全隱患,以統(tǒng)計學(xué)的規(guī)律和概率分布來看,磁盤數(shù)量越多,磁盤發(fā)生故障的概率越大,甚至幾個磁盤同時發(fā)生故障。不斷的故障會造成系統(tǒng)大部分資源都用于數(shù)據(jù)重建,影響業(yè)務(wù)的穩(wěn)定運行。因此,下一代云存儲系統(tǒng)中,為保證系統(tǒng)達到預(yù)期的可靠性目標,必須在保證高并發(fā)的前提下,盡量縮小副本分布的磁盤范圍,即設(shè)定安全邊界,以防止數(shù)據(jù)丟失的風(fēng)險陡然上升。

副本安全邊界有兩種模式,一是基于池級的安全邊界管理,設(shè)定存儲池最大跨越的磁盤數(shù)量;二是基于卷級的安全邊界管理,即設(shè)定虛擬卷最大跨越的磁盤數(shù)量。

3.3可擴展性

下一代云存儲系統(tǒng)支持大規(guī)模擴展,最低三節(jié)點,直至上千節(jié)點,隨著存儲設(shè)備數(shù)量的增長,整個系統(tǒng)的吞吐量和IOPS等性能指標也同時會隨之增長。并且容量和性能呈線性擴展。一旦需求有所變化,即可通過模塊化的方式添加更多的存儲資源和計算資源。在擴容和縮容的過程中間,分布式算法保證了數(shù)據(jù)的負載均衡,結(jié)合自動的QoS策略,在用戶無感知的情況下,保證不會與現(xiàn)有業(yè)務(wù)產(chǎn)生影響,保障系統(tǒng)的穩(wěn)定運行。

圖 3-2下一代云存儲系統(tǒng)的橫向擴展

3.4易管理性

3.4.1兼容第三方管理監(jiān)控接口

業(yè)界主流Web管理界面主要包括SOAP和REST標準,其中后者架構(gòu)更為輕便,新生系統(tǒng)多采用后者。VMware體系至今仍以SOAP標準為主,而面向OpenStack的接口則遵循REST標準。下一代云存儲系統(tǒng)所提供的接口能夠兼容這兩種標準。

3.4.2虛擬化和私有云應(yīng)用支持

下一代云存儲系統(tǒng)支持主流操作系統(tǒng),可以部署在RedHat、SUSE、CentOS以及Ubuntu上。虛擬化平臺則支持VMware、Hyper-V以及KVM等。支持通過RESTful API標準接口與OpenStack 的Cinder組件和SWFIT組件進行交互,向私有云應(yīng)用提供存儲支持。

3.5高級功能

3.5.1自動精簡配置

下一代云存儲系統(tǒng)支持自動精簡配置功能,在創(chuàng)建邏輯卷時,并不真實占用實際物理資源,而是在邏輯卷使用過程中,按需實時分配實際物理空間資源,節(jié)約了存儲資源,簡化了存儲規(guī)劃難度。在存儲系統(tǒng)的使用過程中,租戶在資源申請階段往往無法準確預(yù)估在業(yè)務(wù)廣泛展開后的具體需求,因而會多申請部分的存儲空間作為緩沖,而這部分資源往往無法做到物盡其用,存在了大量的浪費現(xiàn)象。在實際使用中,可以設(shè)置容量閾值,當剩余存儲容量低于閾值時,進行提示。

圖 3-3 下一代云存儲精簡配置

3.5.2卷級快照和鏈接克隆

下一代云存儲系統(tǒng)提供卷級的快照功能,進行增量備份,并能根據(jù)需要快速恢復(fù)到每一個備份點,對業(yè)務(wù)中斷后提供快速的恢復(fù)功能保證,加強系統(tǒng)整體的連續(xù)性,提供了業(yè)務(wù)質(zhì)量保證的手段與方法。

同時此系統(tǒng)還支持鏈接克隆的機制,基于一個快照創(chuàng)建出多個克隆卷,創(chuàng)建出來的克隆卷與原始卷中的數(shù)據(jù)內(nèi)容一致,克隆卷的修改不會影響原始卷,用戶既可以通過快照來還原卷以恢復(fù)丟失的數(shù)據(jù),也可以從快照來創(chuàng)建模板,直接啟動新的虛擬機以保證業(yè)務(wù)的連續(xù)性。

圖 3-4下一代云存儲系統(tǒng)采用增量快照

3.5.3全局負載均衡

下一代云存儲系統(tǒng)采用的分布式架構(gòu)使得數(shù)據(jù)的IO操作均勻分布在不同服務(wù)器的不同硬盤上,避免了局部熱點的出現(xiàn),實現(xiàn)全局的負載均衡。

系統(tǒng)將數(shù)據(jù)塊打散存放在不同服務(wù)器的不同硬盤上,冷熱不均的數(shù)據(jù)均勻分布在不同的服務(wù)器上,不會出現(xiàn)集中的熱點;數(shù)據(jù)的分配算法保證主副本與其余副本在不同服務(wù)器和不同硬盤上均勻分布;同時,在節(jié)點或者硬盤故障時,在數(shù)據(jù)重建的過程中,也實現(xiàn)全局負載均衡。

4 下一代云存儲系統(tǒng)部署方案

4.1部署拓撲

數(shù)據(jù)中心內(nèi)部系統(tǒng)的核心要求是“穩(wěn)定可靠”,一是指系統(tǒng)在運行過程中有能力提供連續(xù)可靠的服務(wù),長時間無故障運行;二是指當故障發(fā)生之后,有能力快速定位,及時排查,故障范圍不蔓延。

分離式部署的方式,使得系統(tǒng)與云平臺系統(tǒng)相獨立,避免了計算和存儲爭搶CPU/內(nèi)存/網(wǎng)絡(luò)等物理資源,一旦某一方資源需求驟升導(dǎo)致的另一方資源枯竭,從而影響性能并在整個基礎(chǔ)架構(gòu)中產(chǎn)生的漣漪效應(yīng);和在超融合部署方式在集群規(guī)模較大后,網(wǎng)絡(luò)、硬盤、服務(wù)器發(fā)生故障的概率都會增大;以及數(shù)據(jù)重刪、壓縮、加密糾刪碼等功能、故障的自修復(fù)和數(shù)據(jù)功能實現(xiàn)都會消耗一定的系統(tǒng)資源,導(dǎo)致性能下降和抖動等問題。

分離式部署相比超融合方式的優(yōu)點:

表4-1分離式部署與超融合的對比

從業(yè)務(wù)穩(wěn)定、系統(tǒng)可靠的角度出發(fā),下一代云存儲系統(tǒng)采用分離式部署的方式,即存儲系統(tǒng)服務(wù)器獨立于計算資源服務(wù)器。這一部署方式使得存儲與計算相獨立,因而兩者之間的故障不會相互影響,易于后期運維故障排查;并且計算與存儲的配比可以根據(jù)業(yè)務(wù)場景的需求自行調(diào)配,靈活程度高,如果需要擴展資源的話,也可以單獨對存儲進行擴展;同時,計算與存儲分層管理,也清晰了管理權(quán)限。具體部署架構(gòu)如下所示:

圖4-1下一代云存儲系統(tǒng)物理部署方案

其中,存儲管理節(jié)點需要在兩個以上的節(jié)點上部署以保證高可用,同樣,輕量化異構(gòu)存儲統(tǒng)一管理組件也需要在兩個節(jié)點上進行部署來提供高可用。

4.2硬件規(guī)格

下一代云存儲系統(tǒng)基于標準的X86服務(wù)器,軟硬件解耦,解除廠商綁定,支持設(shè)備利舊,保護歷史投資。下一代云存儲系統(tǒng)對硬件平臺具有如下基本要求:

1.運行在標準的X86服務(wù)器上;

2.基于分布式架構(gòu)的軟件定義存儲系統(tǒng)集群內(nèi)部服務(wù)器硬盤數(shù)量必須一致;

3.軟件定義存儲正常運行需要占用單個服務(wù)器的處理器的核心數(shù)量需大于

4+N(N是硬盤個數(shù),一個硬盤對應(yīng)一個核心),例如:單個服務(wù)器5個硬盤,共計需要4+5=9個核心,則服務(wù)器需配置12核處理器;輕量化異構(gòu)存儲統(tǒng)一管理服務(wù)需要8核以上的處理器;

4.軟件定義存儲正常運行的服務(wù)器的物理內(nèi)存需滿足如下條件:

大于10GB +(N*2GB)(N是服務(wù)器上所有硬盤總計存儲容量,單位TB),例如:單個服務(wù)器5個硬盤,每個硬盤4TB,則共計需要10GB+20GB*2=40GB,服務(wù)器需要配置64GB物理內(nèi)存;輕量化異構(gòu)存儲統(tǒng)一管理服務(wù)需要16GB以上的物理內(nèi)存;一般情況下,隨著內(nèi)存容量的增大,性能也會越好;

5.分布式架構(gòu)的存儲集群性能很大程度上取決于存儲介質(zhì)的有效選擇。下一代云存儲系統(tǒng)內(nèi)部服務(wù)器須有板載PCIe插槽,支持使用快速的SSD硬盤作為緩存來為HDD加速,或者直接采用全閃存架構(gòu)。使用SSD作為緩存加速的場景下,通常建議一個SSD對應(yīng)3~4塊HDD。使用PCIe/NVMe SSD作為緩存加速的場景下,通常建議一個SSD對應(yīng)8~10塊HDD。

6.服務(wù)器需要四個網(wǎng)口支持雙平面,并且兩兩綁定(配置網(wǎng)口聚合(Bond),模式為802.3ad(Bond模式為4),此模式提供了容錯性,提供高網(wǎng)絡(luò)連接的可用,同時提供了相當?shù)男阅堋>唧w的存儲平面帶寬要求不低于10Gbps。

4.3組網(wǎng)方案及網(wǎng)絡(luò)規(guī)劃

由于數(shù)據(jù)的機密性與敏感性,業(yè)務(wù)相互之間的隔離對于在數(shù)據(jù)中心內(nèi)部非常重要。在數(shù)據(jù)中心內(nèi)部,數(shù)據(jù)的訪問需要受到嚴格控制,必須進行業(yè)務(wù)與管理的網(wǎng)絡(luò)相互隔離。管理網(wǎng)段與租戶網(wǎng)絡(luò)三層互通,租戶通過管理網(wǎng)段訪問下一代云存儲系統(tǒng)的Portal界面并下發(fā)增、刪、檢、查等管理指令;業(yè)務(wù)網(wǎng)段則負責(zé)業(yè)務(wù)數(shù)據(jù)的傳輸,當存儲空間以卷的形式通過業(yè)務(wù)網(wǎng)段掛載給前端業(yè)務(wù)系統(tǒng),并在此網(wǎng)段上提供服務(wù)。

按照分布式存儲的范式,下一代云存儲系統(tǒng)的管理和業(yè)務(wù)分屬兩個網(wǎng)段,互相獨立,互不影響,數(shù)據(jù)傳輸只在業(yè)務(wù)網(wǎng)段上進行,管理與業(yè)務(wù)通過服務(wù)器通信,無法通過網(wǎng)絡(luò)互訪。

圖4-2下一代云存儲系統(tǒng)網(wǎng)絡(luò)拓撲示意圖

在業(yè)務(wù)網(wǎng)段上,規(guī)劃每個服務(wù)器由兩根網(wǎng)線分別連接到兩臺交換機。在管理網(wǎng)段上,規(guī)劃每個服務(wù)器由兩根網(wǎng)線分別連接兩臺交換機。通過節(jié)點級的雙網(wǎng)卡主備以及集群級的交換機主備來提供網(wǎng)絡(luò)高可靠性。兩個網(wǎng)段使用獨立的物理網(wǎng)卡進行隔離,在條件不滿足的情況下使用不同VLAN隔離。

依據(jù)木桶效應(yīng),一個系統(tǒng)的整體性能上限往往是由系統(tǒng)中的薄弱環(huán)節(jié)決定。當集群采用混合存儲的配置時,標準的10Gbps高速網(wǎng)絡(luò)能夠滿足相當規(guī)模的集群在負載均衡、數(shù)據(jù)重建時的壓力;然而,當集群采用全閃存架構(gòu)時,硬盤性能將大幅提升,此時標準的10Gbps網(wǎng)絡(luò)有可能會成為系統(tǒng)中的短板,56 Gbps InfiniBand網(wǎng)絡(luò)乃至更高速的100 Gbps網(wǎng)絡(luò),近似無阻塞通信,突破存儲系統(tǒng)內(nèi)部交換的瓶頸。在InfiniBand網(wǎng)絡(luò)中,通信時延控制于納秒級,計算存儲信息及時傳遞,配合SSD的高速讀寫,具有可觀的性能。

5 下一代云存儲系統(tǒng)應(yīng)用場景

5.1下一代云存儲系統(tǒng)和虛擬化平臺

OpenStack提供標準的API接口來管理整個底層架構(gòu)資源。OpenStack 提供塊設(shè)備存儲服務(wù)的組件Cinder,本質(zhì)上是一個資源管理組件,將后端不同的存儲設(shè)備進行封裝,向外提供統(tǒng)一的API,本質(zhì)上并不是一個存儲系統(tǒng),而是使用插件的方式,結(jié)合不同后端存儲的驅(qū)動提供存儲服務(wù),核心是對卷的各種操作與管理。包括通過虛擬卷的方式為虛擬機提供云硬盤,或者可以用于存儲并啟動虛擬機實例。在虛擬機的各個生命周期中,具體能夠?qū)崿F(xiàn)如下幾種操作:

1、在創(chuàng)建虛擬機的時候,需要對卷進行創(chuàng)建和掛載操作;

2、在使用虛擬機的時候,需要對卷進行擴展、備份操作;

3、在刪除虛擬機的時候需要對卷進行分離、刪除操作。

通過Cinder組件,用戶可以方便、高效地管理虛擬機數(shù)據(jù)。下圖展示了Cinder組件使用后端存儲的示意圖。計算虛擬化組件Nova與存儲管理組件Cinder之間通過RabbitMQ消息隊列進行通信。:

具體的調(diào)用流程如下:

1、用戶通過頁面或者命令行發(fā)出存儲管理請求,并通過Cinder-API發(fā)出;

2、Cinder-API通過RabbitMQ消息隊列將此消息加入Cinder-scheduler中,依次進行調(diào)度;

3、Cinder-scheduler通過RabbitMQ消息隊列與Cinder-Volume通信,將創(chuàng)建、掛載等卷管理請求進行傳遞;

4、Cinder-volume收到存儲資源請求之后,向后端的下一代云存儲系統(tǒng)通信,進行操作,執(zhí)行請求。

自此,完成了用戶的一個存儲資源管理操作請求

圖5-1下一代云存儲系統(tǒng)在OpenStack中的應(yīng)用

5.2下一代云存儲系統(tǒng)與容器云平臺

容器虛擬化技術(shù)已經(jīng)成為一種被大家廣泛認可的服務(wù)器資源共享方式,容器技術(shù)可以在按需構(gòu)建容器技術(shù)操作系統(tǒng)實例的過程當中為系統(tǒng)管理員提供極大的靈活性。容器技術(shù)為應(yīng)用程序提供了隔離的運行空間,每個容器內(nèi)都包含一個獨享的完整用戶環(huán)境空間,并且一個容器內(nèi)的變動不會影響其他容器的運行環(huán)境。

下一代云存儲系統(tǒng)通過容器引擎卷插件或者編排調(diào)度的API接受北向的創(chuàng)建、刪除、加載、卸載和遷移數(shù)據(jù)卷等實際的存儲操作請求,并傳遞給底層的數(shù)據(jù)平面去實現(xiàn)。Kubernetes作為其集群管理工具,基于其插件化的設(shè)計,將有狀態(tài)的數(shù)據(jù)保存在以 Persistent Volume(PV)為基礎(chǔ)的存儲系統(tǒng)。

責(zé)任編輯:武曉燕 來源: 電子商務(wù)電子支付國家工程實驗室
相關(guān)推薦

2015-07-06 15:10:03

2014-03-11 12:51:20

2025-04-10 17:32:46

2013-07-27 21:28:44

2014-10-17 16:45:19

2017-11-10 10:15:08

云存儲架構(gòu)系統(tǒng)

2014-05-09 13:18:54

iOS移動互聯(lián)網(wǎng)

2013-06-27 11:21:17

2015-12-03 17:38:18

云桌面

2024-05-06 07:39:30

CubeFS云原生存儲平臺

2014-12-01 17:20:20

2010-09-01 17:05:04

無線網(wǎng)絡(luò)

2009-10-29 17:05:57

無線接入技術(shù)

2020-09-25 19:03:17

Omdia5G運營商

2020-09-27 17:27:58

邊緣計算云計算技術(shù)

2009-03-17 09:37:00

DSL技術(shù)TDDEDSL

2020-09-16 10:28:54

邊緣計算云計算數(shù)據(jù)中心

2025-01-03 09:24:10

模型架構(gòu)論文

2015-09-29 11:24:23

云桌面
點贊
收藏

51CTO技術(shù)棧公眾號