當前基于對象存儲的主流技術(shù)產(chǎn)品之架構(gòu)比較分析
對象存儲的優(yōu)勢
存儲局域網(wǎng)(SAN)和網(wǎng)絡(luò)附加存儲(NAS)是目前兩種主流傳統(tǒng)的網(wǎng)絡(luò)存儲架構(gòu),而對象存儲(Object-based Storage)是一種新的網(wǎng)絡(luò)存儲架構(gòu)。1999年成立的全球網(wǎng)絡(luò)存儲工業(yè)協(xié)會(SNIA)的對象存儲設(shè)備工作組發(fā)布了ANSI的X3T10標準??傮w上來講,對象存儲綜合了NAS和SAN的優(yōu)點,同時具有SAN的高速直接訪問和NAS的分布式數(shù)據(jù)共享等優(yōu)勢,提供了具有高性能、高可靠性、跨平臺以及安全的數(shù)據(jù)共享的存儲體系結(jié)構(gòu)。
隨著非結(jié)構(gòu)化數(shù)據(jù)爆發(fā)式的增長,傳統(tǒng)的SAN和NAS存儲架構(gòu)不能應(yīng)對數(shù)據(jù)爆發(fā)帶來的問題?;谄浔馄交⑼卣剐詮姷慕Y(jié)構(gòu)特點,對象存儲成為非結(jié)構(gòu)化數(shù)據(jù)存儲的***解決方案。通過對象存儲替代傳統(tǒng)的SAN和NAS 存儲,極大提升了非結(jié)構(gòu)化數(shù)據(jù)訪問和存儲的效率。對象存儲具有分布式存儲的所有優(yōu)點,靈活的拓展性,元數(shù)據(jù)的管理;通過其版本管理的強大功能,對象存儲有效地規(guī)避了人為操作的邏輯錯誤。
在性能方面,SAN存儲在處理結(jié)構(gòu)化數(shù)據(jù)有著不可代替的地位;小容量非結(jié)構(gòu)化數(shù)據(jù)共享正是NAS存儲發(fā)揮作用的場景;對于海量非結(jié)構(gòu)化數(shù)據(jù),對象存儲的性能優(yōu)勢不可比擬。此外,對象存儲成本較SAN和NAS有很大優(yōu)勢,應(yīng)對海量文件,采用對象存儲替代傳統(tǒng)集中式存儲能節(jié)省不小的存儲成本,避免了資源浪費。
目前,人們需求的數(shù)據(jù)越來越多,而其中絕大部分都是非結(jié)構(gòu)化數(shù)據(jù)。在未來幾年,非結(jié)構(gòu)化更會呈現(xiàn)指數(shù)型增長,對象存儲的需求和市場會越來越大,互聯(lián)網(wǎng)和傳統(tǒng)行業(yè)都離不開對象存儲的發(fā)展。
當前對象存儲主流技術(shù)和產(chǎn)品
目前,在對象存儲行業(yè)存在兩大陣營,分別為開源技術(shù)和商用產(chǎn)品。開源技術(shù)主要以Ceph為代表,Ceph是一種開源的分布式對象、塊和文件存儲平臺。商業(yè)產(chǎn)品中主要以IBM、EMC和HDS三家傳統(tǒng)存儲廠商為市場主流。
兩大陣營:開源和商業(yè)
開源技術(shù)主要依靠開源社區(qū)的貢獻,以Ceph為代表。Ceph 是一個開源的分布式存儲系統(tǒng),包括對象存儲、塊設(shè)備、文件系統(tǒng)。它可靠性高、管理方便、伸縮性強,能夠輕松應(yīng)對PB、EB級別數(shù)據(jù)。Ceph 存儲體系中,核心為 RADOS,它是一個高可用分布式對象存儲,該模塊負責(zé)對集群眾多 OSD 的運行,保證存儲系統(tǒng)的可用性,為應(yīng)用提供 RESTful 類型的對象存儲接口,其接口方式支持 S3 和 Swift 兩種類型。
近些年,越來越多的企業(yè)嘗試使用Ceph存儲,并基于Ceph建立統(tǒng)一的對象存儲資源池,用來解決近幾年讓企業(yè)頭疼的CM內(nèi)容管理平臺。企業(yè)采用Ceph搭建對象存儲框架,主要考慮到Ceph作為相對成熟的開源軟件,其技術(shù)成本相對低廉;Ceph在開源領(lǐng)域被廣大客戶接受和追求,用戶之間可以相互溝通技術(shù)細節(jié)和問題處理方法,擁有廣大客戶群體也是Ceph被越來越多企業(yè)使用的出發(fā)點之一。
商業(yè)陣營主要由成熟的存儲廠商研發(fā)產(chǎn)品。商業(yè)產(chǎn)品依靠其強大的研發(fā)團隊不斷根據(jù)客戶需求和使用反饋對產(chǎn)品進行更新和換代,商業(yè)陣營深入客戶,發(fā)掘客戶并能夠根據(jù)客戶的特點開發(fā)存儲產(chǎn)品。商業(yè)產(chǎn)品更符合客戶要求,操作簡便,易維護,商業(yè)團隊會為客戶的正常運行保駕護航。
從架構(gòu)上來講,開源技術(shù)和商業(yè)產(chǎn)品均采用分布式架構(gòu),可靈活進行橫向擴展,滿足用戶對大數(shù)據(jù)量的需求。
以Ceph為代表的開源技術(shù),核心為RADOS,RADOS的架構(gòu)圖如下圖,由Monitor+OSD節(jié)點搭建而成。
商業(yè)產(chǎn)品通常采用訪問節(jié)點+計算節(jié)點+存儲節(jié)點的部署方式,更具扁平化的結(jié)構(gòu),不同節(jié)點各司其職,有機構(gòu)成整個對象存儲的系統(tǒng)。開源對象存儲技術(shù)以純軟件方式部署,安裝軟件于客戶的服務(wù)器中,通過調(diào)試進行對外服務(wù);商業(yè)產(chǎn)品既可單獨采購純軟件方式,更可以采購一體機方式,節(jié)省了自身部署的復(fù)雜度。
開源技術(shù)目前對跨站點部署支持有限,還不能***的進行跨站點部署;商業(yè)產(chǎn)品跨站點技術(shù)更為成熟,均可進行跨站點跨數(shù)據(jù)中心的部署,能夠為客戶提供容災(zāi)方案,避免站點級單點故障,安全性更高。數(shù)據(jù)可靠性方面開源技術(shù)采用多副本技術(shù),通常采用三副本,這樣的架構(gòu)帶來了存儲成本的上升;商業(yè)產(chǎn)品采用糾刪碼技術(shù),既能避免邏輯錯誤,也能節(jié)省存儲開銷成本。
運行維護方面,開源技術(shù)主要依靠客戶的運維能力,需要很強的應(yīng)急處理能力,運維成本相對較高;商業(yè)產(chǎn)品由廠商高水平團隊對客戶負責(zé),可以根據(jù)客戶的情況“因地制宜”,制定最合適的運維團隊,及時有效的處理應(yīng)急情況,保障客戶的系統(tǒng)穩(wěn)定運行。
商業(yè)陣營幾大產(chǎn)品
商業(yè)產(chǎn)品陣營中主要以IBM、EMC、HDS為代表,擁有豐富的存儲開發(fā)經(jīng)驗以及完整的開發(fā)和維護團隊。
IBM的對象存儲為IBM Cloud Object Storage,簡稱COS,被IBM收購以前叫Clever Safe。架構(gòu)方面采用管理節(jié)點+訪問節(jié)點+存儲節(jié)點的完全分布式架構(gòu),數(shù)據(jù)在訪問節(jié)點進行切片,平均分布在存儲節(jié)點的磁盤中,更細顆粒度的保護數(shù)據(jù)完整性;硬件方面可以采用IBM定制機,也可以采用客戶自身的經(jīng)IBM認證的X86服務(wù)器,靈活高效,也可以對服務(wù)器進行利舊處理;COS容量擴展方面極其優(yōu)秀,集群可擴展到EB級別,滿足客戶的未來發(fā)展需求;支持跨站點的部署方式;數(shù)據(jù)保護方面采用靈活多變的糾刪碼技術(shù),客戶可根據(jù)自身的需求調(diào)整數(shù)據(jù)可靠和容量利用的***分配;支持數(shù)據(jù)加密、多版本管理以及防篡改的高級功能,有效保障數(shù)據(jù)的可靠性;協(xié)議方面除支持Swift和S3協(xié)議外,還支持IBM特有的simple object的接口協(xié)議;數(shù)據(jù)讀寫性能可達到數(shù)Gb/s的讀寫速度;Gartner和IDC排名連續(xù)多年***。
EMC的對象存儲為ECS,架構(gòu)采用分布式云存儲平臺,通過軟件實現(xiàn)X86服務(wù)器系統(tǒng)的大規(guī)模拓展管理,***容量可達PB級別;支持跨站點的部署方式;提供兩種糾刪碼技術(shù),12D+4P和10D+2P兩種方式,對應(yīng)的容量開銷分為1.33和1.2;協(xié)議方面支持Swift和S3兩種方式;市場占有率位于***象限;
HDS的對象存儲為HCP,架構(gòu)采用典型的分布式一體化方式,采用管理計算節(jié)點+存儲節(jié)點的部署方式;HCP硬件配置靈活多樣,整體存儲節(jié)點通常能擴展至400PB;HCP支持多站點部署的同時,可以實現(xiàn)站點間數(shù)據(jù)傳輸和容災(zāi)備份;數(shù)據(jù)保護方面采用20D+6P的糾刪碼技術(shù),能夠提供77%的容量利用率;具備多版本、重復(fù)對象刪除和壓縮功能;協(xié)議方面支持Swift和S3兩種方式;數(shù)據(jù)傳輸方面HCP提供萬兆網(wǎng)絡(luò),可提供GB級別的處理能力;Gartner排名連續(xù)三年排名前三。
金融行業(yè)存儲規(guī)劃選型分析
倘若企業(yè)非結(jié)構(gòu)化數(shù)據(jù)未來增長緩慢,目前的存儲結(jié)構(gòu)滿足業(yè)務(wù)響應(yīng)的需求,尚可以采用NAS存儲。在傳統(tǒng)的金融行業(yè)中,錄音錄像系統(tǒng)以及內(nèi)容管理平臺系統(tǒng)的推廣帶來了海量非結(jié)構(gòu)化數(shù)據(jù)飛速增長,傳統(tǒng)的NAS存儲自身為樹形結(jié)構(gòu),響應(yīng)速度不能滿足業(yè)務(wù)發(fā)展,此時,對象存儲是企業(yè)的***選擇。
新興的互聯(lián)網(wǎng)金融行業(yè)根據(jù)其業(yè)務(wù)特點,更多采用開源技術(shù),通過自身技術(shù)人員的運維能力維護開源產(chǎn)品的運行,降低運維成本。在傳統(tǒng)金融行業(yè)中,非結(jié)構(gòu)化數(shù)據(jù)量巨大且繼續(xù)呈現(xiàn)增長趨勢,業(yè)務(wù)連續(xù)性需達到監(jiān)管要求,企業(yè)普遍采用商業(yè)產(chǎn)品。傳統(tǒng)金融行業(yè)非結(jié)構(gòu)化文件達到億級別,數(shù)據(jù)量普遍達到PB級別,有些企業(yè)未來會達到EB級別,采用商業(yè)產(chǎn)品才可以滿足企業(yè)需求;商業(yè)產(chǎn)品擁有完整的技術(shù)支撐,提升企業(yè)的業(yè)務(wù)連續(xù)性和數(shù)據(jù)可靠性。良好的UI操作界面也是商業(yè)產(chǎn)品被企業(yè)接受的另一優(yōu)點。成熟的體系架構(gòu)、靈活的容量拓展、糾刪技術(shù)的運用,是商業(yè)對象存儲未來占據(jù)更多市場的堅實基礎(chǔ),非結(jié)構(gòu)化數(shù)據(jù)性能問題隨著對象存儲的推廣找到了合適的解決辦法。
企業(yè)應(yīng)根據(jù)業(yè)務(wù)特點進行合理的存儲使用規(guī)劃。傳統(tǒng)的數(shù)據(jù)庫型結(jié)構(gòu)化數(shù)據(jù)采用SAN存儲,達到業(yè)務(wù)的快速響應(yīng);少量樹形結(jié)構(gòu)的數(shù)據(jù)可采用NAS存儲,達到業(yè)務(wù)數(shù)據(jù)共享的目標;海量非機構(gòu)化數(shù)據(jù)采用對象存儲,由于對象存儲使用S3或Swift訪問協(xié)議,傳統(tǒng)的業(yè)務(wù)系統(tǒng)需要調(diào)整業(yè)務(wù)訪問端口,企業(yè)可采用“兩步走”的步驟,對于新開發(fā)的業(yè)務(wù)系統(tǒng),對非結(jié)構(gòu)化數(shù)據(jù)的訪問直接采用對象存儲的方式,對于存量的業(yè)務(wù)系統(tǒng)逐漸調(diào)整訪問端口。
合理的存儲使用規(guī)劃一定會為企業(yè)帶來長久的收益,存儲性能得到了提升,業(yè)務(wù)響應(yīng)時間得到了有效的提高,對企業(yè)的服務(wù)水平和口碑具有良好的推動作用。合理的存儲規(guī)劃為企業(yè)降低了存儲開銷成本,根據(jù)業(yè)務(wù)特點和需求使用合理的存儲,避免了SAN存儲的浪費,同時采用對象存儲對企業(yè)的科技創(chuàng)新開辟了嶄新的道路。
本文作者:張森,就職于北京農(nóng)商銀行運維中心,主要負責(zé)存儲相關(guān)方面運維和項目建設(shè),研究對象存儲以及存儲虛擬化整合先進技術(shù)和案例。