傳統(tǒng)存儲與分布式存儲恩仇錄
一、傳統(tǒng)存儲系統(tǒng)的前世今生
1、一路走來的存儲硬件
想要了解傳統(tǒng)存儲系統(tǒng)的前世今生,從存儲設(shè)備開始是個不錯的選擇,關(guān)于存儲硬件,常見的無非是硬盤,內(nèi)存,固態(tài)硬盤,閃存等,硬盤和內(nèi)存是相對出現(xiàn)比較早的存儲介質(zhì)。
早期的硬盤很龐大,單位面積存儲數(shù)據(jù)量很有限,但是隨著技術(shù)的發(fā)展,存儲密度逐漸增加,而存儲的成本卻逐年下降。在早期,存儲系統(tǒng)主要關(guān)注的點(diǎn)在于如何降低存儲設(shè)備的造價,如何增加單位面積上的存儲量。隨著存儲技術(shù)的提升,存儲硬件的發(fā)展速度趕上了通信以及CPU的發(fā)展速度。存儲關(guān)鍵技術(shù)有所轉(zhuǎn)變,上層的存儲管理系統(tǒng)所占整體存儲系統(tǒng)的成本越來越大,對于存儲介質(zhì)本身,經(jīng)過多年的發(fā)展,除了傳統(tǒng)的HDD外,新興存儲介質(zhì)在存儲密度上逐年上升,單位存儲價格逐年下降。在讀寫效率上,SSD隨機(jī)讀寫效率要遠(yuǎn)高于HDD,RAM讀寫效率是這幾種存儲介質(zhì)中***的,但RAM存在掉電丟數(shù)據(jù)的風(fēng)險,在可靠性要求較高的系統(tǒng)中還是不能沒有持久存儲的設(shè)備。于是為了彌補(bǔ)RAM的缺陷,NVM出現(xiàn)了。新興存儲設(shè)備的出現(xiàn),勢必會影響上層存儲系統(tǒng)的設(shè)計實(shí)現(xiàn)。
2、傳統(tǒng)存儲系統(tǒng)的開枝散葉
2.1 單機(jī)存儲的步步為營
早期的存儲設(shè)備是直接被CPU所控制的,這種方式存在諸多的問題,后來引進(jìn)了額外的存儲控制單元(control unit),CPU通過I/O指令來對硬盤進(jìn)行控制,同時,控制單元還提供緩存機(jī)制,緩解CPU,內(nèi)存,磁盤速度不匹配問題。隨著數(shù)據(jù)規(guī)模的逐漸增加,人們對于存儲的需求越來越大,單個磁盤的存儲已經(jīng)無法滿足一些大數(shù)據(jù)場景的需求。后來出現(xiàn)了RAID,它有很多價格便宜的磁盤組成巨大的磁盤組,利用個別磁盤提供數(shù)據(jù)所產(chǎn)生加成效果提升整個磁盤系統(tǒng)效能。這種方式不會對數(shù)據(jù)進(jìn)行校驗(yàn),對數(shù)據(jù)進(jìn)行冗余備份,后來幾乎所有的IT系統(tǒng)都需要進(jìn)行容災(zāi)恢復(fù),所以,對數(shù)據(jù)的備份顯得尤為重要,這里RAID就提供RAID1級別,做基本的鏡像備份,在不影響性能情況下***限度地保證系統(tǒng)的可靠性和可修復(fù)性。
2.2 網(wǎng)絡(luò)存儲的蓄勢待發(fā)
隨著網(wǎng)絡(luò)技術(shù)的發(fā)展,局域網(wǎng)技術(shù)使的數(shù)據(jù)的傳輸代價較低,于是網(wǎng)絡(luò)存儲變成了大家的***,,后來在單機(jī)文件上衍生出了NFS,他可以讓不同的文件之間共享文件系統(tǒng)。后來由此催生了一些經(jīng)典的協(xié)議NFS,CIFS等。
3、傳統(tǒng)存儲的優(yōu)缺點(diǎn)
一直以來,各企業(yè)公司政府事業(yè)單位信息化建設(shè)都是使用的傳統(tǒng)存儲,傳統(tǒng)存儲具有悠久的歷史與成熟的技術(shù),使用的場景豐富,實(shí)踐經(jīng)驗(yàn)豐富,另外,專用存儲設(shè)備的廠商較多,從維護(hù)角度來說,有專門的人才***程度保證可靠性與穩(wěn)定性。此外,傳統(tǒng)存儲具有較多的數(shù)據(jù)保護(hù)特性,適用范圍廣泛。并且部署起來比較簡單,組網(wǎng)邏輯簡單。
同樣的,傳統(tǒng)存儲的成本較高,需要購買專門的硬件,專門的License,專用的線纜,專用的交換機(jī),專門的板卡,專門的多路徑軟件。在維護(hù)上,雖然有了專門的人才,較多的數(shù)據(jù)保護(hù)特性,但是,由于廠商較多(既是優(yōu)點(diǎn)也是缺點(diǎn)),也導(dǎo)致了在多廠商異構(gòu)組網(wǎng)的時候難于維護(hù)。
二、分布式存儲系統(tǒng)的應(yīng)運(yùn)而生
互聯(lián)網(wǎng)規(guī)模越來越大,并發(fā)請求越來越高,傳統(tǒng)的數(shù)據(jù)庫并不能很好的滿足各種場景,于是分布式儲存系統(tǒng)應(yīng)運(yùn)而生。
1、分布式相比于傳統(tǒng)存儲系統(tǒng)的優(yōu)點(diǎn)
①高性能
他通常可以高效地管理讀緩存和寫緩存,支持自動的分布式存儲通過將熱點(diǎn)區(qū)域2映射到高速緩存,提高響應(yīng)速度。一旦不在是熱點(diǎn),那么存儲系統(tǒng)將會把他們移除。寫緩存技術(shù)可配合高速存儲明顯改變整體存儲的性能,按照一定的策略先將數(shù)據(jù)寫入高速存儲,再在適當(dāng)?shù)臅r間進(jìn)行同步落盤。
②支持分布式存儲
通過網(wǎng)絡(luò)進(jìn)行松耦合鏈接,允許高速村塾和低速存儲分開部署。一定條件下分層存儲的優(yōu)勢可以發(fā)揮到***。解決了***的問題是當(dāng)性能池讀不***后,從冷池提取數(shù)據(jù)的粒度太大,導(dǎo)致延遲高,從而給造成整體的性能的抖動的問題。
③多副本一致性
他相比傳統(tǒng)的存儲框架使用RAID不同。它采用了多分本備份機(jī)制,存儲之前進(jìn)行分片,之后按照一定的規(guī)則存在集群的節(jié)點(diǎn)上,為了保證數(shù)據(jù)一致性,布式存儲通常采用的是一個副本寫入,多個副本讀取的強(qiáng)一致性技術(shù),讀取數(shù)據(jù)失敗,從其他副本獲取,重新寫入該副本恢復(fù)。
④容災(zāi)與備份
對于容災(zāi)采用最重要的手段就是快照,可以實(shí)現(xiàn)一定時間下的數(shù)據(jù)的保存。他有利于故障重現(xiàn),有助于分析研究,避免災(zāi)難,備份就是為了數(shù)據(jù)的安全性。
⑤彈性擴(kuò)展
分布式存儲可預(yù)估并且彈性擴(kuò)展計算、存儲容量和性能,節(jié)點(diǎn)擴(kuò)展后,舊數(shù)據(jù)自動遷移到新節(jié)點(diǎn)上,實(shí)現(xiàn)負(fù)載均衡,避免單點(diǎn)問題。水平擴(kuò)展只需要將節(jié)點(diǎn)和原來的集群鏈接到同一網(wǎng)絡(luò),整個過程不會對業(yè)務(wù)造成影響,當(dāng)加節(jié)點(diǎn)時,集群系統(tǒng)的容量和性能隨之線性擴(kuò)展,。新節(jié)點(diǎn)資源會被平臺接管,唄分配或吸收。
⑥存儲系統(tǒng)標(biāo)準(zhǔn)化
隨著分布式存儲的發(fā)展,存儲行業(yè)的標(biāo)準(zhǔn)化進(jìn)程也不斷推進(jìn),分布式存儲優(yōu)先采用行業(yè)標(biāo)準(zhǔn)接口(SMI-S或OpenStack Cinder)進(jìn)行存儲接入,在平臺層面,通過將異構(gòu)存儲資源進(jìn)行抽象化,將傳統(tǒng)的存儲設(shè)備級的操作封裝成面向存儲資源的操作,從而簡化異構(gòu)存儲基礎(chǔ)架構(gòu)的操作,以實(shí)現(xiàn)存儲資源的集中管理,并能夠自動執(zhí)行創(chuàng)建、變更、回收等整個存儲生命周期流程?;诋悩?gòu)存儲整合的功能,用戶可以實(shí)現(xiàn)跨不同品牌、介質(zhì)地實(shí)現(xiàn)容災(zāi),如用中低端陣列為高端陣列容災(zāi),用不同磁盤陣列為閃存陣列容災(zāi)等等,從側(cè)面降低了存儲采購和管理成本。
2、分布式相比于傳統(tǒng)存儲系統(tǒng)的缺點(diǎn)
首先,從部署與維護(hù)的角度來看,分布式存儲部署過程較為復(fù)雜,需要專門的人才進(jìn)行部署,維護(hù)與管理,需要一定的時間培養(yǎng)專門的人才。其次,從硬件設(shè)備角度來看,分布式存儲使用的均為X86架構(gòu)服務(wù)器,穩(wěn)定性可能不如傳統(tǒng)的硬件存儲。尤其對于銀行,金融,政府等重要行業(yè),穩(wěn)定永遠(yuǎn)大于一切,他們既是新技術(shù)的實(shí)踐者但同時也需要最穩(wěn)定的環(huán)境保持業(yè)務(wù)的良好運(yùn)行。***,對于數(shù)據(jù)保護(hù)技術(shù),大部分都是通過副本技術(shù)實(shí)現(xiàn)數(shù)據(jù)保護(hù)機(jī)制,常見的有兩副本三副本等,這樣也會造成可用存儲容量的降低。
三、總結(jié)
現(xiàn)在我們可以回答文章開頭提出的“分布式儲存系統(tǒng)那么牛逼,是不是傳統(tǒng)存儲系統(tǒng)就一無是處呢?”這個問題了。分布式存儲系統(tǒng)的誕生,與傳統(tǒng)存儲的最終目的都是一樣的,就是如何有效的利用好存儲,并降低維護(hù)成本。分布式存儲系統(tǒng)的產(chǎn)生也是對于傳統(tǒng)存儲系統(tǒng)缺點(diǎn)的補(bǔ)充,是在傳統(tǒng)存儲系統(tǒng)的基礎(chǔ)上的改進(jìn),我們也期待分布式存儲系統(tǒng)的發(fā)展,能夠更好的降低維護(hù)的人力物資成本,實(shí)現(xiàn)存儲資源的有效利用,實(shí)現(xiàn)數(shù)據(jù)的有效保護(hù)!