塊存儲(chǔ)設(shè)備

互聯(lián)網(wǎng)越來(lái)越發(fā)達(dá)，網(wǎng)速越來(lái)越快（管制也越來(lái)越嚴(yán)），很多事情都可以通過(guò)聯(lián)網(wǎng)解決。很多存儲(chǔ)行業(yè)商家也get到了這個(gè)點(diǎn)。下圖是個(gè)極簡(jiǎn)的模型，商家存儲(chǔ)設(shè)備(黑盒子)，用戶一個(gè)筆記本電腦，通過(guò)TCP/IP承載的iSCSI協(xié)議，對(duì)于Linux用戶，可以看到一個(gè)塊設(shè)備/dev/sdax，就像使用本地硬盤(pán)(如/dev/sda)一樣，可以對(duì)其進(jìn)行分區(qū)，格式化為文件系統(tǒng)，亦或直接裸設(shè)備讀寫(xiě)。 

對(duì)于用戶，這就夠了，著實(shí)方便，付錢就行。

對(duì)于一個(gè)有追求的碼農(nóng)，我們是有必要看看這個(gè)黑盒子里面是什么。下圖是黑盒子里面的東西，再次強(qiáng)調(diào)，包括本文之前或之后的插圖及描述，都是十分宏觀的。篇幅有限不能說(shuō)的太細(xì)，符合本文主旨；另外，說(shuō)的太細(xì)就會(huì)和具體商家產(chǎn)品很像，咱不能那么干。

?[[229990]]?

??

圖9 塊存儲(chǔ)設(shè)備

拋開(kāi)硬件、驅(qū)動(dòng)、OS等，直接看軟件邏輯，首先將系統(tǒng)上的硬盤(pán)組成多個(gè)RAID，如何組，組成哪種RAID，哪幾塊盤(pán)組成RAID等等，這些都是可以通過(guò)管理員配置。有人問(wèn)了（對(duì)，還是前面問(wèn)問(wèn)題的那個(gè)人）：“就一個(gè)RAID行不行？”

可以，但是有風(fēng)險(xiǎn)，如果一個(gè)盤(pán)出現(xiàn)故障，RAID就暫時(shí)不能提供服務(wù)了，整個(gè)系統(tǒng)所有用戶會(huì)受到影響。如果組成多個(gè)RAID，那么，僅僅有故障盤(pán)的RAID暫時(shí)無(wú)法服務(wù)，其它RAID是可以繼續(xù)工作，不至于影響所有用戶。套用某相聲表演藝人的話說(shuō)，用戶就是衣食父母。

繼續(xù)看圖，軟件對(duì)下要管理RAID，對(duì)上要為用戶提供服務(wù)，它給用戶提供的是LUN（全稱是Logical Unit Number，也就是邏輯單元號(hào)），當(dāng)然啦，用戶（人）不必去理解什么是LUN，就如上面所說(shuō)，頂多是一個(gè)/dev/sdax，LUN是軟件、協(xié)議層面的東西。怎么理解呢？每個(gè)LUN關(guān)聯(lián)了一組物理存儲(chǔ)資源，你擁有了這個(gè)LUN，就擁有了這組物理存儲(chǔ)資源，凡是使用物理存儲(chǔ)資源，需要提供你的LUN ID。有過(guò)編程經(jīng)驗(yàn)的人很容易理解，十分類似一個(gè)文件或socket句柄。客戶端（這里不使用用戶這個(gè)詞，這里偏只程序）對(duì)LUN的讀寫(xiě)，至少需要提供”LUN ID+R/W+Offset+Length[+data]”這些信息。

為什么需要LUN，而不是把RAID直接“丟給”用戶？

??

圖10 塊存儲(chǔ)設(shè)備內(nèi)部

因?yàn)槊總€(gè)用戶的需求是不一樣。

碼農(nóng)李二狗，全部身家800G代碼，做開(kāi)發(fā)的時(shí)候谷歌一下然后復(fù)制粘貼來(lái)的。某宅男，擁有海量高清大片，4TB+不在話下。按照?qǐng)D10，我們可以給李二狗分配LUN 1，給某宅男分配LUN 2。軟件邏輯層負(fù)責(zé)做映射，事實(shí)上，一個(gè)LUN可以映射到多個(gè)RAID，多個(gè)LUN也可以映射到一個(gè)RAID上（不常用，因?yàn)镽AID故障影響多個(gè)用戶），用戶數(shù)據(jù)都會(huì)準(zhǔn)確的保存到屬于該LUN的物理存儲(chǔ)資源中，不會(huì)出現(xiàn)張冠李戴的情況。當(dāng)用戶需求改變的時(shí)候，如李二狗也開(kāi)始收集高清大片了，需要的空間就大了，那么可以將LUN1資源進(jìn)行擴(kuò)充，十分靈活。***，LUN的大小和該LUN所映射的物理存儲(chǔ)資源大小以及用戶查看/dev/sdax的大小是一致的。

帶文件系統(tǒng)的存儲(chǔ)設(shè)備

其實(shí)在大多數(shù)場(chǎng)景，用戶都是將設(shè)備格式化成某個(gè)文件系統(tǒng)使用。那么設(shè)備廠商就對(duì)用戶說(shuō)：“我有一個(gè)辦法，你們可以不用自己格式化，我直接提供一個(gè)文件系統(tǒng)，直接mount就行了，NFS，簡(jiǎn)單吧?！?/p>

“好啊！好啊！”

“不過(guò)，得加錢?！?/p>

“……”

商業(yè)上的事我們先不管，看下圖。用戶交好錢，被告知一個(gè)地址，直接mount到本地，確實(shí)方便。

??

圖11 帶文件系統(tǒng)的存儲(chǔ)設(shè)備

這回，黑盒子里面又是什么東西呢？

??

圖12 帶文件系統(tǒng)的存儲(chǔ)設(shè)備

看圖之后，是不是和我一樣的感覺(jué)？MMP奸商。 就多了一個(gè)文件系統(tǒng)層，內(nèi)部格式化LUN，然后就多收了不少錢。

如果你以為只有這些就錯(cuò)了！

我們假設(shè)，你付費(fèi)買了1TB的空間，服務(wù)商是沒(méi)有真的給你預(yù)留1TB物理存儲(chǔ)資源的，當(dāng)你用的時(shí)候，再去申請(qǐng)物理存儲(chǔ)資源。你很憤憤，就存滿1TB，此時(shí)你以為真的消耗服務(wù)商1TB物理存儲(chǔ)資源了？不見(jiàn)得！有可能只消耗了0.8TB甚至更少。

拋開(kāi)商業(yè)成見(jiàn)，但從技術(shù)角度來(lái)看，這里有兩個(gè)技術(shù)需要提到壓縮 和 去重，這在文件系統(tǒng)層面很容易做到。

壓縮（Compress）

您可能知道，文件系統(tǒng)在進(jìn)行IO時(shí)候是以一定大小數(shù)據(jù)塊(block)為單位進(jìn)行的，以4KB為例。壓縮也是以這個(gè)數(shù)據(jù)塊為單位，在寫(xiě)入磁盤(pán)之前進(jìn)行壓縮，原本4KB的數(shù)據(jù)，壓縮之后可能就變成2KB，多個(gè)壓縮之后的數(shù)據(jù)塊再次拼成4KB，然后保存到物理磁盤(pán)。這個(gè)操作，節(jié)省了物理資源。用戶讀數(shù)據(jù)的時(shí)候，如果是壓縮的，需要首先解壓縮，然后返回給用戶。壓縮、解壓縮操作是純算法的，主要消耗CPU資源，因此在系統(tǒng)負(fù)載很高的時(shí)候，不建議啟用壓縮機(jī)制。另外，數(shù)據(jù)是否壓縮，需要額外的元數(shù)據(jù)（metadata）記錄，這增加了系統(tǒng)復(fù)雜度。有的設(shè)備會(huì)將壓縮、解壓縮操作交給硬件去完成，減少CPU的消耗。

去重（Deduplicate）

上傳一個(gè)大的高清影片到網(wǎng)盤(pán)，秒傳，遇到過(guò)吧？這說(shuō)明服務(wù)商存儲(chǔ)系統(tǒng)存在了一個(gè)和你一模一樣的文件，你遇到了一個(gè)志同道合的宅友。為了節(jié)省空間，系統(tǒng)就僅僅給你做個(gè)標(biāo)記（或類似一個(gè)軟鏈接），然后增加文件的引用計(jì)數(shù)，免得別人刪除了影響到你。這個(gè)還是從文件層面的去重，也十分容易理解。我們做個(gè)極端假設(shè)，如果兩個(gè)1G大小的文件，僅僅有一個(gè)字節(jié)不同，按照上面方式是不能做到去重的，還是得上傳。文件的一部分一樣就不能進(jìn)行去重了嗎？

答案是有。數(shù)據(jù)塊（block）級(jí)別的去重。

??

圖13 數(shù)據(jù)塊級(jí)別去重

我們看圖13說(shuō)話。最初，硬盤(pán)神馬都沒(méi)有，文件1數(shù)據(jù)全部寫(xiě)入硬盤(pán)，這沒(méi)什么好說(shuō)的。然后，文件2，其中BEF三個(gè)塊，硬盤(pán)已經(jīng)存在，不必寫(xiě)入了，剩下的塊需要寫(xiě)入。***再看文件3，前面3個(gè)塊，XYZ不存在于硬盤(pán)中，需要寫(xiě)。后面的XY就不必寫(xiě)了，***的E也是不必寫(xiě)。

去重技術(shù)確實(shí)節(jié)約物理存儲(chǔ)資源，但也存在一些問(wèn)題。

比如：如何確定當(dāng)前要寫(xiě)的塊硬盤(pán)中已經(jīng)存在？

不可能去硬盤(pán)中逐一比較！

一個(gè)做法是將早期寫(xiě)入的塊進(jìn)行HASH計(jì)算，將HASH值以及塊信息保存到內(nèi)存中，作為Cache，新預(yù)寫(xiě)的塊計(jì)算HASH值，如果HASH值在Cache中存在，則取出Cache中塊信息，做去重操作，記錄信息。內(nèi)存有限，Cache不能足夠大到保存所有硬盤(pán)中的塊信息，因此去重是有限度的，另外Cache的更新也是一個(gè)技術(shù)要點(diǎn)，何種Cache更新算法能夠得到好的去重效率是一個(gè)值得深入研究的話題。

好了，以上簡(jiǎn)要介紹了兩種存儲(chǔ)設(shè)備。接下來(lái)……

有人問(wèn)了（對(duì)，依舊是前面問(wèn)問(wèn)題的那個(gè)人）：

“我替碼農(nóng)李二狗他父親王老爺子問(wèn)個(gè)問(wèn)題，是軟件就有BUG，如果你這軟件崩潰了，是不是所有用戶都不能正常訪問(wèn)了？”

“沒(méi)錯(cuò)！”

“弱爆了吧？”

在前面RAID的描述中，可以體會(huì)到一個(gè)詞“冗余”，冗余起到保險(xiǎn)、保護(hù)作用。既然說(shuō)軟件存在缺陷，可能掛，那么就放兩份在那，兩個(gè)物理獨(dú)立的設(shè)備運(yùn)行同樣的軟件，互為主備。主用設(shè)備工作時(shí)備用設(shè)備待命，主備共享系統(tǒng)中RAID、LUN等配置及狀態(tài)，主用設(shè)備掛了，備用設(shè)備上。用戶無(wú)感知。這類方案在很多領(lǐng)域（如通信設(shè)備）也是常見(jiàn)的。

??

圖14 主備備份

“看起來(lái)有用，你這主備設(shè)備都放在哪里？”

“服務(wù)商機(jī)房或數(shù)據(jù)中心?！?/p>

“如果數(shù)據(jù)中心著火了或其它情況，這些設(shè)備就不能提供服務(wù)了吧？”

“沒(méi)錯(cuò)!”

“弱爆了吧？”

數(shù)據(jù)中心可是個(gè)有網(wǎng)、有電、有空調(diào)，有外賣宅男向往的好地方，是具備基本的防火、防盜（防師兄？）等防災(zāi)害的地方，但凡事預(yù)則立不預(yù)則廢，萬(wàn)一出現(xiàn)差錯(cuò)可就是大事了。

其實(shí)數(shù)據(jù)中心也有“備份”。一般在同城的其它地方，也會(huì)有一個(gè)數(shù)據(jù)中心，用于備份當(dāng)前數(shù)據(jù)中心的數(shù)據(jù)，同城較近拉光纖，備份效率杠杠的，甚至是實(shí)時(shí)備份。

?[[229994]]?

圖15 數(shù)據(jù)中心

“如果城市發(fā)生較大地震，兩個(gè)數(shù)據(jù)中心都損毀了，數(shù)據(jù)就丟了吧？”

“沒(méi)錯(cuò)！”

“弱爆了吧？”

兩地三中心。即生產(chǎn)數(shù)據(jù)中心、同城災(zāi)備中心、異地災(zāi)備中心建設(shè)方案。兩個(gè)城市的三個(gè)數(shù)據(jù)中心互聯(lián)，如果一個(gè)數(shù)據(jù)中心發(fā)生故障或?yàn)?zāi)難，其他數(shù)據(jù)中心可以正常運(yùn)行并對(duì)核心業(yè)務(wù)或全部業(yè)務(wù)實(shí)現(xiàn)接管。

圖16 兩地三中心

“那如果兩個(gè)城市都……”

“你稍等，我打個(gè)電話。”

喂，代罵公司嗎？這是我的個(gè)人資產(chǎn)證明，幫我罵個(gè)人，罵道我破產(chǎn)。

……

天下無(wú)不散宴席。本次分享就到此結(jié)束了，還是那句話，能力有限水平一般，蜻蜓點(diǎn)水的啰嗦了這些，萬(wàn)一有那么一句半句勾起了您的興趣，我就十分欣慰。

注：我們尊重對(duì)知識(shí)刨根問(wèn)底的精神，以上代罵公司有關(guān)說(shuō)辭純屬扯淡。

尾聲

“你可嚇壞我了，在看Linuxer公眾號(hào)的文章呢，向大牛們學(xué)習(xí)學(xué)習(xí)，我一直覺(jué)得技術(shù)沒(méi)啥長(zhǎng)進(jìn)，內(nèi)心挺虛的?！?/p>

“看你體格應(yīng)該不只是心虛吧？確實(shí)，這些文章質(zhì)量都很高，值得學(xué)習(xí)，除了那篇《大話存儲(chǔ)》有點(diǎn)打醬油。在說(shuō)，學(xué)習(xí)沒(méi)必要偷偷摸摸的吧？”

“習(xí)慣了，沒(méi)辦法，看感興趣的東西就這樣?！?/p>

“我只能呵呵了。我關(guān)注的主播要上線了，先走了，這個(gè)移動(dòng)硬盤(pán)放這借你用用?！?/p>

“里面是什么?”

“當(dāng)然也是你感興趣的東西——你懂的”。