偷偷摘套内射激情视频,久久精品99国产国产精,中文字幕无线乱码人妻,中文在线中文a,性爽19p

大話存儲(chǔ)系列之月光寶盒(塊存儲(chǔ))

存儲(chǔ) 存儲(chǔ)軟件
互聯(lián)網(wǎng)越來(lái)越發(fā)達(dá),網(wǎng)速越來(lái)越快(管制也越來(lái)越嚴(yán)),很多事情都可以通過(guò)聯(lián)網(wǎng)解決。很多存儲(chǔ)行業(yè)商家也get到了這個(gè)點(diǎn)。

塊存儲(chǔ)設(shè)備

互聯(lián)網(wǎng)越來(lái)越發(fā)達(dá),網(wǎng)速越來(lái)越快(管制也越來(lái)越嚴(yán)),很多事情都可以通過(guò)聯(lián)網(wǎng)解決。很多存儲(chǔ)行業(yè)商家也get到了這個(gè)點(diǎn)。下圖是個(gè)極簡(jiǎn)的模型,商家存儲(chǔ)設(shè)備(黑盒子),用戶一個(gè)筆記本電腦,通過(guò)TCP/IP承載的iSCSI協(xié)議,對(duì)于Linux用戶,可以看到一個(gè)塊設(shè)備/dev/sdax,就像使用本地硬盤(pán)(如/dev/sda)一樣,可以對(duì)其進(jìn)行分區(qū),格式化為文件系統(tǒng),亦或直接裸設(shè)備讀寫(xiě)。 

對(duì)于用戶,這就夠了,著實(shí)方便,付錢就行。

對(duì)于一個(gè)有追求的碼農(nóng),我們是有必要看看這個(gè)黑盒子里面是什么。下圖是黑盒子里面的東西,再次強(qiáng)調(diào),包括本文之前或之后的插圖及描述,都是十分宏觀的。篇幅有限不能說(shuō)的太細(xì),符合本文主旨;另外,說(shuō)的太細(xì)就會(huì)和具體商家產(chǎn)品很像,咱不能那么干。

?[[229990]]?

??

圖9 塊存儲(chǔ)設(shè)備

拋開(kāi)硬件、驅(qū)動(dòng)、OS等,直接看軟件邏輯,首先將系統(tǒng)上的硬盤(pán)組成多個(gè)RAID,如何組,組成哪種RAID,哪幾塊盤(pán)組成RAID等等,這些都是可以通過(guò)管理員配置。有人問(wèn)了(對(duì),還是前面問(wèn)問(wèn)題的那個(gè)人):“就一個(gè)RAID行不行?”

可以,但是有風(fēng)險(xiǎn),如果一個(gè)盤(pán)出現(xiàn)故障,RAID就暫時(shí)不能提供服務(wù)了,整個(gè)系統(tǒng)所有用戶會(huì)受到影響。如果組成多個(gè)RAID,那么,僅僅有故障盤(pán)的RAID暫時(shí)無(wú)法服務(wù),其它RAID是可以繼續(xù)工作,不至于影響所有用戶。套用某相聲表演藝人的話說(shuō),用戶就是衣食父母。

繼續(xù)看圖,軟件對(duì)下要管理RAID,對(duì)上要為用戶提供服務(wù),它給用戶提供的是LUN(全稱是Logical Unit Number,也就是邏輯單元號(hào)),當(dāng)然啦,用戶(人)不必去理解什么是LUN,就如上面所說(shuō),頂多是一個(gè)/dev/sdax,LUN是軟件、協(xié)議層面的東西。怎么理解呢?每個(gè)LUN關(guān)聯(lián)了一組物理存儲(chǔ)資源,你擁有了這個(gè)LUN,就擁有了這組物理存儲(chǔ)資源,凡是使用物理存儲(chǔ)資源,需要提供你的LUN ID。有過(guò)編程經(jīng)驗(yàn)的人很容易理解,十分類似一個(gè)文件或socket句柄。客戶端(這里不使用用戶這個(gè)詞,這里偏只程序)對(duì)LUN的讀寫(xiě),至少需要提供”LUN ID+R/W+Offset+Length[+data]”這些信息。

為什么需要LUN,而不是把RAID直接“丟給”用戶?

??

圖10 塊存儲(chǔ)設(shè)備內(nèi)部

因?yàn)槊總€(gè)用戶的需求是不一樣。

碼農(nóng)李二狗,全部身家800G代碼,做開(kāi)發(fā)的時(shí)候谷歌一下然后復(fù)制粘貼來(lái)的。某宅男,擁有海量高清大片,4TB+不在話下。按照?qǐng)D10,我們可以給李二狗分配LUN 1,給某宅男分配LUN 2。軟件邏輯層負(fù)責(zé)做映射,事實(shí)上,一個(gè)LUN可以映射到多個(gè)RAID,多個(gè)LUN也可以映射到一個(gè)RAID上(不常用,因?yàn)镽AID故障影響多個(gè)用戶),用戶數(shù)據(jù)都會(huì)準(zhǔn)確的保存到屬于該LUN的物理存儲(chǔ)資源中,不會(huì)出現(xiàn)張冠李戴的情況。當(dāng)用戶需求改變的時(shí)候,如李二狗也開(kāi)始收集高清大片了,需要的空間就大了,那么可以將LUN1資源進(jìn)行擴(kuò)充,十分靈活。***,LUN的大小和該LUN所映射的物理存儲(chǔ)資源大小以及用戶查看/dev/sdax的大小是一致的。

帶文件系統(tǒng)的存儲(chǔ)設(shè)備

其實(shí)在大多數(shù)場(chǎng)景,用戶都是將設(shè)備格式化成某個(gè)文件系統(tǒng)使用。那么設(shè)備廠商就對(duì)用戶說(shuō):“我有一個(gè)辦法,你們可以不用自己格式化,我直接提供一個(gè)文件系統(tǒng),直接mount就行了,NFS,簡(jiǎn)單吧?!?/p>

“好啊!好啊!”

“不過(guò),得加錢?!?/p>

“……”

商業(yè)上的事我們先不管,看下圖。用戶交好錢,被告知一個(gè)地址,直接mount到本地,確實(shí)方便。

??

圖11 帶文件系統(tǒng)的存儲(chǔ)設(shè)備

這回,黑盒子里面又是什么東西呢?

??

圖12 帶文件系統(tǒng)的存儲(chǔ)設(shè)備

看圖之后,是不是和我一樣的感覺(jué)?MMP奸商。 就多了一個(gè)文件系統(tǒng)層,內(nèi)部格式化LUN,然后就多收了不少錢。

如果你以為只有這些就錯(cuò)了!

我們假設(shè),你付費(fèi)買了1TB的空間,服務(wù)商是沒(méi)有真的給你預(yù)留1TB物理存儲(chǔ)資源的,當(dāng)你用的時(shí)候,再去申請(qǐng)物理存儲(chǔ)資源。你很憤憤,就存滿1TB,此時(shí)你以為真的消耗服務(wù)商1TB物理存儲(chǔ)資源了?不見(jiàn)得!有可能只消耗了0.8TB甚至更少。

拋開(kāi)商業(yè)成見(jiàn),但從技術(shù)角度來(lái)看,這里有兩個(gè)技術(shù)需要提到壓縮 和 去重,這在文件系統(tǒng)層面很容易做到。

壓縮(Compress)

您可能知道,文件系統(tǒng)在進(jìn)行IO時(shí)候是以一定大小數(shù)據(jù)塊(block)為單位進(jìn)行的,以4KB為例。壓縮也是以這個(gè)數(shù)據(jù)塊為單位,在寫(xiě)入磁盤(pán)之前進(jìn)行壓縮,原本4KB的數(shù)據(jù),壓縮之后可能就變成2KB,多個(gè)壓縮之后的數(shù)據(jù)塊再次拼成4KB,然后保存到物理磁盤(pán)。這個(gè)操作,節(jié)省了物理資源。用戶讀數(shù)據(jù)的時(shí)候,如果是壓縮的,需要首先解壓縮,然后返回給用戶。壓縮、解壓縮操作是純算法的,主要消耗CPU資源,因此在系統(tǒng)負(fù)載很高的時(shí)候,不建議啟用壓縮機(jī)制。另外,數(shù)據(jù)是否壓縮,需要額外的元數(shù)據(jù)(metadata)記錄,這增加了系統(tǒng)復(fù)雜度。有的設(shè)備會(huì)將壓縮、解壓縮操作交給硬件去完成,減少CPU的消耗。

去重(Deduplicate)

上傳一個(gè)大的高清影片到網(wǎng)盤(pán),秒傳,遇到過(guò)吧?這說(shuō)明服務(wù)商存儲(chǔ)系統(tǒng)存在了一個(gè)和你一模一樣的文件,你遇到了一個(gè)志同道合的宅友。為了節(jié)省空間,系統(tǒng)就僅僅給你做個(gè)標(biāo)記(或類似一個(gè)軟鏈接),然后增加文件的引用計(jì)數(shù),免得別人刪除了影響到你。這個(gè)還是從文件層面的去重,也十分容易理解。我們做個(gè)極端假設(shè),如果兩個(gè)1G大小的文件,僅僅有一個(gè)字節(jié)不同,按照上面方式是不能做到去重的,還是得上傳。文件的一部分一樣就不能進(jìn)行去重了嗎?

答案是有。數(shù)據(jù)塊(block)級(jí)別的去重。

??

圖13 數(shù)據(jù)塊級(jí)別去重

我們看圖13說(shuō)話。最初,硬盤(pán)神馬都沒(méi)有,文件1數(shù)據(jù)全部寫(xiě)入硬盤(pán),這沒(méi)什么好說(shuō)的。然后,文件2,其中BEF三個(gè)塊,硬盤(pán)已經(jīng)存在,不必寫(xiě)入了,剩下的塊需要寫(xiě)入。***再看文件3,前面3個(gè)塊,XYZ不存在于硬盤(pán)中,需要寫(xiě)。后面的XY就不必寫(xiě)了,***的E也是不必寫(xiě)。

去重技術(shù)確實(shí)節(jié)約物理存儲(chǔ)資源,但也存在一些問(wèn)題。

比如:如何確定當(dāng)前要寫(xiě)的塊硬盤(pán)中已經(jīng)存在?

不可能去硬盤(pán)中逐一比較!

一個(gè)做法是將早期寫(xiě)入的塊進(jìn)行HASH計(jì)算,將HASH值以及塊信息保存到內(nèi)存中,作為Cache,新預(yù)寫(xiě)的塊計(jì)算HASH值,如果HASH值在Cache中存在,則取出Cache中塊信息,做去重操作,記錄信息。內(nèi)存有限,Cache不能足夠大到保存所有硬盤(pán)中的塊信息,因此去重是有限度的,另外Cache的更新也是一個(gè)技術(shù)要點(diǎn),何種Cache更新算法能夠得到好的去重效率是一個(gè)值得深入研究的話題。

好了,以上簡(jiǎn)要介紹了兩種存儲(chǔ)設(shè)備。接下來(lái)……

有人問(wèn)了(對(duì),依舊是前面問(wèn)問(wèn)題的那個(gè)人):

“我替碼農(nóng)李二狗他父親王老爺子問(wèn)個(gè)問(wèn)題,是軟件就有BUG,如果你這軟件崩潰了,是不是所有用戶都不能正常訪問(wèn)了?”

“沒(méi)錯(cuò)!”

“弱爆了吧?”

在前面RAID的描述中,可以體會(huì)到一個(gè)詞“冗余”,冗余起到保險(xiǎn)、保護(hù)作用。既然說(shuō)軟件存在缺陷,可能掛,那么就放兩份在那,兩個(gè)物理獨(dú)立的設(shè)備運(yùn)行同樣的軟件,互為主備。主用設(shè)備工作時(shí)備用設(shè)備待命,主備共享系統(tǒng)中RAID、LUN等配置及狀態(tài),主用設(shè)備掛了,備用設(shè)備上。用戶無(wú)感知。這類方案在很多領(lǐng)域(如通信設(shè)備)也是常見(jiàn)的。

??

圖14 主備備份

“看起來(lái)有用,你這主備設(shè)備都放在哪里?”

“服務(wù)商機(jī)房或數(shù)據(jù)中心?!?/p>

“如果數(shù)據(jù)中心著火了或其它情況,這些設(shè)備就不能提供服務(wù)了吧?”

“沒(méi)錯(cuò)!”

“弱爆了吧?”

數(shù)據(jù)中心可是個(gè)有網(wǎng)、有電、有空調(diào),有外賣宅男向往的好地方,是具備基本的防火、防盜(防師兄?)等防災(zāi)害的地方,但凡事預(yù)則立不預(yù)則廢,萬(wàn)一出現(xiàn)差錯(cuò)可就是大事了。

其實(shí)數(shù)據(jù)中心也有“備份”。一般在同城的其它地方,也會(huì)有一個(gè)數(shù)據(jù)中心,用于備份當(dāng)前數(shù)據(jù)中心的數(shù)據(jù),同城較近拉光纖,備份效率杠杠的,甚至是實(shí)時(shí)備份。

?[[229994]]?

圖15 數(shù)據(jù)中心

“如果城市發(fā)生較大地震,兩個(gè)數(shù)據(jù)中心都損毀了,數(shù)據(jù)就丟了吧?”

“沒(méi)錯(cuò)!”

“弱爆了吧?”

兩地三中心。即生產(chǎn)數(shù)據(jù)中心、同城災(zāi)備中心、異地災(zāi)備中心建設(shè)方案。兩個(gè)城市的三個(gè)數(shù)據(jù)中心互聯(lián),如果一個(gè)數(shù)據(jù)中心發(fā)生故障或?yàn)?zāi)難,其他數(shù)據(jù)中心可以正常運(yùn)行并對(duì)核心業(yè)務(wù)或全部業(yè)務(wù)實(shí)現(xiàn)接管。

圖16 兩地三中心

“那如果兩個(gè)城市都……”

“你稍等,我打個(gè)電話。”

喂,代罵公司嗎?這是我的個(gè)人資產(chǎn)證明,幫我罵個(gè)人,罵道我破產(chǎn)。

……

天下無(wú)不散宴席。本次分享就到此結(jié)束了,還是那句話,能力有限水平一般,蜻蜓點(diǎn)水的啰嗦了這些,萬(wàn)一有那么一句半句勾起了您的興趣,我就十分欣慰。

注:我們尊重對(duì)知識(shí)刨根問(wèn)底的精神,以上代罵公司有關(guān)說(shuō)辭純屬扯淡。

尾聲

“你可嚇壞我了,在看Linuxer公眾號(hào)的文章呢,向大牛們學(xué)習(xí)學(xué)習(xí),我一直覺(jué)得技術(shù)沒(méi)啥長(zhǎng)進(jìn),內(nèi)心挺虛的?!?/p>

“看你體格應(yīng)該不只是心虛吧?確實(shí),這些文章質(zhì)量都很高,值得學(xué)習(xí),除了那篇《大話存儲(chǔ)》有點(diǎn)打醬油。在說(shuō),學(xué)習(xí)沒(méi)必要偷偷摸摸的吧?”

“習(xí)慣了,沒(méi)辦法,看感興趣的東西就這樣?!?/p>

“我只能呵呵了。我關(guān)注的主播要上線了,先走了,這個(gè)移動(dòng)硬盤(pán)放這借你用用?!?/p>

“里面是什么?”

“當(dāng)然也是你感興趣的東西——你懂的”。

責(zé)任編輯:武曉燕 來(lái)源: Linuxer
相關(guān)推薦

2016-10-31 14:18:09

戴爾存儲(chǔ)容災(zāi)系統(tǒng)

2018-06-08 18:03:33

華為云

2009-12-08 15:51:01

互聯(lián)網(wǎng)

2023-04-06 13:25:54

月光寶盒

2018-05-14 09:28:24

RAID磁盤(pán)存儲(chǔ)

2018-09-19 10:15:45

塊存儲(chǔ)文件存儲(chǔ)對(duì)象存儲(chǔ)

2013-05-30 09:25:43

2020-01-21 19:44:03

云存儲(chǔ)數(shù)據(jù)塊存儲(chǔ)

2018-07-06 14:27:26

存儲(chǔ)

2018-09-14 11:00:33

操作系統(tǒng)存儲(chǔ)管理

2022-10-08 07:45:09

塊存儲(chǔ)磁盤(pán)硬盤(pán)

2018-03-16 09:23:34

塊存儲(chǔ)文件存儲(chǔ)對(duì)象存儲(chǔ)

2020-02-16 15:20:18

存儲(chǔ)類型比較

2018-07-03 08:48:48

對(duì)象存儲(chǔ)塊存儲(chǔ)

2018-06-06 08:54:23

數(shù)據(jù)結(jié)構(gòu)存儲(chǔ)

2021-02-08 23:47:51

文件存儲(chǔ)塊存儲(chǔ)對(duì)象存儲(chǔ)

2019-04-15 15:22:14

塊存儲(chǔ)文件存儲(chǔ)對(duì)象存儲(chǔ)

2020-08-25 09:14:17

對(duì)象存儲(chǔ)文件存儲(chǔ)塊存儲(chǔ)

2018-07-04 09:19:37

存儲(chǔ)類型對(duì)象存儲(chǔ)

2018-11-13 09:49:11

存儲(chǔ)云存儲(chǔ)云備份
點(diǎn)贊
收藏

51CTO技術(shù)棧公眾號(hào)