[[335987]]

本文轉(zhuǎn)載自微信公眾號(hào)「鮮棗課堂」，作者小棗君 。轉(zhuǎn)載本文請(qǐng)聯(lián)系鮮棗課堂公眾號(hào)。

小棗君給大家詳細(xì)介紹了數(shù)據(jù)存儲(chǔ)技術(shù)的基本知識(shí)，其中重點(diǎn)對(duì)DAS、SAN和NAS技術(shù)進(jìn)行了對(duì)比分析。

我們知道，在很長(zhǎng)的一段時(shí)間里，這三種架構(gòu)幾乎統(tǒng)治了數(shù)據(jù)存儲(chǔ)市場(chǎng)。所有行業(yè)用戶的數(shù)據(jù)存儲(chǔ)需求，都是在這三者中進(jìn)行選擇。

 

然而，隨著時(shí)代的發(fā)展，一種新的數(shù)據(jù)存儲(chǔ)形態(tài)誕生，開(kāi)始挑戰(zhàn)前面三者的壟斷地位。

沒(méi)錯(cuò)，它就是云計(jì)算時(shí)代存儲(chǔ)技術(shù)的新網(wǎng)紅——對(duì)象存儲(chǔ)。

[[335989]]

 

哈哈，也許搞著搞著，對(duì)象就有了呢!

 

對(duì)象存儲(chǔ)，也稱(chēng)為“面向?qū)ο蟮拇鎯?chǔ)”，英文是Object-based Storage。現(xiàn)在很多云廠商，也直接稱(chēng)之為“云存儲(chǔ)”。

不同的云廠商對(duì)它有不同的英文縮寫(xiě)命名。例如阿里云把自家的對(duì)象存儲(chǔ)服務(wù)叫做OSS，華為云叫OBS，騰訊云叫COS，七牛叫Kodo，百度叫BOS，網(wǎng)易叫NOS……五花八門(mén)，反正都是一個(gè)技術(shù)。

之前小棗君介紹過(guò)，DAS和SAN是基于物理塊的存儲(chǔ)方式，而NAS是基于文件的存儲(chǔ)方式。

 

在DAS和SAN中，存儲(chǔ)資源就像一塊一塊的硬盤(pán)，直接掛載在主機(jī)上，我們稱(chēng)之為塊存儲(chǔ)。

而在NAS中，呈現(xiàn)出來(lái)的是一個(gè)基于文件系統(tǒng)的目錄架構(gòu)，有目錄、子目錄、孫目錄、文件，我們稱(chēng)之為文件存儲(chǔ)。

文件存儲(chǔ)的最大特點(diǎn)，就是所有存儲(chǔ)資源都是多級(jí)路徑方式進(jìn)行訪問(wèn)的。例如：

C:\Program Files (x86)\Tencent\WeChat\WeChat.exe

\\NJUST-Server\學(xué)習(xí)資料\通信原理\第一章作業(yè).doc

20世紀(jì)末，隨著互聯(lián)網(wǎng)的爆發(fā)，數(shù)據(jù)存儲(chǔ)需求發(fā)生了兩個(gè)重大的變化。

第一，就是數(shù)據(jù)量爆炸式增長(zhǎng)。

原因我就不用說(shuō)了吧?大家可以瞅瞅自己的硬盤(pán)，都藏了些什么。

 

Web應(yīng)用的崛起、社交需求的刺激，極大地推動(dòng)了多媒體內(nèi)容的創(chuàng)作和分享。人們開(kāi)始上傳大量的照片、音樂(lè)、視頻，加劇了數(shù)據(jù)量的爆發(fā)。

此外，信息技術(shù)的發(fā)展、企業(yè)數(shù)字化的落地，也產(chǎn)生了大量的數(shù)據(jù)

，不斷吞食著存儲(chǔ)資源。

第二，是非結(jié)構(gòu)化數(shù)據(jù)的占比顯著增加。

什么是非結(jié)構(gòu)化數(shù)據(jù)?

舉個(gè)例子大家就明白了。我們經(jīng)常做的excel表格，姓名、身高、體重、年齡、性別，這種用二維表結(jié)構(gòu)可以進(jìn)行邏輯表達(dá)的數(shù)據(jù)，就是結(jié)構(gòu)化數(shù)據(jù)。

 

結(jié)構(gòu)化數(shù)據(jù)

而圖像、音頻、視頻、word文章、演示膠片這樣的數(shù)據(jù)，就是非結(jié)構(gòu)化數(shù)據(jù)。

根據(jù)此前的預(yù)測(cè)，到2020年(也就是今年)，全球數(shù)據(jù)總量的80%，將是非結(jié)構(gòu)化數(shù)據(jù)。

面對(duì)這兩大趨勢(shì)，因?yàn)楸旧砑夹g(shù)和架構(gòu)的限制，DAS、SAN和NAS無(wú)法進(jìn)行有效應(yīng)對(duì)。

于是，專(zhuān)家們就搞出了對(duì)象存儲(chǔ)。

 

雖然我們說(shuō)對(duì)象存儲(chǔ)是新網(wǎng)紅，但實(shí)際上它誕生的時(shí)間并不算短。早在1996年，美國(guó)卡內(nèi)基梅隆大學(xué)就將對(duì)象存儲(chǔ)作為一個(gè)研究項(xiàng)目提出來(lái)。隨后，加州大學(xué)伯克利分校也有推出類(lèi)似的項(xiàng)目。

2002年，F(xiàn)ilepool公司推出了基于內(nèi)容可尋址技術(shù)的Centera系統(tǒng)，算是比較早期的對(duì)象存儲(chǔ)系統(tǒng)。

2006年，美國(guó)Amazon公司發(fā)布AWS S3(Simple Storage Service)服務(wù)，正式將對(duì)象存儲(chǔ)作為一項(xiàng)云存儲(chǔ)服務(wù)，引入云計(jì)算領(lǐng)域，從此開(kāi)啟了對(duì)象存儲(chǔ)的黃金時(shí)代。

 

S3幾乎成為對(duì)象存儲(chǔ)的事實(shí)標(biāo)準(zhǔn)

各廠家基本上都會(huì)兼容S3

對(duì)象存儲(chǔ)和塊存儲(chǔ)、文件存儲(chǔ)的區(qū)別

說(shuō)了半天，對(duì)象存儲(chǔ)到底是一個(gè)什么樣的技術(shù)?它和塊存儲(chǔ)、文件存儲(chǔ)有什么區(qū)別?

首先，第一點(diǎn)，千萬(wàn)不要去看百度百科上面“對(duì)象存儲(chǔ)”的定義，否則，你可能會(huì)懷疑人生。

想要了解對(duì)象存儲(chǔ)，最簡(jiǎn)單直接的辦法，就是從實(shí)際使用體驗(yàn)上進(jìn)行對(duì)比。

對(duì)象存儲(chǔ)的底層硬件介質(zhì)，依然是硬盤(pán)，和塊存儲(chǔ)、文件存儲(chǔ)沒(méi)有區(qū)別。

而對(duì)象存儲(chǔ)架構(gòu)在底層硬件之上的系統(tǒng)，和兩者完全不同。(下文會(huì)詳細(xì)介紹系統(tǒng)架構(gòu))

不同的軟件，帶來(lái)了完全不同的使用體驗(yàn)：

塊存儲(chǔ)，操作對(duì)象是磁盤(pán)。存儲(chǔ)協(xié)議是SCSI、iSCSI、FC。

以 SCSI 為例，主要接口命令有 Read/Write/Read Capacity/Inquiry 等等。

文件存儲(chǔ)，操作對(duì)象是文件和文件夾。存儲(chǔ)協(xié)議是NFS、SAMBA(SMB)、POSIX等。

以NFS(大家應(yīng)該都用過(guò)“網(wǎng)上鄰居”共享文件吧?就是那個(gè))為例，文件相關(guān)的接口命令包括：READ/WRITE/CREATE/REMOVE/RENAME/LOOKUP/ACCESS 等等，文件夾相關(guān)的接口命令包括：MKDIR/RMDIR/READDIR 等等。

對(duì)象存儲(chǔ)，主要操作對(duì)象是對(duì)象(Object)。存儲(chǔ)協(xié)議是S3、Swift等。

以 S3 為例，主要接口命令有 PUT/GET/DELETE 等。

看出來(lái)了吧?接口命令非常簡(jiǎn)潔，沒(méi)有那種目錄樹(shù)的概念。

在對(duì)象存儲(chǔ)系統(tǒng)里，你不能直接打開(kāi)/修改文件，只能先下載、修改，再上傳文件。(如果大家用過(guò)百度網(wǎng)盤(pán)或ftp服務(wù)，一定可以秒懂。)

 

 對(duì)象存儲(chǔ)中的數(shù)據(jù)組成

對(duì)象存儲(chǔ)呈現(xiàn)出來(lái)的是一個(gè)“桶”(bucket)，你可以往“桶”里面放“對(duì)象(Object)”。這個(gè)對(duì)象包括三個(gè)部分：Key、Data、Metadata。

 

• Key

可以理解文件名，是該對(duì)象的全局唯一標(biāo)識(shí)符(UID)。

Key是用于檢索對(duì)象，服務(wù)器和用戶不需要知道數(shù)據(jù)的物理地址，也能通過(guò)它找到對(duì)象。這種方法極大地簡(jiǎn)化了數(shù)據(jù)存儲(chǔ)。

下面這行，就是一個(gè)對(duì)象的地址范例：

 

看上去就是一個(gè)URL網(wǎng)址。如果該對(duì)象被設(shè)置為“公開(kāi)”，所有互聯(lián)網(wǎng)用戶都可以通過(guò)這個(gè)地址訪問(wèn)它。

• Data

也就是用戶數(shù)據(jù)本體。這個(gè)不用解釋了。

• Metadata

Metadata叫做元數(shù)據(jù)，它是對(duì)象存儲(chǔ)一個(gè)非常獨(dú)特的概念。

元數(shù)據(jù)有點(diǎn)類(lèi)似數(shù)據(jù)的標(biāo)簽，標(biāo)簽的條目類(lèi)型和數(shù)量是沒(méi)有限制的，可以是對(duì)象的各種描述信息。

舉個(gè)例子，如果對(duì)象是一張人物照片，那么元數(shù)據(jù)可以是姓名、性別、國(guó)籍、年齡、拍攝地點(diǎn)、拍攝時(shí)間等。

 

元數(shù)據(jù)可以有很多

在傳統(tǒng)的文件存儲(chǔ)里，這類(lèi)信息屬于文件本身，和文件一起封裝存儲(chǔ)。而對(duì)象存儲(chǔ)中，元數(shù)據(jù)是獨(dú)立出來(lái)的，并不在數(shù)據(jù)內(nèi)部封裝。

元數(shù)據(jù)的好處非常明顯，可以大大加快對(duì)象的排序，還有分類(lèi)和查找。

對(duì)象存儲(chǔ)的架構(gòu)

對(duì)象存儲(chǔ)的架構(gòu)是怎樣的呢?如下圖所示，分為3個(gè)主要部分：

 

對(duì)象存儲(chǔ)的簡(jiǎn)單架構(gòu)示意圖

• OSD對(duì)象存儲(chǔ)設(shè)備

這是對(duì)象存儲(chǔ)的核心，具有自己的CPU、內(nèi)存、網(wǎng)絡(luò)和磁盤(pán)系統(tǒng)。它的主要功能當(dāng)然是存儲(chǔ)數(shù)據(jù)。同時(shí)，它還會(huì)利用自己的算力，優(yōu)化數(shù)據(jù)分布，并且支持?jǐn)?shù)據(jù)預(yù)讀取，提升磁盤(pán)性能。

• MDS元數(shù)據(jù)服務(wù)器

它控制Client和OSD的交互，還會(huì)管理著限額控制、目錄和文件的創(chuàng)建與刪除，以及訪問(wèn)控制權(quán)限。

• Client客戶端

提供文件系統(tǒng)接口，方便外部訪問(wèn)。

根據(jù)上面的架構(gòu)可以看出，對(duì)象存儲(chǔ)系統(tǒng)可以是一個(gè)提供海量存儲(chǔ)服務(wù)的分布式架構(gòu)。

對(duì)象存儲(chǔ)的優(yōu)點(diǎn)

對(duì)象存儲(chǔ)的優(yōu)點(diǎn)很多，簡(jiǎn)單歸納如下：

• 容量無(wú)限大

對(duì)象存儲(chǔ)的容量是EB級(jí)以上。EB有多大?大家的硬盤(pán)普遍是TB級(jí)別。1EB約等于1TB的一百萬(wàn)倍，請(qǐng)自行腦補(bǔ)...

對(duì)象存儲(chǔ)的所有業(yè)務(wù)、存儲(chǔ)節(jié)點(diǎn)采用分布式集群方式工作，各功能節(jié)點(diǎn)、集群都可以獨(dú)立擴(kuò)容。從理論上來(lái)說(shuō)，某個(gè)對(duì)象存儲(chǔ)系統(tǒng)或單個(gè)桶(bucket)，并沒(méi)有總數(shù)據(jù)容量和對(duì)象數(shù)量的限制。

換句話說(shuō)，只要你有足夠的money，服務(wù)商就可以不停地往架構(gòu)里增加資源，這個(gè)存儲(chǔ)空間就是無(wú)限的。

你可以根據(jù)自身需求購(gòu)買(mǎi)相應(yīng)大小的對(duì)象存儲(chǔ)空間。如果需要調(diào)整大小，也是支持彈性伸縮的，你不要進(jìn)行數(shù)據(jù)遷移和人工干預(yù)。

• 數(shù)據(jù)安全可靠

對(duì)象存儲(chǔ)采用了分布式架構(gòu)，對(duì)數(shù)據(jù)進(jìn)行多設(shè)備冗余存儲(chǔ)(至少三個(gè)以上節(jié)點(diǎn))，實(shí)現(xiàn)異地容災(zāi)和資源隔離。

根據(jù)云服務(wù)商的承諾，數(shù)據(jù)可靠性至少可以達(dá)到99.999999999%(不用數(shù)了，一共11個(gè)9)。這意味著，1000億個(gè)文件里，每月最多只會(huì)有1個(gè)文件發(fā)生數(shù)據(jù)丟失。這比一個(gè)人被隕石擊中的概率還要小143000倍。

數(shù)據(jù)訪問(wèn)方面，所有的桶和對(duì)象都有ACL等訪問(wèn)控制策略，所有的連接都支持SSL加密，OBS系統(tǒng)會(huì)對(duì)訪問(wèn)用戶進(jìn)行身份鑒權(quán)。因?yàn)閿?shù)據(jù)是分片存儲(chǔ)在不同硬盤(pán)上的，所以即使有壞人偷了硬盤(pán)，也無(wú)法還原出完整的對(duì)象數(shù)據(jù)。

• 使用方便

對(duì)于用戶來(lái)說(shuō)，對(duì)象存儲(chǔ)是一個(gè)非常方便的存儲(chǔ)方式。

很多人把它比喻為“代客泊車(chē)”，你只需要把車(chē)扔給他，他給你一個(gè)憑證，你通過(guò)憑證取車(chē)就可以了。你不需要知道車(chē)庫(kù)的布局，也不需要自己去費(fèi)力停放。

數(shù)據(jù)的存取方法也非常靈活多樣。除了前面說(shuō)的可以使用網(wǎng)頁(yè)(基于http)直接訪問(wèn)之外，大部分云服務(wù)提供商都有自己的圖形化界面客戶端工具，用戶存取數(shù)據(jù)就像用網(wǎng)盤(pán)一樣。

 

騰訊云的對(duì)象存儲(chǔ)工具界面

事實(shí)上，大部分的對(duì)象存儲(chǔ)需求，并不是個(gè)人用戶買(mǎi)來(lái)當(dāng)網(wǎng)盤(pán)用，而且企業(yè)或政府用戶用于系統(tǒng)數(shù)據(jù)存儲(chǔ)。例如網(wǎng)站、App的靜態(tài)圖片、音頻、視頻，還有企業(yè)系統(tǒng)的歸檔數(shù)據(jù)等。

像這種數(shù)據(jù)，是通過(guò)程序內(nèi)部的接口調(diào)用的。對(duì)象存儲(chǔ)提供開(kāi)放的REST API接口。程序員在開(kāi)發(fā)應(yīng)用時(shí)，直接把存儲(chǔ)參數(shù)寫(xiě)進(jìn)代碼，就可以通過(guò)API接口調(diào)用對(duì)象存儲(chǔ)里的數(shù)據(jù)。相比文件存儲(chǔ)那一串串的路徑，對(duì)象存儲(chǔ)要方便很多。

對(duì)象存儲(chǔ)的應(yīng)用場(chǎng)景

目前國(guó)內(nèi)有大量的云服務(wù)提供商，他們把對(duì)象存儲(chǔ)當(dāng)作云存儲(chǔ)在賣(mài)。

他們通常會(huì)把存儲(chǔ)業(yè)務(wù)分為3個(gè)等級(jí)，即標(biāo)準(zhǔn)型、低頻型、歸檔型。對(duì)應(yīng)的應(yīng)用場(chǎng)景如下：

標(biāo)準(zhǔn)類(lèi)型：移動(dòng)應(yīng)用 | 大型網(wǎng)站 | 圖片分享 | 熱點(diǎn)音視頻

低頻訪問(wèn)類(lèi)型：移動(dòng)設(shè)備 | 應(yīng)用與企業(yè)數(shù)據(jù)備份 | 監(jiān)控?cái)?shù)據(jù) | 網(wǎng)盤(pán)應(yīng)用

歸檔類(lèi)型：各種長(zhǎng)期保存的檔案數(shù)據(jù) | 醫(yī)療影像 | 影視素材

根據(jù)估算，目前全球互聯(lián)網(wǎng)70%以上的熱點(diǎn)數(shù)據(jù)是保存在對(duì)象存儲(chǔ)系統(tǒng)中的。

對(duì)象存儲(chǔ)雖然看上去很好很強(qiáng)大，但也不是沒(méi)有缺點(diǎn)。它最大的缺點(diǎn)，和它的工作模式有關(guān)。

它是那種把整個(gè)數(shù)據(jù)取出來(lái)，修改，再放回去的模式，不支持直接在存儲(chǔ)上修改，哪怕只是加一行數(shù)據(jù)，都不行。所以，它不適合存儲(chǔ)需要頻繁擦寫(xiě)的數(shù)據(jù)(例如關(guān)系型數(shù)據(jù)庫(kù)的數(shù)據(jù))。

在數(shù)據(jù)的一致性保證上，對(duì)象存儲(chǔ)也存在先天的不足。不過(guò)，據(jù)說(shuō)目前技術(shù)上已經(jīng)有了很大改進(jìn)。

 

好啦，以上就是關(guān)于對(duì)象存儲(chǔ)的全部?jī)?nèi)容。感謝大家的耐心觀看，如果覺(jué)得有所收獲，請(qǐng)記得幫小棗君點(diǎn)贊、轉(zhuǎn)發(fā)!我們下期再見(jiàn)!