海量存儲(chǔ)環(huán)境下傳統(tǒng)IT系統(tǒng)面臨的挑戰(zhàn)

伴隨著各種終端技術(shù)及網(wǎng)絡(luò)的發(fā)展，人類感知世界，探索世界的步伐越來(lái)越快，大量的數(shù)據(jù)被采集并記錄。種種數(shù)據(jù)表明，人類已進(jìn)入信息爆炸時(shí)代。從IDC研究來(lái)看，從2009年到2020年，全球信息總量增長(zhǎng)44倍以上，將達(dá)到35.2ZB(1ZB=1,000,000PB)，而每一家組織都將面臨需要存儲(chǔ)至少10倍以上數(shù)據(jù)量的現(xiàn)狀。存儲(chǔ)系統(tǒng)的容量需求已經(jīng)從幾十T發(fā)展到幾十P甚至100P以上，我們把這種場(chǎng)景稱為海量存儲(chǔ)環(huán)境。海量存儲(chǔ)環(huán)境對(duì)存儲(chǔ)系統(tǒng)提出了巨大挑戰(zhàn)。

傳統(tǒng)存儲(chǔ)架構(gòu)很難應(yīng)對(duì)海量存儲(chǔ)環(huán)境所引發(fā)的諸多問(wèn)題。首先，傳統(tǒng)IT系統(tǒng)多為“煙囪式”架構(gòu)，一平臺(tái)一應(yīng)用，如果需要擴(kuò)容，原有的架構(gòu)和部署方式必然發(fā)生巨大變化，并且多系統(tǒng)之間很難實(shí)現(xiàn)數(shù)據(jù)共享，擴(kuò)容成本極高。其次，多套系統(tǒng)造成管理、維護(hù)效率低下。研究表明，IT系統(tǒng)用于維護(hù)的費(fèi)用占到整體費(fèi)用的72%，遠(yuǎn)高于***采購(gòu)設(shè)備的費(fèi)用。而這一狀況在進(jìn)入海量存儲(chǔ)時(shí)代后變得更加突出。

需求與現(xiàn)狀正在產(chǎn)生巨大矛盾。如何降低整體擁有成本，提高管理維護(hù)效率，保證業(yè)務(wù)連續(xù)性是當(dāng)前存儲(chǔ)系統(tǒng)亟待解決的難題。

海量存儲(chǔ)系統(tǒng)應(yīng)運(yùn)而生

公有云是解決這一矛盾的有效手段之一。企業(yè)采用“以租代買(mǎi)”的方式，把建設(shè)與管理IT設(shè)施的風(fēng)險(xiǎn)交給了運(yùn)營(yíng)商。云服務(wù)運(yùn)營(yíng)商提供近乎無(wú)限的存儲(chǔ)空間供用戶使用，“按需購(gòu)買(mǎi)”的付費(fèi)方式也降低了用戶使用IT設(shè)施的門(mén)檻，從而解決了擴(kuò)展性和成本的問(wèn)題。因此公有云市場(chǎng)最近幾年發(fā)展迅猛，其中***代表的就是亞馬遜，存儲(chǔ)在亞馬遜的對(duì)象數(shù)在2011年增長(zhǎng)了192%，達(dá)到7千億個(gè)，相當(dāng)于為整個(gè)地球上每個(gè)人提供近100個(gè)對(duì)象存儲(chǔ)。

然而公有云并不能解決所有問(wèn)題。網(wǎng)絡(luò)存儲(chǔ)對(duì)帶寬消耗巨大，同時(shí)出于安全性的考慮，一些企業(yè)也不愿把自己苦心經(jīng)營(yíng)得到的數(shù)據(jù)存放到第三方數(shù)據(jù)中心。因此很多企業(yè)選擇自建數(shù)據(jù)中心。他們選擇低廉的服務(wù)器與存儲(chǔ)，基于開(kāi)源軟件進(jìn)行研究與開(kāi)發(fā)，自建海量廉價(jià)資源池。但這種方式對(duì)研發(fā)及測(cè)試實(shí)力要求極高，中小企業(yè)很難做到。大型企業(yè)也往往投入大量人力物力也無(wú)法做到商用要求，得不償失。

不論是借助公有云還是自建數(shù)據(jù)中心，背后對(duì)存儲(chǔ)的需求是一致的，最突出的就是極高的擴(kuò)展性及極低的TCO。只有解決了這兩個(gè)難題，系統(tǒng)才能在海量存儲(chǔ)環(huán)境下，滿足高速發(fā)展的業(yè)務(wù)增長(zhǎng)需求。

這種以高擴(kuò)展和低TCO為核心訴求的存儲(chǔ)顯然不是現(xiàn)有系統(tǒng)所具備的?，F(xiàn)有存儲(chǔ)不論是SAN還是集群NAS，都很難滿足100PB以上的部署要求。一種新的存儲(chǔ)類型應(yīng)運(yùn)而生，它可以滿足海量存儲(chǔ)環(huán)境下的部署要求，追求極強(qiáng)的擴(kuò)展性，極低的TCO，以及較好的開(kāi)放性以應(yīng)對(duì)各種上層應(yīng)用，而對(duì)網(wǎng)絡(luò)時(shí)延要求較低。我們把這種新的存儲(chǔ)類型稱為海量存儲(chǔ)系統(tǒng)。

近幾年部件技術(shù)的快速發(fā)展也為海量存儲(chǔ)系統(tǒng)的誕生創(chuàng)造了條件。磁盤(pán)容量越來(lái)越高，從2TB，4TB到8TB，10TB，而單位容量的功耗越來(lái)越低。處理器計(jì)算能力越來(lái)越強(qiáng)，而每核所消耗的功耗越來(lái)越低。同時(shí)萬(wàn)兆以太網(wǎng)技術(shù)也在不斷成熟。這些都是海量存儲(chǔ)系統(tǒng)登上存儲(chǔ)歷史舞臺(tái)的必要條件。

華為UDS海量存儲(chǔ)系統(tǒng)開(kāi)創(chuàng)EB級(jí)存儲(chǔ)未來(lái)

海量存儲(chǔ)系統(tǒng)以對(duì)象作為基本存儲(chǔ)形式。對(duì)象是數(shù)據(jù)和自描述信息的集合，是數(shù)據(jù)在磁盤(pán)上存儲(chǔ)的基本單元。對(duì)象存儲(chǔ)在文件系統(tǒng)的基礎(chǔ)上進(jìn)行優(yōu)化，通過(guò)降低文件系統(tǒng)目錄、接口的復(fù)雜度，提高了當(dāng)對(duì)象數(shù)量高速增長(zhǎng)時(shí)系統(tǒng)的擴(kuò)展性。同時(shí)對(duì)象的智能自管理功能也能有效降低系統(tǒng)維護(hù)復(fù)雜度。

海量存儲(chǔ)系統(tǒng)適用于對(duì)容量要求極高，而網(wǎng)絡(luò)時(shí)延要求相對(duì)較低的應(yīng)用場(chǎng)景，如公有云存儲(chǔ)服務(wù)。一方面當(dāng)客戶數(shù)量快速增長(zhǎng)時(shí)對(duì)存儲(chǔ)空間的需求難以預(yù)期，另一方面服務(wù)是通過(guò)互聯(lián)網(wǎng)提供的，用戶對(duì)網(wǎng)絡(luò)延遲具有較高的容忍度。海量存儲(chǔ)系統(tǒng)可以作為基礎(chǔ)架構(gòu)為用戶提供空間存儲(chǔ)服務(wù)，或基于存儲(chǔ)的上層業(yè)務(wù)服務(wù)。在行業(yè)應(yīng)用中也能找到適合海量存儲(chǔ)系統(tǒng)的應(yīng)用場(chǎng)景，如數(shù)據(jù)歸檔，媒資管理等。

UDS海量存儲(chǔ)系統(tǒng)是華為面向海量存儲(chǔ)市場(chǎng)推出的***產(chǎn)品。UDS采用基于ARM架構(gòu)的低功耗、高密度存儲(chǔ)節(jié)點(diǎn)，通過(guò)對(duì)象存儲(chǔ)技術(shù)、P2P分布式存儲(chǔ)引擎技術(shù)、集群應(yīng)用技術(shù)等構(gòu)建海量對(duì)象存儲(chǔ)基礎(chǔ)架構(gòu)平臺(tái)，對(duì)外提供S3、NFS、CIFS等多種訪問(wèn)接口，以滿足不同業(yè)務(wù)的適配需求?；赨DS可以構(gòu)建多種解決方案，如海量資源池，網(wǎng)盤(pán)，云備份，集中備份等。

海量數(shù)據(jù)是信息社會(huì)所必須面臨的困境與挑戰(zhàn)。華為攜手運(yùn)營(yíng)商與行業(yè)客戶，開(kāi)拓創(chuàng)新，基于UDS海量存儲(chǔ)系統(tǒng)，構(gòu)建強(qiáng)擴(kuò)展，易管理，高可靠的EB級(jí)數(shù)據(jù)管理方案，輕松應(yīng)對(duì)各種挑戰(zhàn)，開(kāi)創(chuàng)海量數(shù)據(jù)業(yè)務(wù)的未來(lái)。