多管齊下 潮數(shù)科技提供高速、重刪、壓縮數(shù)據(jù)安全解決方案
數(shù)據(jù)越來越大、數(shù)據(jù)越來越多,這給數(shù)據(jù)的管理帶來了極大的難度,僅通過“堆硬件”的方式,無法徹底解決爆發(fā)式數(shù)據(jù)增長的問題。深圳潮數(shù)軟件科技有限公司(以下簡稱“潮數(shù)科技”)推出的“數(shù)據(jù)安全一體化”系列產(chǎn)品從軟硬入手,提供了高速硬件、KFS文件系統(tǒng)、PB級分布式存儲、小文件優(yōu)化、重刪、壓縮數(shù)據(jù)處理等解決方案,能夠保證用戶利用最少的資源和花費實現(xiàn)數(shù)據(jù)安全。
數(shù)據(jù)越來越多 越來越大 僅靠“堆硬件”難解決問題
從2015年到2025年,中國數(shù)據(jù)以14倍的速度擴張。2017年全年數(shù)據(jù)總量超過15.2ZB,同比增長35.7%。2018年全球數(shù)量總量達19.4ZB,未來幾年全球數(shù)據(jù)的增長速度在每年25%以上。2018年至2025年中國數(shù)據(jù)以30%的年平均增長速度領(lǐng)先全球,比全球高5%,2025年將增至48.6ZB,占全球27.8%。
正是因為數(shù)據(jù)越來越多、越來越大、越來越快,因此很多組織采用了增加存儲空間和升級硬件來解決這一問題。但是這只能解決一時的問題,并不能徹底地解決問題。
IT界擁有三大鼎鼎大名的定律,其中之一就是“安迪-比爾定律”。 IT界總結(jié)出了安迪-比爾定律,即比爾要拿走安迪所給的(What Andy gives,Bill takes away.)。安迪指的是英特爾公司前CEO安迪·格羅夫(Andy Grove);比爾指的是微軟公司創(chuàng)始人比爾·蓋茨。所以其內(nèi)涵是:軟件方面做出更新迭代帶來利潤,硬件也同樣得到刺激進行更新迭代。
即計算機工業(yè)是由軟件更新帶動硬件更新的。軟件的開發(fā)和發(fā)展,令使用軟件的設(shè)備需要更高的性能和速度,從而推動了硬件技術(shù)的不斷更新和升級。就是說,軟件系統(tǒng)的更新迭代從很大程度上影響著硬件的更新迭代。
正是數(shù)據(jù)推動了硬件的發(fā)展,比如更大的存儲空間、更快的存儲速度、不同的存儲架構(gòu)、更快的傳輸速度等。
但是僅靠“堆硬件”的方式,難以應對數(shù)據(jù)越來越多、越來越大的問題,應該從多個方面入手,才能徹底地解決這一行業(yè)難題。
數(shù)據(jù)安全一體 軟硬結(jié)合解決大數(shù)據(jù)難題
潮數(shù)的“數(shù)據(jù)安全一體化”產(chǎn)品,軟硬結(jié)合,針對數(shù)據(jù)越來越大、越來越多、越來越快的問題,提供了全新、全面的解決方案。
1.提供了萬兆網(wǎng)卡
萬兆網(wǎng)卡,即支持10Gbps的網(wǎng)卡,在一般家庭里可能不一定用得上,現(xiàn)在很多家庭的以太網(wǎng)卡用的還是100Mbps,最多只是1000Mbps,即1Gbps的,但并沒有用上萬兆網(wǎng)卡。因為很多主板并沒有默認提供,往往要通過PCI-E插槽來實現(xiàn)轉(zhuǎn)接,同時價格也較貴。
但是對于企業(yè)或組織來說,萬兆網(wǎng)卡是必須的,潮數(shù)科技產(chǎn)品提供了萬兆網(wǎng)卡的支持。有了萬兆網(wǎng)卡,可以使得數(shù)據(jù)在內(nèi)部網(wǎng)的傳輸速度達到1250MB/s,即1.25GB/s,能夠大大地解決數(shù)據(jù)交換、備份、管理等問題。
2.采用固態(tài)硬盤做引導或緩存
潮數(shù)科技的產(chǎn)品支持采用固態(tài)硬盤來做引導盤,并且支持更多的操盤系統(tǒng)。由于固態(tài)硬盤(Solid State Drives),由控制單元和存儲單元(FLASH芯片、DRAM芯片)組成,不僅低功耗高性能,而且它的讀取及寫入速度非??臁?/p>
固態(tài)硬盤由于沒有機械硬盤的磁頭,數(shù)據(jù)讀取延遲非常小,把操作系統(tǒng)安裝到固態(tài)硬盤上,不僅能夠提升開機的速度,也使得整體系統(tǒng)變得很快,包括在其上的所有應用操作也變得很快(數(shù)據(jù)的備份等)。
同時,潮數(shù)科技的產(chǎn)品還支持用固態(tài)硬盤來做緩存,這也將大大加快系統(tǒng)的速度。而且,固態(tài)硬盤的價格相較于內(nèi)存要便宜了很多,這也能夠節(jié)省很多的系統(tǒng)預算。
3.KFS文件系統(tǒng)+PB級分布式存儲
潮數(shù)云存儲管理系統(tǒng)支持KFS文件系統(tǒng),并支持PB級分布式存儲。KFS,全稱Kosmos distributed file system,是一個分布式文件系統(tǒng),被設(shè)計用于分布式的結(jié)構(gòu)化存儲。同時,也是一個專門為數(shù)據(jù)密集型應用(搜索引擎、數(shù)據(jù)挖掘等)而設(shè)計的存儲系統(tǒng),類似于Google的GFS(Google File System)和Hadoop的HDFS(Hadoop File System)分布式文件系統(tǒng)。
KFS文件系統(tǒng)由三部分組成,分別是metaserver(相當于GFS master)、chunkserver(相當于GFS chunkserver)和client library(相當于GFS client)。
其中metaserver,即元數(shù)據(jù)服務(wù)器,主要用于B+樹存儲分布式文件系統(tǒng)的全局文件系統(tǒng)命名空間,一個KFS中僅有一個metaserver;其中chunkserver,是一個大文件被切分成許多固定大小的文件塊block,文件塊block被以chunk的方式存儲在獨立的chunkserver上,每個 chunkserver上可能存不同文件的block,一個block會被存在不同的chunkserver上(默認為3份);在一個KFS中,有一系列 的chunkserver,chunkserver將chunk存儲在底層的文件系統(tǒng)(如Linux的XFS、EXT2);而client library,用于提供文件系統(tǒng)訪問的API,使應用可以通過接口操縱KFS;在將實際的應用和KFS集成起來時,需要在應用中包含KFS的客戶端庫文件。
KFS文件系統(tǒng)初期是用于大型的互聯(lián)網(wǎng)公司的搜索引擎、數(shù)據(jù)挖掘,而被應用于潮數(shù)云文檔管理系統(tǒng)用于文檔的管理,可見其功能之強硬。
同時,潮數(shù)云存儲管理系統(tǒng)支持PB級的分布式存儲,1PB=1024TB=1048576GB,支持海量存儲,支持局域網(wǎng)及廣域網(wǎng)的分布式存儲與訪問,不依賴高昂的硬件設(shè)施,具有文件容災備份和CDN加速技術(shù),支持高并發(fā)、高IO吞吐量等多種高級功能,擴展屬性優(yōu)秀,適用于大中型企業(yè)海量文件服務(wù)。
小知識 數(shù)據(jù)的量
數(shù)據(jù)越來越大,但是要清晰地認識數(shù)據(jù)的“大”與“小”、“多”與“少”,必須依賴于數(shù)據(jù)的量。數(shù)據(jù)的計量單位如下:1B (Byte 字節(jié))=8b (bit 位);1KB (Kilobyte 千字節(jié))=1024B;1MB (Megabyte 兆字節(jié) 簡稱“兆”)=1024KB;1GB (Gigabyte 吉字節(jié) 又稱“千兆”)=1024MB;1TB (Trillionbyte 萬億字節(jié) 太字節(jié))=1024GB;1PB(Petabyte 千萬億字節(jié) 拍字節(jié))=1024TB;1EB(Exabyte 百億億字節(jié) 艾字節(jié))=1024PB;1ZB (Zettabyte 十萬億億字節(jié) 澤字節(jié))= 1024 EB;1YB (Yottabyte 一億億億字節(jié) 堯字節(jié))= 1024 ZB。
4.小文件優(yōu)化
針對海量文件備份的難點在于海量小文件備份重復數(shù)據(jù)塊檢索,導致磁盤iO資源被大量占用,且數(shù)據(jù)傳輸無法達到帶寬極限的問題,潮數(shù)的云文檔管理系統(tǒng)可以避免重復檢索數(shù)據(jù)塊,能在不做磁盤檢索的情況下把該卷要備份的數(shù)據(jù)通通備份出來,大大加快了海量小文件的備份速度。
5.數(shù)據(jù)重刪
現(xiàn)如今,存儲空間變得越來越大,數(shù)據(jù)和文件也越來越多。但很多時候,存儲空間里往往充滿了重復文件,手工刪除十分費勁。當我們在企業(yè)或組織里對這些數(shù)據(jù)進行備份時,會占用很多存儲空間,也會消耗很大的帶寬和更多的硬件資源。重復數(shù)據(jù)的刪除將是企業(yè)的信息主管們的必修課,可以真正減輕自己的工作量,提升工作效率,也能夠減少企業(yè)的開銷。
潮數(shù)的備份系統(tǒng)在備份數(shù)據(jù)的同時,能夠做到自動刪除重復的數(shù)據(jù),并支持重刪類型,大大節(jié)省存儲空間,在傳輸?shù)臅r候也能夠節(jié)省帶寬。
6.數(shù)據(jù)壓縮
數(shù)據(jù)如果沒有做過任何的壓縮處理,也不支持多種壓縮算法,在數(shù)據(jù)存儲或備份時則會需要更多的存儲設(shè)備和存儲空間,需要更多花費,同時數(shù)據(jù)大、數(shù)據(jù)多,使得數(shù)據(jù)傳輸,尤其是遠程傳輸需要更大的帶寬和更多的時間。
潮數(shù)的備份系統(tǒng)在備份數(shù)據(jù)的同時,能夠做到自動壓縮數(shù)據(jù),并且支持不同的壓縮級別,能很好地節(jié)省存儲空間和傳輸消耗。