偷偷摘套内射激情视频,久久精品99国产国产精,中文字幕无线乱码人妻,中文在线中文a,性爽19p

Hadoop分布式文件系統(tǒng)-從RAID說起

存儲 存儲軟件 分布式 Hadoop
大數(shù)據(jù)技術主要要解決的問題的是大規(guī)模數(shù)據(jù)的計算處理問題,那么首先要解決的就是大規(guī)模數(shù)據(jù)的存儲問題。大規(guī)模數(shù)據(jù)存儲要解決的核心問題有三個方面:

 大數(shù)據(jù)技術主要要解決的問題的是大規(guī)模數(shù)據(jù)的計算處理問題,那么首先要解決的就是大規(guī)模數(shù)據(jù)的存儲問題。大規(guī)模數(shù)據(jù)存儲要解決的核心問題有三個方面:

數(shù)據(jù)存儲容量的問題,既然大數(shù)據(jù)要解決的是數(shù)以PB計的數(shù)據(jù)計算問題,而一般的服務器磁盤容量通常1-2TB,那么如何存儲這么大規(guī)模的數(shù)據(jù)。

數(shù)據(jù)讀寫速度的問題,一般磁盤的連續(xù)讀寫速度為幾十MB,以這樣的速度,幾十PB的數(shù)據(jù)恐怕要讀寫到天荒地老。

數(shù)據(jù)可靠性的問題,磁盤大約是計算機設備中最易損壞的硬件了,在網站一塊磁盤使用壽命大概是一年,如果磁盤損壞了,數(shù)據(jù)怎么辦?

在大數(shù)據(jù)技術出現(xiàn)之前,人們就需要面對這些關于存儲的問題,對應的解決方案就是RAID技術。

[[235495]]

從RAID說起

RAID(獨立磁盤冗余陣列)技術主要是為了改善磁盤的存儲容量,讀寫速度,增強磁盤的可用性和容錯能力。目前服務器級別的計算機都支持插入多塊磁盤(8塊或者更多),通過使用RAID技術,實現(xiàn)數(shù)據(jù)在多塊磁盤上的并發(fā)讀寫和數(shù)據(jù)備份。

常用RAID技術有以下幾種,如圖所示。

假設服務器有N塊磁盤。

RAID0

數(shù)據(jù)在從內存緩沖區(qū)寫入磁盤時,根據(jù)磁盤數(shù)量將數(shù)據(jù)分成N份,這些數(shù)據(jù)同時并發(fā)寫入N塊磁盤,使得數(shù)據(jù)整體寫入速度是一塊磁盤的N倍。讀取的時候也一樣,因此RAID0具有極快的數(shù)據(jù)讀寫速度,但是RAID0不做數(shù)據(jù)備份,N塊磁盤中只要有一塊損壞,數(shù)據(jù)完整性就被破壞,所有磁盤的數(shù)據(jù)都會損壞。

RAID1

數(shù)據(jù)在寫入磁盤時,將一份數(shù)據(jù)同時寫入兩塊磁盤,這樣任何一塊磁盤損壞都不會導致數(shù)據(jù)丟失,插入一塊新磁盤就可以通過復制數(shù)據(jù)的方式自動修復,具有極高的可靠性。

RAID10

結合RAID0和RAID1兩種方案,將所有磁盤平均分成兩份,數(shù)據(jù)同時在兩份磁盤寫入,相當于RAID1,但是在每一份磁盤里面的N/2塊磁盤上,利用RAID0技術并發(fā)讀寫,既提高可靠性又改善性能,不過RAID10的磁盤利用率較低,有一半的磁盤用來寫備份數(shù)據(jù)。

RAID3

一般情況下,一臺服務器上不會出現(xiàn)同時損壞兩塊磁盤的情況,在只損壞一塊磁盤的情況下,如果能利用其他磁盤的數(shù)據(jù)恢復損壞磁盤的數(shù)據(jù),這樣在保證可靠性和性能的同時,磁盤利用率也得到大幅提升。

在數(shù)據(jù)寫入磁盤的時候,將數(shù)據(jù)分成N-1份,并發(fā)寫入N-1塊磁盤,并在第N塊磁盤記錄校驗數(shù)據(jù),任何一塊磁盤損壞(包括校驗數(shù)據(jù)磁盤),都可以利用其他N-1塊磁盤的數(shù)據(jù)修復。

但是在數(shù)據(jù)修改較多的場景中,任何磁盤修改數(shù)據(jù)都會導致第N塊磁盤重寫校驗數(shù)據(jù),頻繁寫入的后果是第N塊磁盤比其他磁盤容易損壞,需要頻繁更換,所以RAID3很少在實踐中使用。

RAID5

相比RAID3,更多被使用的方案是RAID5。

RAID5和RAID3很相似,但是校驗數(shù)據(jù)不是寫入第N塊磁盤,而是螺旋式地寫入所有磁盤中。這樣校驗數(shù)據(jù)的修改也被平均到所有磁盤上,避免RAID3頻繁寫壞一塊磁盤的情況。

RAID6

如果數(shù)據(jù)需要很高的可靠性,在出現(xiàn)同時損壞兩塊磁盤的情況下(或者運維管理水平比較落后,壞了一塊磁盤但是遲遲沒有更換,導致又壞了一塊磁盤),仍然需要修復數(shù)據(jù),這時候可以使用RAID6。

RAID6和RAID5類似,但是數(shù)據(jù)只寫入N-2塊磁盤,并螺旋式地在兩塊磁盤中寫入校驗信息(使用不同算法生成)。

在相同磁盤數(shù)目(N)的情況下,各種RAID技術的比較如下表所示。

RAID技術有硬件實現(xiàn),比如專用的RAID卡或者主板直接支持,也可以通過軟件實現(xiàn),在操作系統(tǒng)層面將多塊磁盤組成RAID,在邏輯視作一個訪問目錄。RAID技術在傳統(tǒng)關系數(shù)據(jù)庫及文件系統(tǒng)中應用比較廣泛,是改善計算機存儲特性的重要手段。

RAID技術只是在單臺服務器的多塊磁盤上組成陣列,大數(shù)據(jù)需要更大規(guī)模的存儲空間和訪問速度。將RAID技術原理應用到分布式服務器集群上,就形成了Hadoop分布式文件系統(tǒng)HDFS的架構思想。

責任編輯:武曉燕 來源: 死磕Java與Scala技術棧
相關推薦

2010-06-04 18:45:43

Hadoop分布式文件

2011-07-15 17:48:27

Platform

2010-11-01 05:50:46

分布式文件系統(tǒng)

2018-03-01 16:26:30

HDFSHadoop系統(tǒng)

2017-10-17 08:33:31

存儲系統(tǒng)分布式

2012-08-31 16:04:11

HDFS分布式文件系統(tǒng)

2013-06-18 14:00:59

HDFS分布式文件系統(tǒng)

2010-11-15 13:24:07

分布式文件系統(tǒng)

2013-01-07 10:29:31

大數(shù)據(jù)

2012-09-19 15:05:24

MogileFS分布式文件系統(tǒng)

2012-09-19 13:43:13

OpenAFS分布式文件系統(tǒng)

2016-09-14 23:51:23

2018-08-14 10:44:58

HadoopHDFS命令

2013-06-18 14:33:13

HDFS分布式文件系統(tǒng)

2013-05-27 14:46:06

文件系統(tǒng)分布式文件系統(tǒng)

2012-10-09 16:43:47

FastDFS分布式文件系統(tǒng)

2012-05-10 15:23:53

分布式文件系統(tǒng)測試

2020-01-03 08:33:57

Ceph硬件系統(tǒng)

2012-05-10 14:04:07

分布式文件系統(tǒng)架構

2023-05-05 08:16:56

SeaweedFS分布式文件
點贊
收藏

51CTO技術棧公眾號