當(dāng)下流行的分布式文件系統(tǒng)大閱兵
本文對(duì)目前數(shù)種分布式文件系統(tǒng)進(jìn)行簡(jiǎn)單的介紹。當(dāng)前比較流行的分布式文件系統(tǒng)包括：Lustre、Hadoop、MogileFS、FreeNAS、FastDFS、NFS、OpenAFS、MooseFS、pNFS、以及GoogleFS。
51CTO編輯推薦：下一代Linux文件系統(tǒng)
Lustre（www.lustre.org）
lustre是一個(gè)大規(guī)模的、安全可靠的，具備高可用性的集群文件系統(tǒng)，它是由SUN公司開發(fā)和維護(hù)。該項(xiàng)目主要的目的就是開發(fā)下一代的集群文件系統(tǒng)，可以支持超過10000個(gè)節(jié)點(diǎn)，數(shù)以PB的數(shù)量存儲(chǔ)系統(tǒng)。
lustre是開放源代碼的集群文件系統(tǒng)，采取GPL許可協(xié)議，目前在集群計(jì)算機(jī)里，計(jì)算機(jī)與磁盤間數(shù)據(jù)交換的提升無法跟上微處理器和內(nèi)存增長(zhǎng)的速度，從而也拖累了應(yīng)用程序的性能，一種新興的集群文件系統(tǒng)軟件提高了I/O速度，可能降低企業(yè)購(gòu)買存儲(chǔ)設(shè)備的成本并改變企業(yè)購(gòu)買存儲(chǔ)的方式，集群文件系統(tǒng)已經(jīng)在大學(xué)、實(shí)驗(yàn)室和超級(jí)計(jì)算機(jī)研究中心里使用，而且即將進(jìn)入通用商業(yè)計(jì)算市場(chǎng)。新的集群文件系統(tǒng)采用了開源的lustre技術(shù)，由美國(guó)能源部(Department Of Energy）開發(fā)，惠普公司(HP）提供商業(yè)支持。它顯著提高了輸入輸出（I/O)速度，目前已經(jīng)在高校、國(guó)家實(shí)驗(yàn)室和超級(jí)計(jì)算研究中心產(chǎn)生了一定影響，未來幾年中，它很有可能進(jìn)入普通的商業(yè)計(jì)算機(jī)領(lǐng)域。
運(yùn)行在linux下,開發(fā)語言c/c++
Hadoop（hadoop.apache.com）
hadoop并不僅僅是一個(gè)用于存儲(chǔ)的分布式文件系統(tǒng)，而是設(shè)計(jì)用來在由通用計(jì)算設(shè)備組成的大型集群上執(zhí)行分布式應(yīng)用的框架。
如下圖是hadoop的體系結(jié)構(gòu)：
授權(quán)協(xié)議apache,開發(fā)語言java，資源耗費(fèi)有點(diǎn)大。
MogileFs（www.danga.com）
Mogile Fs是一個(gè)開源的分布式文件系統(tǒng)，主要特征包括
1、應(yīng)用層的組件
2、無單點(diǎn)故障
3、自動(dòng)文件復(fù)制
4、具有比RAID更好的可靠性
5、無需RAID nigukefs支持 ，運(yùn)行在linux下。
FreeNAS（www.openqrm.org）
FreeNAS是網(wǎng)絡(luò)附加存儲(chǔ)(NAS)服務(wù)專用操作系統(tǒng)(FreeBSD的簡(jiǎn)化版 )?；趍0n0wall防火墻，該系統(tǒng)通過提供磁盤管理及RAID軟件，可讓用戶home將PC轉(zhuǎn)換為NAS服務(wù)器，支持FTP/NFS/RSYNC/CIFS/AFP/UNISON/SSH sourceforge.net/pro協(xié)議，旨在讓人們重新使用舊硬件.
FastDFS（code.google.com/p/fastdfs）
FastDFS是一個(gè)開源的分布式文件系統(tǒng)，它對(duì)文件進(jìn)行管理，功能包括:文件存儲(chǔ)、文件同步、文件訪問(文件上傳、文件下載)等，解決了大容量存儲(chǔ)和負(fù)載均衡的問題。特別適合以文件為載體的在線服務(wù)， 如相冊(cè)網(wǎng)站，視頻網(wǎng)站等等。FastDFS服務(wù)端有兩個(gè)角色：跟蹤器(tracker)和存儲(chǔ)節(jié)點(diǎn)(storage)。跟蹤器主要做調(diào)度的工作，在訪問上起負(fù)載均衡的作用。存儲(chǔ)節(jié)點(diǎn)存儲(chǔ)文件，完成文件管理的所有功能：
存儲(chǔ)、同步、和提供存取接口，F(xiàn)astDFS同時(shí)對(duì)文件的meta data進(jìn)行管理。所謂文件的meta data就是文件的相關(guān)屬性，以鍵值對(duì)(key value pair)方式表示，如：width=1024,其中的key為width，value為1024。文件meta data是文件屬性列表，可以包含多個(gè)鍵值樹。
開發(fā)語言c/c++，運(yùn)行在linux系統(tǒng)下。
#p#
NFS（www.tldp.org/HOWTO/NFS-HOWTO/index.html）
網(wǎng)絡(luò)文件系統(tǒng)是FreeBSD支持的文件系統(tǒng)中的一種，也被稱為NFS。
NFS允許一個(gè)系統(tǒng)在網(wǎng)絡(luò)上與它人共享目錄和文件。通過使用NFS， 用戶和程序可以象訪問本地文件一樣訪問遠(yuǎn)端系統(tǒng)上的文件。它的好處是：
1、本地工作站使用更少的磁盤空間，因?yàn)橥ǔ５臄?shù)據(jù)可以存放在一臺(tái)機(jī)器上而且可以通過網(wǎng)絡(luò)訪問到。
2、用戶不必在每個(gè)網(wǎng)絡(luò)上機(jī)器里面都有一個(gè)home目錄。home目錄可以被放在NFS服務(wù)器上并且在網(wǎng)絡(luò)上處處可用。
3、諸如軟驅(qū)、CDROM、和ZIP之類的存儲(chǔ)設(shè)備可以在網(wǎng)絡(luò)上面被別的機(jī)器使用?？梢詼p少整個(gè)網(wǎng)絡(luò)上的可移動(dòng)介質(zhì)設(shè)備的數(shù)量。
開發(fā)語言c/c++,可跨平臺(tái)運(yùn)行。
OpenAFS（www.openafs.org）
OpenAFS是一套開放源代碼的分布式文件系統(tǒng)，允許系統(tǒng)之間通過局域網(wǎng)和廣域網(wǎng)來分享檔案和資源。OpenAFS是圍繞一組叫做cell的文件服務(wù)器組織的，每個(gè)服務(wù)器的標(biāo)識(shí)通常是隱藏在文件系統(tǒng)中，從AFS客戶機(jī)登陸的用戶將分辨不出他們?cè)谀莻€(gè)服務(wù)器上運(yùn)行，因?yàn)閺挠脩舻慕嵌壬峡?，他們想在有識(shí)別的Unix文件系統(tǒng)語義的單個(gè)系統(tǒng)上運(yùn)行。
文件系統(tǒng)內(nèi)容通常都是跨cell復(fù)制，一便一個(gè)硬盤的失效不會(huì)損害OpenAFS客戶機(jī)上的運(yùn)行。OpenAFS需要高達(dá)1GB的大容量客戶機(jī)緩存，以允許訪問經(jīng)常使用的文件。它是一個(gè)十分安全的基于kerbero的系統(tǒng)，它使用訪問控制列表(ACL）以便可以進(jìn)行細(xì)粒度的訪問，這不是基于通常的Linux和Unix安全模型。開發(fā)協(xié)議IBM Public，運(yùn)行在linux下。
MooseFs（derf.homelinux.org）
Moose File System是一個(gè)具備容錯(cuò)功能的網(wǎng)路分布式文件統(tǒng)，它將數(shù)據(jù)分布在網(wǎng)絡(luò)中的不同服務(wù)器上，MooseFs通過FUSE使之看起來就 是一個(gè)Unix的文件系統(tǒng)。但有一點(diǎn)問題，它還是不能解決單點(diǎn)故障的問題。開發(fā)語言perl,可跨平臺(tái)操作。
pNFS（www.pnfs.com）
網(wǎng)絡(luò)文件系統(tǒng)(Network FileSystem,NFS)是大多數(shù)局域網(wǎng)(LAN）的重要的組成部分。但NFS不適用于高性能計(jì)算中苛刻的輸入書櫥密集型程序，至少以前是這樣。NFS標(biāo)準(zhǔn)的罪行修改納入了Parallel NFS(pNFS），它是文件共享的并行實(shí)現(xiàn)，將傳輸速率提高了幾個(gè)數(shù)量級(jí)。
開發(fā)語言c/c++,運(yùn)行在linu下。
googleFs
據(jù)說是一個(gè)比較不錯(cuò)的一個(gè)可擴(kuò)展分布式文件系統(tǒng)，用于大型的，分布式的，對(duì)大量數(shù)據(jù)進(jìn)行訪問的應(yīng)用。它運(yùn)行于廉價(jià)的普通硬件上，但可以提供容錯(cuò)功能，它可以給大量的用戶提供性能較高的服務(wù)。google自己開發(fā)的。
【編輯推薦】
