如何區(qū)分分布式/集群/并行文件系統(tǒng)?
分布式文件系統(tǒng)、集群文件系統(tǒng)、并行文件系統(tǒng),這三種概念很容易混淆,實際中大家也經(jīng)常不加區(qū)分地使用??偸怯腥藛柶疬@三者的區(qū)別和聯(lián)系,其實它們之間在概念上的確有交叉重疊的地方,但是也存在顯著不同之處。
分布式文件系統(tǒng)
自然地,“分布式”是重點,它是相對與本地文件系統(tǒng)而言的。分布式文件系統(tǒng)通常指C/S架構或網(wǎng)絡文件系統(tǒng),用戶數(shù)據(jù)沒有直接連接到本地主機,而是存儲在遠程存儲服務器上。NFS/CIFS是最為常見的分布式文件系統(tǒng),這就是我們說的NAS系統(tǒng)。分布式文件系統(tǒng)中,存儲服務器的節(jié)點數(shù)可能是1個(如傳統(tǒng)NAS),也可以有多個(如集群NAS)。對于單個節(jié)點的分布式文件系統(tǒng)來說,存在單點故障和性能瓶頸問題。除了NAS以外,典型的分布式文件系統(tǒng)還有AFS,以及下面將要介紹的集群文件系統(tǒng)(如Lustre, GlusterFS, PVFS2等)。
集群文件系統(tǒng)
“集群”主要分為高性能集群HPC(High Performance Cluster)、高可用集群HAC(High Availablity Cluster)和負載均衡集群LBC(Load Balancing Cluster)。集群文件系統(tǒng)是指協(xié)同多個節(jié)點提供高性能、高可用或負載均衡的文件系統(tǒng),它是分布式文件系統(tǒng)的一個子集,消除了單點故障和性能瓶問題。對于客戶端來說集群是透明的,它看到是一個單一的全局命名空間,用戶文件訪問請求被分散到所有集群上進行處理。此外,可擴展性(包括Scale-Up和Scale-Out)、可靠性、易管理等也是集群文件系統(tǒng)追求的目標。在元數(shù)據(jù)管理方面,可以采用專用的服務器,也可以采用服務器集群,或者采用完全對等分布的無專用元數(shù)據(jù)服務器架構。目前典型的集群文件系統(tǒng)有SONAS, ISILON, IBRIX, NetAPP-GX, Lustre, PVFS2, GlusterFS, Google File System, LoongStore, CZSS等。
并行文件系統(tǒng)
這種文件系統(tǒng)能夠支持并行應用,比如MPI。在并行文件系統(tǒng)環(huán)境下,所有客戶端可以在同一時間并發(fā)讀寫同一個文件。并發(fā)讀,大部分文件系統(tǒng)都能夠實現(xiàn)。并發(fā)寫實現(xiàn)起來要復雜許多,既要保證數(shù)據(jù)一致性,又要***限度提高并行性,因此在鎖機制方面需要特別設計,如細粒度的字節(jié)鎖。通常SAN共享文件系統(tǒng)都是并行文件系統(tǒng),如GPFS、StorNext、GFS、BWFS,集群文件系統(tǒng)大多也是并行文件系統(tǒng),如Lustre, Panasas等。
如何區(qū)分?
區(qū)分這三者的重點是“分布式”、“集群”、“并行”三個前綴關鍵字。簡單來說,非本地直連的、通過網(wǎng)絡連接的,這種為分布式文件系統(tǒng);分布式文件系統(tǒng)中,服務器節(jié)點由多個組成的,這種為集群文件系統(tǒng);支持并行應用(如MPI)的,這種為并行文件系統(tǒng)。在上面所舉的例子中也可以看出,這三個概念之間具有重疊之處,比如Lustre,它既是分布式文件系統(tǒng),也是集群和并行文件系統(tǒng)。但是,它們也有不同之處。集群文件系統(tǒng)是分布式文件系統(tǒng),但反之則不成立,比如NAS、AFS。SAN文件系統(tǒng)是并行文件系統(tǒng),但可能不是集群文件系統(tǒng),如StorNext。GFS、HDFS之類,它們是集群文件系統(tǒng),但可能不是并行文件系統(tǒng)。實際中,三者概念搞理清后,分析清楚文件系統(tǒng)的特征,應該還是容易正確地為其劃分類別的。















 
 
 




 
 
 
 