偷偷摘套内射激情视频,久久精品99国产国产精,中文字幕无线乱码人妻,中文在线中文a,性爽19p

FastDFS文件名策略及對小文件的優(yōu)化

運維 系統(tǒng)運維
FastDFS是一個應用級分布式文件存儲服務,其采用中心型結(jié)構(gòu)(類似GFS、HDFS、TFS等),主要用于大中型網(wǎng)站存儲資源文件。FastDFS具有輕量級,支持高并發(fā)放訪問,負載均衡,可擴展等優(yōu)點。而FastDFS最大的亮點就是對小文件的存儲性能較好,這主要來自于其文件名策略。

FastDFS是一個應用級分布式文件存儲服務,其采用中心型結(jié)構(gòu)(類似GFS、HDFS、TFS等),主要用于大中型網(wǎng)站存儲資源文件。FastDFS具有輕量級,支持高并發(fā)放訪問,負載均衡,可擴展等優(yōu)點。而FastDFS最大的亮點就是對小文件的存儲性能較好,這主要來自于其文件名策略。

1.小文件存儲性能優(yōu)化

小文件的性能瓶頸主要來自于對元數(shù)據(jù)服務器(如FastDFS中的TrackerServer或TFS中的NameServer)的訪問,因為當文件本身大小很小時,元數(shù)據(jù)存儲所占空間與文件內(nèi)容存儲所占空間的比例就變得較大,訪問元數(shù)據(jù)所消耗資源與訪問文件內(nèi)容所消耗資源的比例也變得較大。因此,通常對小文件存儲的優(yōu)化方法主要有兩大類思路:一是減少訪問元數(shù)據(jù)的次數(shù),比如Cache預??;二是減少元數(shù)據(jù)所占的存儲空間,比如FastDFS使用的文件名策略。

2. FastDFS文件名策略

FastDFS中的文件名是在向StorageServer存儲文件時由系統(tǒng)指定的,文件名中包含了VolumeID和FileID。也就是說,當客戶要讀取某個文件時,通過在客戶端對文件名進行解析,就可以知道該文件存儲在哪個Volume上和它在StorageServer中的FileID。但是此時用戶還不能讀取文件,因為他不知道Volume內(nèi)各個StorageServer的ip地址,也不知道應該從Volume內(nèi)的哪個StorageServer中讀取。所以用戶需手持欲訪問的文件的VolumeID向TrackerServer詢問,TrackerServe會均衡當前各StorageServer的IO負載狀況,返回一個最佳的StorageServer的ip地址。最后用戶與該StorageServer連接,出示欲訪問文件的FileID,StorageServer上會維持一個FileID對應偏移量的表,從而得到欲訪問文件的偏移量。

可見,F(xiàn)astDFS的文件名策略將文件存儲位置信息隱含在文件名中,從而減少了元數(shù)據(jù)量,達到了優(yōu)化小文件存儲性能的作用。

責任編輯:黃丹 來源: csdn博客
相關推薦

2009-06-29 09:57:05

Unix

2022-04-21 09:26:41

FastDFS開源分布式文件系統(tǒng)

2012-12-24 15:00:56

sis塞班

2020-08-13 14:58:06

Spark小文件存儲

2021-03-16 12:42:42

FreeDOS開源

2009-11-02 11:13:06

VB.NET讀寫文件

2022-09-28 08:18:01

I/ONIO2API

2013-03-11 14:42:08

Hadoop

2010-01-14 10:07:08

VB.NET文件名排序

2022-12-01 08:30:15

API調(diào)用系統(tǒng)

2009-03-11 09:28:18

文件名亂碼下載瀏覽器PHP

2009-10-24 10:38:34

2012-10-11 14:03:56

FastDFS分布式文件系統(tǒng)

2022-11-10 15:17:43

Windows文件Linux

2010-06-23 16:14:52

Linux Bash

2009-10-27 10:58:00

VB.NET文件名排序

2021-06-28 11:30:39

PythonWindows反斜杠

2010-10-29 13:37:17

2020-11-05 14:28:07

Shell腳本SQL

2018-03-28 17:51:24

LinuxUnix
點贊
收藏

51CTO技術棧公眾號