在虛擬化及云計(jì)算技術(shù)大規(guī)模應(yīng)用于企業(yè)數(shù)據(jù)中心的科技潮流中，存儲(chǔ)性能無(wú)疑是企業(yè)核心應(yīng)用是否虛擬化、云化的關(guān)鍵指標(biāo)之一。傳統(tǒng)的做法是升級(jí)存儲(chǔ)設(shè)備，但這沒(méi)解決根本問(wèn)題，性能和容量不能兼顧，并且解決不好設(shè)備利舊問(wèn)題。因此，企業(yè)迫切需要一種大規(guī)模分布式存儲(chǔ)管理軟件，能充分利用已有硬件資源，在可控成本范圍內(nèi)提供***的存儲(chǔ)性能，并能根據(jù)業(yè)務(wù)需求變化，從容量和性能兩方面同時(shí)快速橫向擴(kuò)展。這就是Server SAN興起的現(xiàn)實(shí)基礎(chǔ)。

Ceph作為Server SAN的最典型代表，可對(duì)外提供塊、對(duì)象、文件服務(wù)的分布式統(tǒng)一存儲(chǔ)系統(tǒng)，不可避免成為關(guān)注熱點(diǎn)，越來(lái)越多的企業(yè)在生產(chǎn)環(huán)境部署和使用Ceph集群，截止今年4月份為止，云計(jì)算提供商DreamHost、歐洲核子研究中心CERN等企業(yè)已有3PB規(guī)模數(shù)據(jù)量的Ceph生產(chǎn)環(huán)境。

Ceph先進(jìn)的架構(gòu)，加上SSD固態(tài)盤(pán)，特別是高速PCIe SSD帶來(lái)的高性能，無(wú)疑將成為Ceph部署的典型場(chǎng)景。同時(shí)，由于SSD相對(duì)昂貴的價(jià)格及企業(yè)已有設(shè)備的利舊考慮，如何控制成本，利用少量的SSD盤(pán)來(lái)達(dá)到關(guān)鍵業(yè)務(wù)（如電信計(jì)費(fèi)系統(tǒng)的數(shù)據(jù)庫(kù)業(yè)務(wù)等）對(duì)性能的要求，做到性能和成本的***平衡點(diǎn)，是用好Ceph的關(guān)鍵。下面討論Ceph集群中SSD盤(pán)四種典型使用場(chǎng)景：

1. 作為OSD的日志盤(pán)

Ceph使用日志來(lái)提高性能及保證數(shù)據(jù)一致性。使用快速的SSD作為OSD的日志盤(pán)來(lái)提高集群性能是SSD應(yīng)用于Ceph環(huán)境中最常見(jiàn)的使用場(chǎng)景。由于OSD日志讀寫(xiě)的特點(diǎn)，在選擇SSD盤(pán)時(shí)，除了關(guān)注IOPS性能外，要重點(diǎn)注意以下3個(gè)方面：

1）寫(xiě)密集場(chǎng)景

OSD日志是大量小數(shù)據(jù)塊、隨機(jī)IO寫(xiě)操作。選購(gòu)SSD作為日志盤(pán)，需要重點(diǎn)關(guān)注隨機(jī)、小塊數(shù)據(jù)、寫(xiě)操作的吞吐量及IOPS；當(dāng)一塊SSD作為多個(gè)OSD的日志盤(pán)時(shí)，因?yàn)樯婕暗蕉鄠€(gè)OSD同時(shí)往SSD盤(pán)寫(xiě)數(shù)據(jù)，要重點(diǎn)關(guān)注順序?qū)懙膸挕?/p>

2）分區(qū)對(duì)齊

在對(duì)SSD分區(qū)時(shí)，使用Parted進(jìn)行分區(qū)并保證4KB分區(qū)對(duì)齊，避免分區(qū)不當(dāng)帶來(lái)的性能下降。

3）O_DIRECT和O_DSYNC寫(xiě)模式及寫(xiě)緩存

由Ceph源碼可知(ceph/src/os/FileJournal.cc)，OSD在寫(xiě)日志文件時(shí)，使用的flags是：

flags |= O_DIRECT | O_DSYNC 

O_DIRECT表示不使用Linux內(nèi)核Page Cache; O_DSYNC表示數(shù)據(jù)在寫(xiě)入到磁盤(pán)后才返回。

由于磁盤(pán)控制器也同樣存在緩存，而Linux操作系統(tǒng)不負(fù)責(zé)管理設(shè)備緩存，O_DSYNC在到達(dá)磁盤(pán)控制器緩存之后會(huì)立即返回給調(diào)用者，并無(wú)法保證數(shù)據(jù)真正寫(xiě)入到磁盤(pán)中，Ceph致力于數(shù)據(jù)的安全性，對(duì)用來(lái)作為日志盤(pán)的設(shè)備，應(yīng)禁用其寫(xiě)緩存。(# hdparm -W 0 /dev/hda 0)

使用工具測(cè)試SSD性能時(shí)，應(yīng)添加對(duì)應(yīng)的flag：dd … oflag=direct,dsync; fio … —direct=1, —sync=1…

#p#

2. 與SATA、SAS硬盤(pán)混用，但獨(dú)立組成全SSD的Pool

基本思路是編輯CRUSH MAP，先標(biāo)示出散落在各存儲(chǔ)服務(wù)器的SSD OSD以及硬盤(pán)OSD(host元素)，再把這兩種類型的OSD聚合起來(lái)形成兩種不同的數(shù)據(jù)根(root元素)，然后針對(duì)兩種不同的數(shù)據(jù)源分別編寫(xiě)數(shù)據(jù)存取規(guī)則(rule元素)，***，創(chuàng)建SSD Pool，并指定其數(shù)據(jù)存取操作都在SSD OSD上進(jìn)行。

在該場(chǎng)景下，同一個(gè)Ceph集群里存在傳統(tǒng)機(jī)械盤(pán)組成的存儲(chǔ)池，以及SSD組成的快速存儲(chǔ)池，可把對(duì)讀寫(xiě)性能要求高的數(shù)據(jù)存放在SSD池，而把備份數(shù)據(jù)存放在普通存儲(chǔ)池。

對(duì)應(yīng)于Ceph作為OpenStack里統(tǒng)一存儲(chǔ)后端，各組件所使用的四個(gè)存儲(chǔ)池：Glance Pool存放鏡像及虛擬機(jī)快照、Nova Pool存放虛擬機(jī)系統(tǒng)盤(pán)、Cinder Volume Pool存放云硬盤(pán)及云硬盤(pán)快照、Cinder Backup Pool存放云硬盤(pán)備份，可以判斷出，Nova及Cinder Volume存儲(chǔ)池對(duì)IO性能有相對(duì)較高的要求，并且大部分都是熱數(shù)據(jù)，可存放在SSD Pool；而Glance和Cinder Backup存儲(chǔ)池作為備份冷數(shù)據(jù)池，對(duì)性能要求相對(duì)較低，可存放在普通存儲(chǔ)池。

這種使用場(chǎng)景，SSD Pool里的主備數(shù)據(jù)都是在SSD里，但正常情況下，Ceph客戶端直接讀寫(xiě)的只有主數(shù)據(jù)，這對(duì)相對(duì)昂貴的SSD來(lái)說(shuō)存在一定程度上的浪費(fèi)。這就引出了下一個(gè)使用場(chǎng)景—配置CRUSH數(shù)據(jù)讀寫(xiě)規(guī)則，使主備數(shù)據(jù)中的主數(shù)據(jù)落在SSD的OSD上。

Ceph里的命令操作不詳細(xì)敘述，簡(jiǎn)單步驟示例如下：

1）標(biāo)示各服務(wù)器上的SSD與硬盤(pán)OSD

# SAS HDD OSD 
host ceph-server1-sas { 
id -2 
alg straw 
hash 0 
item osd.0 weight 1.000 
item osd.1 weight 1.000 
… 
} 
# SSD OSD 
host ceph-server1-ssd { 
id -2 
alg straw 
hash 0 
item osd.2 weight 1.000 
… 
} 

2) 聚合OSD，創(chuàng)建數(shù)據(jù)根

root sas { 
id -1 
alg straw 
hash 0 
item ceph-server1-sas 
… 
item ceph-servern-sas 
} 
root ssd { 
id -1 
alg straw 
hash 0 
item ceph-server1-ssd 
… 
item ceph-servern-ssd 
} 

3）創(chuàng)建存取規(guī)則

rule sas { 
ruleset 0 
type replicated 
… 
step take sas 
step chooseleaf firstn 0 type host 
step emit 
} 
rule ssd { 
ruleset 1 
type replicated 
… 
step take ssd 
step chooseleaf firstn 0 type host 
step emit 
} 

4）編譯及使用新的CRUSH MAP

# crushtool -c ssd_sas_map.txt -o ssd_sas_map 
# ceph osd setcrushmap -i ssd_sas_map 

5）創(chuàng)建Pool并指定存取規(guī)則

# ceph osd pool create ssd 4096 4096 
# ceph osd pool set ssd crush_ruleset 1 

#p#

3. 配置CRUSH數(shù)據(jù)讀寫(xiě)規(guī)則，使主備數(shù)據(jù)中的主數(shù)據(jù)落在SSD的OSD上

該場(chǎng)景基本思路和第二種類似，SATA/SAS機(jī)械盤(pán)和SSD混用，但SSD的OSD節(jié)點(diǎn)不用來(lái)組成獨(dú)立的存儲(chǔ)池，而是配置CURSH讀取規(guī)則，讓所有數(shù)據(jù)的主備份落在SSD OSD上。Ceph集群內(nèi)部的數(shù)據(jù)備份從SSD的主OSD往非SSD的副O(jiān)SD寫(xiě)數(shù)據(jù)。

這樣，所有的Ceph客戶端直接讀寫(xiě)的都是SSD OSD 節(jié)點(diǎn)，既提高了性能又節(jié)約了對(duì)OSD容量的要求。

配置重點(diǎn)是CRUSH讀寫(xiě)規(guī)則的設(shè)置，關(guān)鍵點(diǎn)如下：

rule ssd-primary { 
ruleset 1 
… 
step take ssd 
step chooseleaf firstn 1 type host #從SSD根節(jié)點(diǎn)下取1個(gè)OSD存主數(shù)據(jù) 
step emit 
step take sas 
step chooseleaf firstn -1 type host #從SAS根節(jié)點(diǎn)下取其它OSD節(jié)點(diǎn)存副本數(shù)據(jù) 
step emit 
} 

4. 作為Ceph Cache Tiering技術(shù)中的Cache層

Cache Tiering的基本思想是冷熱數(shù)據(jù)分離，用相對(duì)快速/昂貴的存儲(chǔ)設(shè)備如SSD盤(pán)，組成一個(gè)Pool來(lái)作為Cache層，后端用相對(duì)慢速/廉價(jià)的設(shè)備來(lái)組建冷數(shù)據(jù)存儲(chǔ)池。

Ceph Cache Tiering Agent處理緩存層和存儲(chǔ)層的數(shù)據(jù)的自動(dòng)遷移，對(duì)客戶端透明操作透明。Cahe層有兩種典型使用模式：

1）Writeback模式

Ceph客戶端直接往Cache層寫(xiě)數(shù)據(jù)，寫(xiě)完立即返回，Agent再及時(shí)把數(shù)據(jù)遷移到冷數(shù)據(jù)池。當(dāng)客戶端取不在Cache層的冷數(shù)據(jù)時(shí)，Agent負(fù)責(zé)把冷數(shù)據(jù)遷移到Cache層。也就是說(shuō)，Ceph客戶端直接在Cache層上進(jìn)行IO讀寫(xiě)操作，不會(huì)與相對(duì)慢速的冷數(shù)據(jù)池進(jìn)行數(shù)據(jù)交換。

這種模式適用于可變數(shù)據(jù)的操作，如照片/視頻編輯、電商交易數(shù)據(jù)等等。

2）只讀模式

Ceph客戶端在寫(xiě)操作時(shí)往后端冷數(shù)據(jù)池直接寫(xiě)，讀數(shù)據(jù)時(shí)，Ceph把數(shù)據(jù)從后端讀取到Cache層。

這種模式適用于不可變數(shù)據(jù)，如微博/微信上的照片/視頻、DNA數(shù)據(jù)、X射線影像等。

CRUSH算法是Ceph集群的核心，在深刻理解CRUSH算法的基礎(chǔ)上，利用SSD的高性能，可利用較少的成本增加，滿足企業(yè)關(guān)鍵應(yīng)用對(duì)存儲(chǔ)性能的高要求。

附. 名詞解釋：

• I. Ceph: 開(kāi)源分布式統(tǒng)一存儲(chǔ)（塊、對(duì)象、文件）項(xiàng)目。
• II. Ceph OSD：Ceph Object Store Device的縮寫(xiě)，可以指Ceph里的一個(gè)存儲(chǔ)單元，也可以指Ceph里的OSD管理進(jìn)程。每臺(tái)服務(wù)器上可運(yùn)行多個(gè)OSD進(jìn)程，典型的Ceph集群由奇數(shù)個(gè)Monitor節(jié)點(diǎn)和多個(gè)OSD節(jié)點(diǎn)組成。
• III. CRUSH：CRUSH算法是Ceph的核心模塊，它通過(guò)計(jì)算數(shù)據(jù)存儲(chǔ)位置來(lái)決定如何存取數(shù)據(jù)，同時(shí)也讓Ceph客戶端可以直接和各OSD節(jié)點(diǎn)通信而不是一個(gè)中心節(jié)點(diǎn)，這樣，避免了Ceph集群的單點(diǎn)故障、性能瓶頸，極大增強(qiáng)了線性擴(kuò)展能力。
• IV. SSD：Solid State Drive，固態(tài)盤(pán)，不解釋。
• V. SATA/SAS/PCIe：不同數(shù)據(jù)總線接口。高端存儲(chǔ)里大部分存儲(chǔ)節(jié)點(diǎn)采用PCIe技術(shù)進(jìn)行互聯(lián)；PCIe接口SSD也是大勢(shì)所趨。SATA和SAS，一個(gè)指令集是ATA，一個(gè)是SCSI，兩者都可用來(lái)作為機(jī)械盤(pán)或固態(tài)盤(pán)的接口。
• VI. 幾種寫(xiě)緩存模式：
• Write-through：向高速Cache寫(xiě)入數(shù)據(jù)時(shí)同時(shí)也往后端慢速設(shè)備寫(xiě)一份，兩者都寫(xiě)完才返回。
• Write-back：向高速Cache寫(xiě)完數(shù)據(jù)后立即返回，數(shù)據(jù)不保證立即寫(xiě)入后端設(shè)備。給調(diào)用者的感覺(jué)是速度快，但需要額外的機(jī)制來(lái)防止掉電帶來(lái)的數(shù)據(jù)不一致。
• none：禁用寫(xiě)緩存，直接往Cache后端慢速設(shè)備寫(xiě)數(shù)據(jù)。
• 計(jì)算機(jī)內(nèi)各級(jí)存儲(chǔ)設(shè)備都存在Cache機(jī)制（CPU寄存器->L1緩存->L2緩存->內(nèi)存->設(shè)備控制器緩存->物理設(shè)備）

原文鏈接：http://www.openstack.cn/p3081.html