云盤為云服務(wù)器提供高可用、高可靠、持久化的數(shù)據(jù)塊級(jí)隨機(jī)存儲(chǔ)，其性能和數(shù)據(jù)可靠性尤為重要。UCloud根據(jù)以往的運(yùn)營經(jīng)驗(yàn)，在過去一年里重新設(shè)計(jì)了云盤的底層架構(gòu)，在提升普通云盤性能的同時(shí)，完成了對(duì)NVME高性能存儲(chǔ)的支持。下文從IO路徑優(yōu)化、元數(shù)據(jù)分片、支持NVME等技術(shù)維度著手，詳細(xì)講解了UCloud云硬盤的架構(gòu)升級(jí)和性能提升策略。

IO路徑優(yōu)化

過去，IO讀寫需要經(jīng)過三層架構(gòu)，請(qǐng)求首先通過網(wǎng)絡(luò)，訪問proxy代理服務(wù)器(proxy主要負(fù)責(zé)IO的路由獲取、緩存、讀寫轉(zhuǎn)發(fā)以及IO寫操作的三份復(fù)制)，***到達(dá)后端存儲(chǔ)節(jié)點(diǎn)。老的架構(gòu)里，每一次讀/寫IO都需要經(jīng)過2次網(wǎng)絡(luò)轉(zhuǎn)發(fā)操作。

為了降低延時(shí)，優(yōu)化后的方案將proxy負(fù)責(zé)的功能拆分，定義由client負(fù)責(zé)IO的路由獲取、緩存，以及將IO的讀寫發(fā)送到主chunk當(dāng)中，由主chunk負(fù)責(zé)IO寫的三份復(fù)制。架構(gòu)升級(jí)之后，IO的讀寫只需經(jīng)過兩層架構(gòu)，尤其對(duì)于讀IO而言，一次網(wǎng)絡(luò)請(qǐng)求可直達(dá)后端存儲(chǔ)節(jié)點(diǎn)，其時(shí)延平均可降低0.2-1ms。

元數(shù)據(jù)分片

分布式存儲(chǔ)會(huì)將數(shù)據(jù)進(jìn)行分片，從而將每個(gè)分片按多副本打散存儲(chǔ)于集群中。老架構(gòu)中，UCloud支持的分片大小是1G。但是，在特殊場景下(如業(yè)務(wù)IO熱點(diǎn)局限在較小范圍內(nèi))，1G分片會(huì)使普通SATA磁盤的性能非常差，并且在SSD云盤中，也不能均勻的將IO流量打撒到各個(gè)存儲(chǔ)節(jié)點(diǎn)上。所以新架構(gòu)中，UCloud將元數(shù)據(jù)分片調(diào)小，支持1M大小的數(shù)據(jù)分片。

分片過小時(shí)，需要同時(shí)分配或掛載的元數(shù)據(jù)量會(huì)非常大，容易超時(shí)并導(dǎo)致部分請(qǐng)求失敗。這是由于元數(shù)據(jù)采用的是預(yù)分配和掛載，申請(qǐng)?jiān)票P時(shí)系統(tǒng)直接分配所有元數(shù)據(jù)并全部load到內(nèi)存。

例如，同時(shí)申請(qǐng)100塊300G的云盤，如果按1G分片，需要同時(shí)分配3W條元數(shù)據(jù);如果按照1M分片，則需要同時(shí)分配3000W條元數(shù)據(jù)。

為了解決性能瓶頸，團(tuán)隊(duì)采用放棄路由由中心元數(shù)據(jù)節(jié)點(diǎn)分配的方式。該方案中，Client 端和集群后端采用同樣的計(jì)算規(guī)則R(分片大小、pg個(gè)數(shù)、映射方法、沖突規(guī)則);云盤申請(qǐng)時(shí)，元數(shù)據(jù)節(jié)點(diǎn)利用計(jì)算規(guī)則四元組判斷容量是否滿足;云盤掛載時(shí)，從元數(shù)據(jù)節(jié)點(diǎn)獲取計(jì)算規(guī)則四元組; IO時(shí)，按計(jì)算規(guī)則R(分片大小、pg個(gè)數(shù)、映射方法、沖突規(guī)則)計(jì)算出路路由元數(shù)據(jù)然后直接進(jìn)行IO。通過這種改造方案，可以確保在1M數(shù)據(jù)分片的情況下，元數(shù)據(jù)的分配和掛載暢通無阻，并節(jié)省IO路徑上的消耗。

對(duì)NVME高性能存儲(chǔ)的支持

NVME充分利用 PCI-E 通道的低延時(shí)以及并行性極大的提升NAND固態(tài)硬盤的讀寫性能和降低時(shí)延，其性能百倍于HDD。目前常用的基于NAND的固態(tài)硬盤可支持超10W的寫IOPS、40-60W的讀IOPS以及1GB-3GB讀寫帶寬，為支持NVME，軟件上需要配套的優(yōu)化設(shè)計(jì)。

首先，傳統(tǒng)架構(gòu)采用單線程傳輸，單個(gè)線程寫 IOPS達(dá)6W，讀IOPS達(dá)8W，難以支持后端NVME硬盤幾十萬的IOPS以及1-2GB的帶寬。為了利用NVME磁盤的性能，需要將單線程傳輸改為多線程傳輸，系統(tǒng)定期上報(bào)線程CPU以及磁盤負(fù)載狀態(tài)，當(dāng)滿足某線程持續(xù)繁忙、而有線程持續(xù)空閑情況時(shí)，可將選取部分磁盤分片的IO切換至空閑線程，目前5個(gè)線程可以完全發(fā)揮NVME的能力。

此外，在架構(gòu)優(yōu)化上，除了減少IO路徑層級(jí)以及更小分片外，UCloud在IO路徑上使用內(nèi)存池、對(duì)象池，減少不停的new delete，同時(shí)盡量用數(shù)組索引，減少查詢消耗，并避免字符串比較以及無謂的拷貝，最終充分地發(fā)揮NVME磁盤性能。

以上內(nèi)容最早發(fā)表于UCloud 10月12日在上海主辦的Tech Talk***期活動(dòng)。Tech Talk是UCloud面向用戶做深度技術(shù)交流的線下活動(dòng)，后面也會(huì)繼續(xù)舉辦，歡迎參加。