本文主要展示了基于 NVMe 協(xié)議命名空間與 VMware vSAN 虛擬化的性能優(yōu)化，從而實現(xiàn) SSD 每秒輸入輸出操作（IOPS）性能的提升。文中包含了硬件和軟件調(diào)優(yōu)、測試過程、方法、結(jié)果以及分析，所使用的配置特性包括一臺搭載 AMD EPYC? CPU 的 Dell EMC PowerEdge R7525 機(jī)架服務(wù)器，該服務(wù)器支持最多 24 個 PCIe? 4.0 NVMe SSD。測試表明，采用 12 塊 KIOXIA CM6 系列 PCIe 4.0 NVMe SSD 的配置可以實現(xiàn)高達(dá) 896,555 IOPS 的隨機(jī)讀取性能。

此外，本文還提供了些參考，旨在幫助存儲架構(gòu)師、系統(tǒng)集成商、渠道合作伙伴及其他關(guān)鍵利益相關(guān)者創(chuàng)建靈活的設(shè)計，以滿足數(shù)據(jù)中心的計算和存儲需求。文中還介紹了一種優(yōu)化配置，幫助應(yīng)用管理員和存儲架構(gòu)師在該配置下實現(xiàn)最佳存儲性能。附帶的其他優(yōu)勢包括：

• 使用 Dell EMC PowerEdge R7525 服務(wù)器和 KIOXIA CM6 系列 PCIe 4.0 NVMe SSD 的集群演示了在 vSAN HCI 環(huán)境下，極高的 IOPS 和吞吐量性能，并且延遲極低。
• 隨著集群和硬盤數(shù)量的增加，vSAN 虛擬化性能隨著集群規(guī)模和可用 SSD 的增多而提升。
• NVMe 協(xié)議命名空間與 vSAN 虛擬化的結(jié)合，使得 CM6 系列 SSD 的容量得以充分利用，包括緩存和容量層。
• 計算和存儲資源的高效擴(kuò)展可以在不犧牲性能的情況下降低數(shù)據(jù)中心成本。
• vSAN 虛擬化與 NVMe 命名空間適用于多種業(yè)務(wù)工作負(fù)載。

背景

企業(yè)依賴 IT 專家為各自的數(shù)據(jù)中心組建計算、存儲和網(wǎng)絡(luò)資源，以應(yīng)對諸如數(shù)據(jù)量激增、技術(shù)進(jìn)步以及硬件資源不斷更新等關(guān)鍵需求。每次更新硬件以滿足不同資源池的需求，不僅費用高昂，還會造成生產(chǎn)資源的浪費，因為硬件升級需要額外的測試來確定與現(xiàn)有基礎(chǔ)設(shè)施的兼容性。

這些硬件挑戰(zhàn)促使許多 IT 部門轉(zhuǎn)向軟件定義的超融合基礎(chǔ)設(shè)施（HCI）方式，該方式通過使用商用服務(wù)器硬件和超高速 SSD 本地存儲來虛擬化計算和存儲資源。虛擬化集群中的每個超融合計算/存儲節(jié)點都運行一個虛擬化軟件，該軟件將其資源共享給其他超融合節(jié)點。管理軟件可控制這些虛擬化軟件，以形成和管理服務(wù)器集群，并根據(jù)每個虛擬機(jī)（VM）的需求分配資源。HCI 方法使數(shù)據(jù)中心能夠根據(jù)其獨特的業(yè)務(wù)需求，通過小型服務(wù)器集群和/或按需擴(kuò)展的存儲來發(fā)展。

在本參考架構(gòu)中，我們使用的是 VMware Inc.的組件，包括 VMware ESXi? 虛擬化軟件、VMware vSphere? 企業(yè)級虛擬化平臺和 VMware vCenter? 管理軟件，他們幫助我們實現(xiàn)了 HCI 的管理。這些平臺能夠?qū)⒂嬎阗Y源從不同主機(jī)抽象到一個可以為虛擬機(jī)或容器提供資源的集群中。當(dāng) VMware vSAN 企業(yè)級存儲虛擬化軟件與 VMware vSphere 結(jié)合使用時，IT 部門可以在一個平臺中管理計算和存儲資源。VMware vSAN 軟件與 VMware vSphere 無縫集成，便于管理，而 SSD 和命名空間配置則有助于減少延遲并提供快速的 IOPS 性能。此外，vSAN 還可以利用 NVMe SSD 作為本地存儲，使其能夠劃分為緩存層和數(shù)據(jù)存儲層，從而提高性能。

行業(yè)挑戰(zhàn)

在 HCI 架構(gòu)中，整個磁盤要么用作緩存，要么用于數(shù)據(jù)存儲。并且，對緩存設(shè)備和磁盤組的數(shù)量存在限制。在 VMware 軟件中，每個緩存設(shè)備都要求整個磁盤被分配為緩存，且緩存容量限制為 600GB。為了從專用緩存 SSD 中獲得最佳性能，系統(tǒng)管理員需要購買一塊 3 DWPD、800GB 或 1.6TB 的 SSD，并將整個磁盤分配為緩存。這一過程效率低下，導(dǎo)致高端和高性能 SSD 的容量無法被充分利用，并使得存儲容量難以獨立于節(jié)點擴(kuò)展，從而迫使系統(tǒng)管理員使用性能較低的 SSD 來滿足緩存需求。

系統(tǒng)架構(gòu)

為了確定最佳配置，選擇了不同的 SSD 配置進(jìn)行測試。選用的 KIOXIA CM6 系列 PCIe 4.0 NVMe SSD 容量為 7.68TB，具備 PCIe 4.0 支持和較高的 DWPD 值。為了支持命名空間（以便 SSD 既可作為緩存也可用于數(shù)據(jù)存儲），選用了更大容量的驅(qū)動器，以便支持更高的數(shù)據(jù)每日寫入量。

比較如下：

• 7.68TB × 1 DWPD = 每天可寫入 7.68TB
• 800GB × 3 DWPD = 每天可寫入 2.4TB

較大的驅(qū)動器允許比小容量 3 DWPD 的 SSD 更高的每日寫入量。

后續(xù)，我們將進(jìn)行測試以展示運行NVMe命名空間和VMware vSAN軟件的配置的性能。后續(xù)將提供一些測試的系統(tǒng)配置

系統(tǒng)配置

服務(wù)器： Dell EMC PowerEdge R7525

系統(tǒng)總數(shù)： 3 臺

BIOS 版本： PowerEdge R7525 Version 1.7.3

操作系統(tǒng)版本： VMware ESXi 7.0.1 17325551 U1 P25

電源管理策略：高性能

處理器配置：

內(nèi)存模塊配置：

NVMe SSD 配置：

硬件配置：

• 啟用邏輯處理器（Logical Processor Enabled）
• 啟用虛擬化技術(shù)（Virtualization Technology Enabled）
• 啟用 IOMMU 支持（IOMMU Support Enabled）
• 啟用 L1 與 L2 流硬件預(yù)取器
• MADT 核心枚舉設(shè)為線性（Linear）
• 每個 Socket 設(shè)置為 1 個 NUMA 節(jié)點（NUMA Nodes Per Socket = 1）
• 禁用將 L3 緩存作為 NUMA 域使用
• 啟用 x2APIC 模式
• 每個處理器 CCD 與核心均啟用

BIOS 內(nèi)存設(shè)置：

• - 禁用系統(tǒng)內(nèi)存測試
• - 設(shè)置 DRAM 刷新為“性能”模式
• - 內(nèi)存工作模式為“優(yōu)化器模式”
• - 自動內(nèi)存交錯
• - 禁用機(jī)會性自刷新
• - 啟用可糾錯錯誤記錄

> ?? 說明：

> AMD EPYC 7552 處理器支持 96 核心配置，具備 128 條 PCIe Gen4 通道，能夠提供更高性能。結(jié)合雙插槽設(shè)計可支持高密度 SSD 配置。

內(nèi)存配置圖示：

服務(wù)器采用 16×16GB DIMM（紅色區(qū)域），如下圖所示：

圖片

主機(jī)安裝 / VMware vCenter 設(shè)置

當(dāng)硬件選型完成、設(shè)備上架并更新 BIOS 后，即可開始安裝 VMware vSphere。在本次參考架構(gòu)測試中，于每臺主機(jī)本地安裝了 VMware ESXi 7.0.1 版本（構(gòu)建號：17325551 U1 P25）。每臺主機(jī)的 ESXi hypervisor 安裝于插槽 #1 的 NVMe SSD 上。

?? 注意： 本次安裝并未使用 BOSS（Boot Optimized Server Storage）卡提供冗余，此安裝方式僅用于測試目的。

完成 ESXi 安裝后，為每臺主機(jī)分配管理 IP 地址用于基本管理。隨后安裝了 VMware vCenter Server? Appliance（VCSA），版本為 7.0.1.00200 - 構(gòu)建號 17327517，并將所有主機(jī)加入 vCenter。VCSA 是為運行 VMware vCenter Server 和相關(guān)服務(wù)而優(yōu)化的預(yù)配置虛擬機(jī)，運行在 Linux? 操作系統(tǒng)上。通過 VCSA 可對主機(jī)配置和管理進(jìn)行全面操作。

網(wǎng)絡(luò)配置

VMware 主機(jī)的標(biāo)準(zhǔn)配置通常包含至少 4 個 VLAN，分別用于：

• 智能平臺管理接口（IPMI）
• VMware 管理流量
• vMotion（虛擬機(jī)熱遷移）
• vSAN 存儲流量

很多系統(tǒng)管理員更傾向于將這些流量通過不同 VLAN 進(jìn)行分離，以隔離數(shù)據(jù)路徑。常見配置中至少使用兩個網(wǎng)絡(luò)端口，有時會用三個端口，其中一個專用于 IPMI（如 Dell iDRAC）。該端口通常為 1Gb/s 速率。

vSAN 推薦網(wǎng)絡(luò)要求：

• 最低要求為 10Gb/s 網(wǎng)絡(luò)
• 推薦配置為 4 個網(wǎng)絡(luò)端口，其中：

  a.2 個端口用于 vSAN、管理和 vMotion 的 trunk

  b.2 個端口用于 VM 數(shù)據(jù)流量

• 如果使用 100Gb/s 網(wǎng)絡(luò)，推薦使用 2 個端口實現(xiàn)冗余，這兩個 trunk 即可處理所有流量

網(wǎng)絡(luò)規(guī)模應(yīng)根據(jù) VM 數(shù)量、密度、vSAN 和 vMotion 等流量情況合理規(guī)劃。

參考架構(gòu)測試網(wǎng)絡(luò)配置：

每臺主機(jī)配置了 雙 100Gb/s 網(wǎng)絡(luò)連接，接入 100Gb/s 物理交換機(jī)。配置如下：

• 使用 VMware 分布式交換機(jī)（Distributed vSwitch）
• MTU 設(shè)置為 9000（VMware 允許的最大值，減少數(shù)據(jù)包開銷）
• 創(chuàng)建兩個 VLAN：一個用于 vSAN 流量，一個用于 VM、管理、vMotion 和部署流量

隨后，將三臺主機(jī)添加至該分布式交換機(jī)，并遷移管理用的 VMkernel 端口至該交換機(jī)，同時將兩個 100Gb/s NIC 添加進(jìn)交換機(jī)。

圖片

 VMkernel 適配器配置

配置完物理網(wǎng)絡(luò)和分布式交換機(jī)后，下一步是設(shè)置 VMkernel 端口。技術(shù)上講，最少只需一個 VMkernel 端口，但如果管理、vMotion 和 vSAN 使用不同 VLAN，則需要三個 VMkernel 端口。

在本次參考架構(gòu)中配置了兩個 VMkernel 適配器：

• 第一個適配器： 用于主機(jī)管理、vMotion 和虛擬機(jī)部署，確保主機(jī)可被 VCSA 管理，支持在線遷移（vMotion）與自動部署
•  第二個適配器： 專用于 VMware vSAN 虛擬化流量

?? 注意：vSphere 復(fù)制、vSAN 見證節(jié)點、VM 容錯等未在測試中啟用。如在實際部署中啟用，建議另設(shè) VLAN 及 VMkernel 端口進(jìn)行隔離。

NVMe 命名空間配置（NVMe Namespace）

在參考架構(gòu)中部署的每塊 KIOXIA CM6 Series PCIe 4.0 NVMe SSD，均通過 ESXi Hypervisor 的 Shell 命令 `esxcli nvme` 進(jìn)行命名空間的創(chuàng)建與掛載。

示例：添加命名空間

用作緩存（600GB）：

esxcli nvme device namespace create -A vmhba5 -c 1258291200 -p 0 -f 0 -m 0 -s 1258291200
esxcli nvme device namespace attach -A vmhba5 -c 1 -n 1

用作數(shù)據(jù)存儲（925GB）：

esxcli nvme device namespace create -A vmhba5 -c 1939865600 -p 0 -f 0 -m 0 -s 1939865600
esxcli nvme device namespace attach -A vmhba5 -c 1 -n 2

刪除命名空間：

esxcli nvme device namespace detach -A vmhba5 -c 1 -n 1
esxcli nvme device namespace delete -A vmhba5 -n 1

NVMe 命名空間配置示例：

在沒有NVMe命名空間的第一種配置中，每個CM6系列SSD都被主機(jī)識別為一個NVMe控制器。在有命名空間的配置中，每個CM6系列SSD也被主機(jī)識別為一個NVMe控制器，并被表示為一個單一的目標(biāo)，該目標(biāo)具有與每個驅(qū)動器上配置的命名空間數(shù)量相對應(yīng)的設(shè)備和路徑。這在下面的截圖中顯示：

圖片

當(dāng)首次安裝到主機(jī)上時，這些驅(qū)動器顯示為單個磁盤設(shè)備。一旦創(chuàng)建了命名空間并將其附加到CM6系列SSD上，它們就會在VMware vCenter中顯示為獨特的本地存儲驅(qū)動器，如下圖所示：

圖片

集群配置

參考架構(gòu)的下一步是創(chuàng)建服務(wù)器集群。使用三臺 Dell EMC PowerEdge R7525 服務(wù)器和十二塊 KIOXIA CM6 PCIe 4.0 NVMe SSD 創(chuàng)建了 vSphere 虛擬化平臺中的服務(wù)器集群。SSD 在三臺主機(jī)之間平均分配，每臺主機(jī)使用 4 塊 SSD。

集群創(chuàng)建初期禁用了所有服務(wù)，并將主機(jī)以維護(hù)模式添加至集群。主機(jī)加入后，可根據(jù)需要啟用高可用性（HA）和分布式資源調(diào)度（DRS）。為避免測試干擾，本次測試中 **未啟用** HA 和 DRS。

集群計算和存儲資源如 vCenter 管理界面截圖所示。

圖片

VMware vSAN 配置

接下來啟用 vSAN 服務(wù)并創(chuàng)建 vSAN 數(shù)據(jù)存儲。使用 VMware vSAN 標(biāo)準(zhǔn)選項和 VMware Skyline? 健康診斷工具，成功創(chuàng)建了虛擬化數(shù)據(jù)存儲。

vSAN 配置參數(shù)如下：

磁盤組構(gòu)建：

初始階段，從每臺主機(jī)選擇一塊 SSD 添加至 vSAN 平臺，并以該 SSD 的命名空間創(chuàng)建第一個磁盤組。隨后逐個添加其余三塊 SSD，每個 SSD 分別構(gòu)成一個新的磁盤組。

每個磁盤組包含該 SSD 上的所有命名空間，有效地支持緩存寫入和數(shù)據(jù)降級（de-staging）操作間的高效協(xié)作。

最終，每臺主機(jī)包含 4 個磁盤組，即每臺主機(jī)的 4 塊 SSD 均參與 vSAN。若每塊 SSD 劃分為 8 個命名空間，則：

• 每主機(jī)：4 × 8 = 32 個命名空間設(shè)備
• 整個集群：3 × 32 = 96 個虛擬磁盤
• 實際物理磁盤數(shù)量為 12（每主機(jī) 4 塊）

在 vCenter 中，這些命名空間被識別為獨立磁盤設(shè)備。

圖片

圖片

創(chuàng)建故障域

為每臺主機(jī)分別建立一個故障域（Fault Domain），確保數(shù)據(jù)能在不同主機(jī)間復(fù)制，提高 vSAN 的數(shù)據(jù)可靠性。

此配置在 vCenter 的故障域設(shè)置中完成，并于界面中可視化展示每個主機(jī)的分布。

創(chuàng)建虛擬機(jī)存儲策略

在測試中，針對虛擬機(jī)創(chuàng)建了多種存儲策略，所有策略參數(shù)均保持默認(rèn)。策略中啟用了厚置備（Thick Provisioning）以預(yù)留容量，但在 vSAN 中所有對象本質(zhì)上都為薄置備（Thin Provisioning），不會寫入 0 填充，因此不會影響性能測試。

條帶大?。⊿tripe Size）測試：

為每種命名空間配置（如 1+1、1+4、1+7）設(shè)置了從 1 到 5 的不同條帶大小進(jìn)行測試。每輪測試前通過如下步驟設(shè)置策略：

1. 在集群配置頁的 vSAN 服務(wù)中，啟用性能服務(wù)。

2. 在 HCIBench 創(chuàng)建 VM 時，選擇對應(yīng)存儲策略。

vSAN 存儲策略示例

可用性（Availability）

高級策略（Advanced Policy Rules）

測試方法

系統(tǒng)配置使用 HCIBench 2.5.1 進(jìn)行測試，它部署虛擬機(jī)并使用 VDBENCH 生成標(biāo)準(zhǔn)化工作負(fù)載。

針對 vSAN 數(shù)據(jù)存儲配置了不同的條帶數(shù)（Stripe Number）和磁盤組（Disk Groups）數(shù)量，視具體硬盤安裝數(shù)量而定。

HCIBench 測試參數(shù)：

其他測試參數(shù)：

? 使用 HCIBench 中的標(biāo)準(zhǔn) "easy run" 配置，可很好模擬現(xiàn)實工作負(fù)載。

測試用例

以下為在不同命名空間配置下的測試用例：

測試結(jié)果

以下為不同命名空間配置下的最佳測試結(jié)果對比（包括 IOPS、吞吐量和延遲）：

無 NVMe 命名空間配置

2 個 NVMe 命名空間配置

5 個 NVMe 命名空間配置

8 個 NVMe 命名空間配置

IOPS 性能總結(jié)

提升NVMe命名空間的IOPS性能如下圖所示：

圖片

圖片

在四種不同的工作負(fù)載下使用NVMe命名空間的IOPS性能優(yōu)勢，在所有情況下都顯著優(yōu)于不使用NVMe命名空間的情況。八（8）個命名空間配置與無命名空間配置之間的性能差異如下所示：

?? 總結(jié)：IOPS 性能提升對比（使用 8 個命名空間 vs 不使用）

圖片

RA測試結(jié)果表明，使用命名空間的四驅(qū)動器配置優(yōu)于相同配置但不使用命名空間的情況。隨著命名空間數(shù)量的增加，測試配置的IOPS性能也隨之提高。根據(jù)測試用例的工作負(fù)載，使用命名空間時，IOPS性能提高了385%到1195%。

吞吐量性能總結(jié)

在四種不同的工作負(fù)載下使用NVMe命名空間的吞吐量性能優(yōu)勢，在所有情況下也都顯著優(yōu)于不使用NVMe命名空間的情況，如下所示：

圖片

圖片

吞吐量提升對比（使用 8 個命名空間 vs. 無命名空間）

圖片

?? 結(jié)論：使用命名空間配置能夠大幅提升吞吐量，尤其是在高密度隨機(jī)讀取或混合負(fù)載的場景中

測試分析

在進(jìn)行詳細(xì)的測試分析時，我們考察了不同的磁盤組配置和命名空間數(shù)量對性能的影響。通過在 2、3、4 和 5 個磁盤組 設(shè)置中進(jìn)行測試，我們發(fā)現(xiàn)，4 個磁盤組 是最優(yōu)配置，尤其是當(dāng)這 4 塊驅(qū)動器分配到不同處理器的插槽時，表現(xiàn)最佳。

條帶大小（Stripe Size）對比：

測試期間，條帶大小設(shè)置從 1 到 5 都進(jìn)行了調(diào)整，盡管在寫入密集型的場景中，較大的條帶大小通常會提升寫入性能，但其對讀取性能產(chǎn)生了一定的負(fù)面影響。VMware 推薦在不明確需要其他配置時，條帶設(shè)置為 1，但可以根據(jù) SSD 數(shù)量、讀寫比及操作特性進(jìn)行調(diào)整。

內(nèi)存和 CPU 資源對虛擬機(jī)性能的影響：

• 當(dāng)為虛擬機(jī)提供更多 CPU、RAM 和更大的數(shù)據(jù)磁盤時，性能并沒有顯著改變。
• 測試表明，虛擬機(jī)數(shù)量 增加到 24 后，性能趨于平穩(wěn)，這表明在 vSAN 層出現(xiàn)了瓶頸。
• 超過 8 個數(shù)據(jù)磁盤的配置對性能產(chǎn)生負(fù)面影響。

性能瓶頸分析：

隨著虛擬機(jī)數(shù)量的增加，IOPS 性能趨于平穩(wěn)，并在 24 臺虛擬機(jī) 之后開始瓶頸?？紤]到每臺虛擬機(jī)的計算與存儲資源，建議調(diào)整虛擬機(jī)數(shù)目或優(yōu)化 vSAN 配置。

推薦建議

通過本次測試，使用 KIOXIA CM6 系列 SSD 和 NVMe 命名空間結(jié)合 VMware vSAN 虛擬化，可以顯著提高存儲性能，特別是在混合虛擬機(jī)負(fù)載和數(shù)據(jù)庫負(fù)載的場景下，性能分別提升了近 500%和 1200%。這些結(jié)果表明，使用命名空間可以大幅度改善存儲性能，并能有效降低延遲。

存儲架構(gòu)師和 VMware 管理員應(yīng)考慮：

• 在 vSAN 配置中利用 命名空間，最大化虛擬機(jī)可用的存儲性能。
• 根據(jù)工作負(fù)載的不同，靈活調(diào)整虛擬機(jī)數(shù)量、條帶大小等配置，避免過度擴(kuò)展導(dǎo)致性能瓶頸。
• 在設(shè)計服務(wù)器集群時，考慮硬件購買時包含命名空間支持，搭配合適的硬件配置以充分發(fā)揮性能。

?? 結(jié)論： 本參考架構(gòu)展示的配置能夠在與現(xiàn)有市場上一些全閃存陣列解決方案競爭時，提供類似或更好的性能。

最終總結(jié)

Dell EMC PowerEdge R7525 服務(wù)器（配備 AMD PCIe 4.0 CPU）、VMware vSAN 軟件和 KIOXIA CM6 系列 PCIe 4.0 SSD的結(jié)合，展示了超融合基礎(chǔ)設(shè)施（HCI）環(huán)境下的出色性能。通過結(jié)合 NVMe 命名空間 和對硬件與軟件的優(yōu)化設(shè)置，能夠極大提升 vSAN 性能，充分利用 KIOXIA CM6 系列 SSD 在緩存和容量層的雙重作用。

性能提升總結(jié)

• 在各種操作負(fù)載下，IOPS 性能提高了 385% 到 1,200%。
• 吞吐量性能顯著提升，尤其是在隨機(jī)讀寫密集型工作負(fù)載中，提升幅度達(dá)到 575% 到 887%。
• 延遲大幅降低，進(jìn)一步優(yōu)化了整體響應(yīng)時間。

?? 推薦： 在構(gòu)建 vSAN 環(huán)境時，強(qiáng)烈建議采用支持命名空間的 NVMe SSD，并根據(jù)具體需求調(diào)優(yōu)硬件和存儲策略，以最大化存儲性能。

調(diào)優(yōu)參數(shù)和設(shè)置總結(jié)

AMD EPYC CPU 調(diào)優(yōu)參數(shù)：

圖片

內(nèi)存設(shè)置：

圖片

KIOXIA CM6 SSD 設(shè)置：

圖片

VMware vSAN 設(shè)置：

圖片