用NVMe取代磁盤時代的SCSI協(xié)議，從而可以充分釋放閃存的力量。但到目前為止，各家設備供應商在就如何構建NVMe產品生態(tài)這點上，遠遠未能達成共識。

30多年來，存儲行業(yè)一直依靠小型計算機系統(tǒng)接口（SCSI）協(xié)議保持服務器與存儲、以及磁盤陣列內部的通訊。盡管物理連接技術不斷演進，該通訊協(xié)議一直以來保持相對穩(wěn)定。

然而，伴隨著Nand閃存存儲的問世，問題隨之凸顯。閃存的性能較機械磁盤快出了幾個數(shù)量級，能夠并行處理多項請求。伴隨著供應商在可擴展性方面將驅動器容量提升至數(shù)十個TB，SCSI日益成為閃存利用率的瓶頸所在。

而今，非易失性存儲器（NVMe）作為一種全新的協(xié)議，被認為將取代SCSI，充分發(fā)揮出Nand存儲的優(yōu)勢。

[[218714]]

NVMe與閃存的潛在力量

NVMe是一種協(xié)議，而非某種封裝形式或媒介類型。支持NVMe的物理設備有多種形式，例如AIC（接插卡或是傳統(tǒng)上的PCIe卡）、U.2（類似傳統(tǒng)的硬盤驅動器）以及M.2（一種記憶棒）。這些全部使用PCIe作為接口總線。

NVMe降低閃存通信過程中所涉及到的軟件延遲，改善了硬件的中斷時間（即處理器到設備的性能），并且相較于SCSI增加了并發(fā)處理請求的能力，同時支持更深層的輸入/輸出（I / O）隊列（65,535個隊列深度）。最終實現(xiàn)了更高的吞吐量（IOPS和數(shù)據(jù)量）和更低的I / O延遲。

已經有供應商開始應用NVMe，并在他們***的高速磁盤陣列產品中使用該技術。這帶來了一種全新的體系架構，NVMe over fabric（NVMf），能夠同時充分利用到光纖通道和以太網(wǎng)網(wǎng)絡。

我們來看下各家供應商的解決方案，探討他們如何在現(xiàn)有和今后的產品線中使用NVMe。

存儲產品中的NVMe

X-IO以其ISE系列磁盤模式封裝而聞名。其最近通過全新的Axellio平臺扭轉了財務困境，該平臺采取2U機架高度的雙控制器架構，最多支持4顆Intel Xeon E5-2699v4處理器（共計88內核），高達2TB的DRAM，以及1至6個FlashPac，每個FlashPac最多可容納12個雙端口NVMe固態(tài)硬盤（SSD）。假如配置6.4TB的驅動器，那么系統(tǒng)的整體容量目前可達460TB。

系統(tǒng)的核心是一款被稱為FabricXpress的PCIe架構，將兩個控制器分別與每個雙端口驅動器相聯(lián)。這使得X-IO能夠以35μs的延遲獲得高達1200萬IOPS（4KB），以及60Gbps的持續(xù)吞吐量。Axellio的設計核心是雙控制器架構，但其具備的88顆內核可用作傳統(tǒng)存儲設備或橫向擴展平臺的基礎。支持額外插件模塊的功能實現(xiàn)了運行分析或支撐其它流程密集型工作負載的能力，這就是NVMe架構真正具有價值的地方，使得計算盡可能貼近存儲。

Pure Storage在2017年4月發(fā)布了FlashArray//X架構，升級現(xiàn)有的FlashArray架構。事實上，F(xiàn)lashArray產品早已通過引入全新的//X70控制器，以及DirectFlash NVMe驅動器模塊支持NVMe功能。與FlashArray//M相比，這款產品降低了一半的延遲，性能吞吐量提高了兩倍，Pure稱之為四倍的性能密度。雖說FlashArray // X在性能改進方面看來并非是突破性的——注意客戶仍然必須在前端使用標準的光纖通道與iSCSI協(xié)議——但其性能密度的改進精簡了占地空間。 Pure在單個機箱的3U機架空間內，可以實現(xiàn)近乎PB級的存儲容量（大約比原先節(jié)省了80% 的占地空間），同時比上一代FlashArray // M具備更高的性能。

更有趣的是，Pure在未來會面向NVMe-over-Fabrics發(fā)展，從而提高前端性能，同時可以單個控制器內解決更多的閃存容量問題。DirectFlash機架尚未上市，但Pure已經承諾在系統(tǒng)擴容時支持512TB的附加閃存，并且通過融合以太網(wǎng)（RoCE）技術支持50Gbps的以太網(wǎng)速率，以及遠程直接內存訪問（RDMA）技術。

在面向NVMe-over-Fabrics方面，Excelero是一家初創(chuàng)型公司，正努力借助NVMf來開發(fā)一個名為NVMesh的橫向擴展節(jié)點架構。 NVMesh系統(tǒng)具有多個通過融合以太網(wǎng)和RoCE，使用被稱為遠程直接驅動訪問（RDDA）的專有技術實現(xiàn)多組控制器互聯(lián)。這種方式實現(xiàn)了任何節(jié)點均可以訪問系統(tǒng)中駐留的驅動器，而最小化，甚至消除處理器性能的損耗。與Axellio一樣，NVMesh可以以超融合形式部署，由每個節(jié)點提供計算和存儲資源，或者作為專用的存儲平臺，計算節(jié)點的形式運行客戶端數(shù)據(jù)塊驅動應用。

不過，NVMesh作為軟件解決方案的模式進行銷售，客戶可以使用自己現(xiàn)有的硬件，或是從合作伙伴那里購置，例如Micron將NVMesh合并到其SolidScale產品當中。 Excelero聲稱，NVMesh可以近乎100％發(fā)揮出主機NVMe的性能，這種松耦合式的架構自然是很有意義的。但這遠非***。目前，數(shù)據(jù)保護僅限于RAID-0、RAID-1和RAID-10，不支持存儲空間的壓縮——除非在客戶端額外單獨實施。但是這些都已羅列在日后的路線圖上。

E8 Storage是另一家使用光纖結構連接客戶端與存儲的初創(chuàng)企業(yè)。 E8-S24和E8-D24系列設備將I/O路徑和控制平面分為單獨的硬件。 E8磁盤架上分別可安裝24塊NVMe SSD驅動器，提供四到八個100GbE網(wǎng)絡連接。一個單獨的機架可以使用RDMA NIC連接多達96臺客戶機服務器。數(shù)據(jù)服務（可用性和管理服務）則經由一對不位于數(shù)據(jù)通道上的E8控制器負責處理。

和Excelero一樣，E8 Storage通過系統(tǒng)管理分散NVMe容量，并將控制器從I / O路徑上移除。這樣提供了更大的系統(tǒng)擴展性，而無需在每個控制器中部署大量的Xeon處理器。但是，使用額外的驅動程序確實引入了客戶端的復雜性。E8聲稱能夠實現(xiàn)100μs（讀取）、40μs（寫入）的低延遲，確保1,000萬次的讀取IOPS，100萬次的寫入IOPS以及40Gbps和20Gbps的讀寫吞吐量。

另一家初創(chuàng)企業(yè)，Apeiron Data Systems使用基于網(wǎng)絡的NVMe，同樣在數(shù)據(jù)通道上避開控制器。這種情況下，Apeiron的ADS1000平臺使用被稱為NVMe-over-Ethernet的協(xié)議，其要求在每個客戶端中部署定制化的主機總線適配器（HBA）。該HBA使用Intel Altera FPGA來封裝NVMe請求，并通過以太網(wǎng)的第2層協(xié)議發(fā)送，從而實現(xiàn)低至100μs延遲的橫向擴展架構，每個機箱最多可實現(xiàn)384TB的存儲容量（24塊16TB驅動器） 。有趣的是，Apeiron還引用了英特爾Optane的性能數(shù)據(jù)，聲稱可實現(xiàn)12微秒的讀/寫延遲。這代表著，去除控制器瓶頸的體系結構在性能方面處于絕對領先的地位。

***，我們還要提及到Kaminario，該公司最近發(fā)布了它的K2.N平臺。這是一個可實現(xiàn)模塊化組合的存儲基礎架構，允許獨立地擴展磁盤架和控制器。在后端，Kaminario控制器（c.nodes）使用NVMe over Fabrics訪問存儲容量（m.nodes）。在前端，除了光纖通道和iSCSI之外，系統(tǒng)還支持NVMf，擴展了支持的主機接口類型。

NVMe閃存架構未來之路在何方？

我們會看到三種不同的模式出現(xiàn)。

在主機連接上使用NVMe-over-fabric來代替光纖通道或iSCSI。這不需要新的硬件，因為現(xiàn)有的HBA完全可以支持NVMf。

將控制器從數(shù)據(jù)路徑中移除的松耦合架構。其中大多數(shù)需要定制或（可能）更昂貴的HBA和主機驅動器。

在系統(tǒng)后端使用NVMe-over-fabric的趨勢。

我想，在不遠的將來，可以期待NVMe在所有要求高性能的解決方案中全面取代SAS和SATA?？蛻裘媾R的挑戰(zhàn)可能則是如何實現(xiàn)用全新的共享存儲取代傳統(tǒng)的共享陣列。這意味著要以更為宏觀的角度思考整體架構——或將沿著超融合基礎架構的發(fā)展路線。