“近線存儲”是一個時(shí)有耳聞，但大多數(shù)用戶已經(jīng)不太熟悉的概念。這個概念誕生的本意是在在線存儲和離線存儲之間細(xì)分出的應(yīng)用場景。

近線、在線、離線存儲的概念

在線存儲：在線存儲指存儲設(shè)備和所存儲的數(shù)據(jù)時(shí)刻保持“在線”狀態(tài)，可供用戶隨時(shí)讀取。這種“隨時(shí)”是實(shí)時(shí)性的要求，要求較低的訪問時(shí)延，通常是毫秒級。隨著SSD的出現(xiàn)，相應(yīng)的時(shí)延還可以進(jìn)一步降低到微秒級。足夠低的訪問時(shí)延才能滿足計(jì)算平臺對數(shù)據(jù)訪問的要求，否則計(jì)算資源會閑置，用戶體驗(yàn)也會變差。典型的在線存儲應(yīng)用就是OLTP（在線事物處理）、OLAP（在線數(shù)據(jù)分析），以及Web、CND等。

離線存儲：離線存儲一般是用于歸檔、備份用途，主要用于滿足合規(guī)、防災(zāi)等方面的需要。離線存儲的數(shù)據(jù)不常被調(diào)用，一般遠(yuǎn)離系統(tǒng)應(yīng)用，原則上會有較低的存儲成本，但相應(yīng)的，訪問的時(shí)延也會激增。在這個概念誕生的時(shí)候，離線存儲一般是由磁帶庫、光盤庫承擔(dān)。離線存儲介質(zhì)上的數(shù)據(jù)通常是順序?qū)懭氲?，盡量避免進(jìn)行改寫。當(dāng)需要訪問離線存儲的數(shù)據(jù)時(shí)，查詢效率較低，可能會出現(xiàn)數(shù)分鐘，甚至數(shù)十分鐘的延遲。

近線存儲：近線存儲定位于在線存儲和離線存儲間的應(yīng)用場景，就是指那些并不是經(jīng)常用到，或者訪問量并不大的數(shù)據(jù)存儲在性能較低的設(shè)備上。由于并非關(guān)鍵應(yīng)用，或者并發(fā)訪問量較低，可以容忍較長的時(shí)延，達(dá)到秒級也是可以接受的。原則上這類設(shè)備的傳輸率還是有一定的要求，因?yàn)椴怀Ｓ玫臄?shù)據(jù)在總數(shù)據(jù)量的中的比例通常很大，可能會達(dá)到90%以上，每次請求的數(shù)據(jù)量也可能是比較大的。較高的傳輸率有利于盡快完成任務(wù)、釋放資源，或者較快速地轉(zhuǎn)移數(shù)據(jù)。

（不同層次的存儲）

近線存儲的過往

在21世紀(jì)初，為了降低訪問時(shí)延，市場上還曾經(jīng)有過1萬rpm、1.5萬rpm的硬盤，主要使用2.5英寸的盤體。相較3.5英寸硬盤，2.5英寸硬盤使用較小直徑的盤片，更適合提高轉(zhuǎn)速，從而降低旋轉(zhuǎn)延遲和尋道時(shí)間。2.5英寸高速硬盤主要承載關(guān)鍵業(yè)務(wù)，定位于在線存儲；相應(yīng)的，3.5英寸硬盤多數(shù)使用7200、5400rpm的轉(zhuǎn)速，主打一個便宜、量大，可用于近線存儲。

（典型的15000rpm 2.5英寸硬盤。雖然猛看結(jié)構(gòu)與普通硬盤大同小異，但磁臂與盤片直徑的相對大小透露了關(guān)鍵信息。）

在SSD逐步進(jìn)入主流后，其傳輸率可以達(dá)到硬盤的十倍以上，IOPS更是幾個數(shù)量級的優(yōu)勢，因此很快就淘汰了容量小、性能上限低的2.5英寸高速硬盤。時(shí)至今日，高頻數(shù)據(jù)大多會部署在SSD之上，而在傳統(tǒng)硬盤廠商的注意力主要集中在提高單盤容量、保持單位存儲成本的優(yōu)勢，對于性能的提升持一種“順其自然”的態(tài)度。在硬盤廠商的語境中，多數(shù)3.5英寸硬盤就是近線盤。

現(xiàn)在硬盤的規(guī)格已經(jīng)出現(xiàn)了明顯的收斂，外形尺寸只保留3.5英寸，轉(zhuǎn)速基本上都是7200rpm，但也還是有一些技術(shù)上的細(xì)分。最重要的差異就是PMR/CMR和SMR：前二者是垂直磁記錄（磁性粒子垂直于盤面），以區(qū)別于早年間的水平磁記錄（LMR）；SMR是疊瓦式磁記錄，磁道排列更緊密，并存在局部的覆蓋，就類似瓦片依次略微錯開疊在下層的瓦片。SMR硬盤的特點(diǎn)是存儲密度較大，讀取性能與PMR/CMR類似，但寫入模式有根本性的區(qū)別，尤其是隨機(jī)寫性能比較糟糕，更適合順序?qū)懭氲膱鼍啊τ赟MR硬盤，它的技術(shù)特點(diǎn)決定了它更適合重視存儲成本，愿意犧牲性能的場景，常用于歸檔用途，也包括視頻監(jiān)控為代表的順序?qū)懙膽?yīng)用。這些場景基本都是連續(xù)寫入，偶爾讀取，極少甚至從不修改。

在企業(yè)級市場中，使用模式相對“傳統(tǒng)”的PMR/CMR硬盤可以承擔(dān)近線存儲的角色，如果用戶對硬盤的性能不夠滿意，也可以輔以SSD做緩存/緩沖盤。不適合改寫的SMR硬盤用作歸檔，有點(diǎn)兒類似離線存儲的角色——畢竟多數(shù)企業(yè)的數(shù)據(jù)量并不是特別巨大，還沒有必要上磁帶庫、光盤庫。這般定位倒也算是清晰，但也并不總能歲月靜好。隨著陣列規(guī)模、單盤容量的逐步增長，人們漸漸發(fā)現(xiàn)硬盤的單位容量性能并沒有跟上節(jié)奏，甚至出現(xiàn)了倒退（具體的技術(shù)分析我們可以在其他文章中展開），維持可用性的難度越來越高，甚至還損害了硬盤的成本優(yōu)勢。

AI時(shí)代的近線存儲

近線存儲的概念在當(dāng)下存在感偏弱，與大家已經(jīng)習(xí)慣了數(shù)據(jù)隨時(shí)在線有關(guān)。畢竟近線也還是在線的，只是性能要求低一些罷了。但是，隨著大語言模型的普及，企業(yè)級的AI應(yīng)用進(jìn)入了新的階段：數(shù)據(jù)成為企業(yè)核心競爭力，各個行業(yè)都在在考慮如何充分挖掘私有數(shù)據(jù)的價(jià)值，打造垂直領(lǐng)域的AI應(yīng)用。企業(yè)的歷史數(shù)據(jù)除了用于大語言模型的后訓(xùn)練/微調(diào)，還開始用于RAG，以提高推理輸出質(zhì)量。

對數(shù)據(jù)價(jià)值的重新認(rèn)識喚醒了沉睡的數(shù)據(jù)，并明顯增加了數(shù)據(jù)的訪問頻次。這種需求也帶火了“溫存儲”的概念，意思是相關(guān)的數(shù)據(jù)雖然沒有核心業(yè)務(wù)那么熱，但也需要比較積極的訪問。在面對這種需求時(shí)，傳統(tǒng)的近線存儲遭遇了性能瓶頸。譬如，硬盤陣列相對較慢的數(shù)據(jù)傳輸率會限制訓(xùn)練時(shí)GPU獲取數(shù)據(jù)的效率，浪費(fèi)寶貴的GPU時(shí)間。再以RAG為例，如果向量數(shù)據(jù)庫存儲在硬盤陣列上，會極大降低相似檢索的效率，影響推理輸出的吞吐量。另外，由于AI需要訪問的數(shù)據(jù)范圍變大，還導(dǎo)致過去常被用于溫存儲的混閃陣列難以適應(yīng)，因?yàn)榛扉W陣列中用于緩存的SSD容量有限。這也是部分存儲解決方案商開始轉(zhuǎn)向在存儲節(jié)點(diǎn)內(nèi)使用單一層，用基于QLC SSD的全閃節(jié)點(diǎn)替代混閃的重要原因。

（因?yàn)閿?shù)據(jù)熱度差異，近線存儲出現(xiàn)了分層）

簡而言之，近線存儲也會存在相對溫和涼的概念（類似于關(guān)鍵業(yè)務(wù)的熱與冷）。其中溫?cái)?shù)據(jù)的性能需求可以用混閃或者QLC全閃存儲滿足。但也這帶來了新挑戰(zhàn)：QLC SSD的單位存儲成本相對TLC SSD并沒有便宜太多，差價(jià)甚至還沒當(dāng)年10000rpm硬盤與7200rpm那么大。AI時(shí)代的近線存儲有向在線存儲的特征靠攏的趨勢，但如何繼續(xù)保持足夠吸引人的成本優(yōu)勢就成為特別值得期待的話題。

關(guān)于 Solidigm

Solidigm 是全球領(lǐng)先的創(chuàng)新 NAND 閃存解決方案提供商。Solidigm致力于成就客戶，激發(fā)數(shù)據(jù)無限潛能，推動人類發(fā)展進(jìn)步。源自于英特爾出售的NAND和SSD業(yè)務(wù)，Solidigm公司于 2021年12月正式成立，目前是半導(dǎo)體領(lǐng)導(dǎo)者SK 海力士在美國的獨(dú)立子公司。Solidigm 總部位于美國加州蘭喬科爾多瓦，在全球13個地區(qū)設(shè)有辦事機(jī)構(gòu)。如欲了解有關(guān) Solidigm 的更多信息，請?jiān)L問[https://solidigm.com]，或關(guān)注微信公眾號[SolidigmChina]。

*文中涉及的其他名稱及商標(biāo)屬于各自所有者資產(chǎn) 

本文提及的所有產(chǎn)品、計(jì)算機(jī)系統(tǒng)、日期和數(shù)據(jù)都是基于當(dāng)前預(yù)期的初步設(shè)計(jì)，如有更改，恕不另行通知。