存儲(chǔ)容量優(yōu)化技術(shù)接近行業(yè)拐點(diǎn)
在面世后短短的四年時(shí)間里，存儲(chǔ)容量優(yōu)化（SCO: Storage Capacity Optimization）作為一整套技術(shù)解決方案已經(jīng)對存儲(chǔ)管理戰(zhàn)略及成本產(chǎn)生了重大影響。這套技術(shù)的最新發(fā)展正在推動(dòng)行業(yè)迅速接近拐點(diǎn)，為這一領(lǐng)域的廠商帶來了重要啟示。借用上世紀(jì)60年代Buffalo Springfield的名言，我們可以說：“有些事情即將發(fā)生”。
真正基于網(wǎng)絡(luò)架構(gòu)的SCO技術(shù)的面世以及新近推出的基于硬件的重復(fù)數(shù)據(jù)刪除技術(shù)，這兩種技術(shù)發(fā)展將在未來18至24個(gè)月內(nèi)推動(dòng)存儲(chǔ)行業(yè)發(fā)生顯著變化。當(dāng)前的SCO市場領(lǐng)袖將受到后起之秀的挑戰(zhàn)，這些后來者同時(shí)致力于主存儲(chǔ)和二級存儲(chǔ)容量優(yōu)化，以彌補(bǔ)僅致力于二級存儲(chǔ)技術(shù)的SCO廠商的不足。我們相信，受容量優(yōu)化在整個(gè)數(shù)據(jù)生命周期內(nèi)的強(qiáng)大數(shù)據(jù)存儲(chǔ)優(yōu)勢的吸引，最終大多數(shù)存儲(chǔ)技術(shù)都將在誕生不久即向容量優(yōu)化發(fā)展。這些發(fā)展將極大地推動(dòng)SCO技術(shù)在各種規(guī)模的企業(yè)中的應(yīng)用，其部署價(jià)格遠(yuǎn)低于現(xiàn)有技術(shù)，從而使最終用戶從中受益。
SCO市場：概述
2004年，新興廠商Data Domain推出了“重復(fù)數(shù)據(jù)刪除”的理念，這種技術(shù)可以把一定數(shù)量的信息存儲(chǔ)到與原數(shù)據(jù)稱比例，或者比原始空間更小的存儲(chǔ)空間里面 ?！爸貜?fù)數(shù)據(jù)刪除”能夠識別并刪除冗余數(shù)據(jù)，將冗余數(shù)據(jù)替換為空間效率更高的指針和索引，以此為基礎(chǔ)，這種技術(shù)能夠縮減所需存儲(chǔ)空間，優(yōu)化遠(yuǎn)程復(fù)制，因此不僅能夠節(jié)約基礎(chǔ)設(shè)施，還能夠節(jié)約能耗、冷卻、占地和網(wǎng)絡(luò)帶寬等成本。重復(fù)數(shù)據(jù)刪除以次級存儲(chǔ)應(yīng)用為主要對象，如備份和歸檔，因?yàn)檫@些應(yīng)用經(jīng)常會(huì)出現(xiàn)大量數(shù)據(jù)冗余。
隨著行業(yè)技術(shù)的發(fā)展，從某種意義上來說，人們已經(jīng)對重復(fù)數(shù)據(jù)刪除的概念產(chǎn)生了誤解。有些廠商搜索文件級冗余，有些廠商則搜索次文件級冗余。有的廠商推出了新的算法，利用磁帶格式或應(yīng)用內(nèi)容感知實(shí)現(xiàn)更高的容量優(yōu)化率，這種方法優(yōu)于針對所有數(shù)據(jù)類型采用一種算法的解決方案。大多數(shù)采用此類技術(shù)的廠商都將其與硬件壓縮加速相結(jié)合，以獲得更高的容量優(yōu)化率。
因此，Taneja Group于2008年4月引入了術(shù)語“存儲(chǔ)容量優(yōu)化”（storage capacity optimization），用于描述一組相關(guān)技術(shù)集，這些技術(shù)能夠使用最小的原始存儲(chǔ)空間存儲(chǔ)一定數(shù)量的信息。Taneja Group將SCO市場劃分為兩個(gè)子市場：主存儲(chǔ)優(yōu)化（PSO）和次級存儲(chǔ)優(yōu)化（SSO）。PSO包括一組用于主存儲(chǔ)應(yīng)用的技術(shù)，SSO則指的是歷史上的“重復(fù)數(shù)據(jù)刪除”市場，這類技術(shù)主要以次級存儲(chǔ)為服務(wù)對象。與主存儲(chǔ)相比，次級存儲(chǔ)的性能要求（訪問延遲）一般較低，而且往往包括更多的冗余數(shù)據(jù)；以次級存儲(chǔ)為目標(biāo)開發(fā)出的技術(shù)有時(shí)并不能有效應(yīng)用于主存儲(chǔ)。
隨著市場的發(fā)展，Data Domain在SSO領(lǐng)域確立了優(yōu)勢領(lǐng)先地位。2007年，該公司的市場份額已超過50%。不過，最新的兩項(xiàng)技術(shù)發(fā)展――應(yīng)用于主存儲(chǔ)和次級存儲(chǔ)的真正網(wǎng)絡(luò)架構(gòu)的SCO技術(shù)以及基于硬件的重復(fù)數(shù)據(jù)刪除技術(shù)――已經(jīng)帶來了市場轉(zhuǎn)變的信號，對已經(jīng)樹立了單純PSO和/或SSO解決方案領(lǐng)先地位的市場領(lǐng)袖形成了威脅。
綜合性SCO應(yīng)用的“Accordion”（手風(fēng)琴）效應(yīng)
要討論如何大范圍部署SCO技術(shù)，我們首先必須了解“accordion”（手風(fēng)琴）效應(yīng)。數(shù)據(jù)只能被運(yùn)用于能夠讀出此類數(shù)據(jù)的應(yīng)用，一般情況下，這就意味著數(shù)據(jù)必須以“未經(jīng)優(yōu)化”的格式存儲(chǔ)。也就是說，無論當(dāng)前以何種方式存儲(chǔ)（重復(fù)數(shù)據(jù)刪除、壓縮等），數(shù)據(jù)都必須恢復(fù)為原始格式，以使創(chuàng)建了這些數(shù)據(jù)的應(yīng)用能夠讀出這些數(shù)據(jù)。只需解讀這些數(shù)據(jù)以使其被正確分類（如在備份應(yīng)用中）或編制索引用于搜索（如在歸檔應(yīng)用中）的應(yīng)用并不要求數(shù)據(jù)恢復(fù)原始格式，但必須能夠查看到足夠的與數(shù)據(jù)有關(guān)的元數(shù)據(jù)，以實(shí)現(xiàn)正確的分類或歸檔。
如果被存儲(chǔ)于容量優(yōu)化后的主存儲(chǔ)器內(nèi)，數(shù)據(jù)將被其創(chuàng)建應(yīng)用反復(fù)訪問，并在生命周期的最初幾個(gè)月內(nèi)不斷被修改，因此這些數(shù)據(jù)一般在生命周期早期即接受容量優(yōu)化，并在此后不斷地經(jīng)常擴(kuò)展。此外，這些數(shù)據(jù)在備份之前也將被再次擴(kuò)展，而備份通常每天都要進(jìn)行，有些備份的周期甚至更短。隨著時(shí)間推移并成為歸檔數(shù)據(jù)，數(shù)據(jù)將被再次擴(kuò)展以實(shí)現(xiàn)正確索引，并被存儲(chǔ)于長期檔案之中。這種重復(fù)擴(kuò)展與壓縮的過程即所謂的“手風(fēng)琴”效應(yīng)。
圖1顯示了數(shù)據(jù)在整個(gè)生命周期內(nèi)的運(yùn)行流程。我們能夠明顯看出，次級數(shù)據(jù)的數(shù)量達(dá)到主存儲(chǔ)數(shù)據(jù)的十倍，且擁有大量冗余數(shù)據(jù)（多次備份以及保存微小變化數(shù)據(jù)集所致），因此次級數(shù)據(jù)是SCO技術(shù)的主要對象，SCO技術(shù)的投資很快能夠獲得回報(bào)，且具有極大的成本節(jié)約潛力。不過，SCO技術(shù)能夠提供的價(jià)值在很大程度上與需要保留的數(shù)據(jù)的總體數(shù)量相關(guān)――包括主存儲(chǔ)和次級存儲(chǔ)數(shù)據(jù)。如果數(shù)據(jù)每年以至少50%至60%或更高的速度增長，許多企業(yè)將很快面臨數(shù)百吉比特（terabytes）主存儲(chǔ)數(shù)據(jù)的管理任務(wù)。如果達(dá)到這種數(shù)據(jù)規(guī)模，且主存儲(chǔ)成本可達(dá)到磁盤次級存儲(chǔ)的十倍，則PSO將在容量優(yōu)化率尚未大幅增加之前就成為企業(yè)必不可少的經(jīng)濟(jì)選項(xiàng)。
圖1. 標(biāo)準(zhǔn)數(shù)據(jù)周期運(yùn)行流程。紅點(diǎn)表示可以運(yùn)用現(xiàn)有的SCO技術(shù)的數(shù)據(jù)流。
如果要將數(shù)據(jù)從備份磁盤移植至遠(yuǎn)程災(zāi)難恢復(fù)磁盤，并不需要恢復(fù)數(shù)據(jù)存儲(chǔ)格式，
但如果要將數(shù)據(jù)移植至磁帶，則數(shù)據(jù)必須以擴(kuò)展格式存儲(chǔ)。
#p#
分裂型（Disruptive）技術(shù)的發(fā)展評估
基于網(wǎng)絡(luò)的PSO技術(shù)
到目前為止，SCO廠商已經(jīng)部署了基于源和目標(biāo)的解決方案，分別用于來自不同優(yōu)勢點(diǎn)的數(shù)據(jù)流。已經(jīng)面世的基于源的解決方案包括集成于企業(yè)備份軟件客戶端的技術(shù)，這種技術(shù)利用主機(jī)資源完成容量優(yōu)化工作。微軟和Sun Microsystems等操作系統(tǒng)廠商已經(jīng)開始商談將部分SCO技術(shù)集成于操作系統(tǒng)，但兩家廠商都尚未有此類產(chǎn)品面世。已經(jīng)上市的基于目標(biāo)的解決方案包括線內(nèi)PSO（GreenBytes、Storwize）、SSO（Data Domain、IBM/Diligent）和后處理POS（NetApp、Ocarina Networks）以及基于“設(shè)備”模式的SSO（FalconStor、Sepaton）。
SCO概念既能為主存儲(chǔ)也能為次級存儲(chǔ)提供價(jià)值，此外，如果使用不同的算法，在數(shù)據(jù)生命周期內(nèi)針對相同的數(shù)據(jù)同時(shí)使用PSO和SSO技術(shù)也能夠形成技術(shù)合力優(yōu)勢?；谠吹慕鉀Q方案能夠?qū)Υ鎯?chǔ)于主應(yīng)用服務(wù)器上的數(shù)據(jù)進(jìn)行“首次處理”。不過，并非所有解決方案都都應(yīng)用于主存儲(chǔ)。一套特定的PSO算法也許可以高效率地完成特定數(shù)據(jù)類型的容量優(yōu)化，并滿足主存儲(chǔ)訪問延遲要求，而另一套SSO算法則能夠在降低訪問延遲要求的前提下實(shí)現(xiàn)更高的優(yōu)化率。無論SCO技術(shù)部署于源或目標(biāo)，數(shù)據(jù)都會(huì)在使用中產(chǎn)生“手風(fēng)琴”效應(yīng)。源和目標(biāo)數(shù)據(jù)都必須在使用前再次擴(kuò)展的事實(shí)使PSO和SSO解決方案得以和平共處。
不過，如果在網(wǎng)絡(luò)中部署能夠同時(shí)實(shí)現(xiàn)PSO和SSO功能的SCO技術(shù)――并非作為存儲(chǔ)目標(biāo)，而是作為一整套透明網(wǎng)絡(luò)服務(wù)，結(jié)果將會(huì)如何呢？結(jié)果是，無論數(shù)據(jù)被其創(chuàng)建應(yīng)用使用還是接受本地備份或遠(yuǎn)程備份或歸檔，網(wǎng)絡(luò)將在事實(shí)上成為一個(gè)普通的“轉(zhuǎn)換”點(diǎn)。如果通過網(wǎng)絡(luò)存儲(chǔ)，數(shù)據(jù)將在創(chuàng)建后或初次存儲(chǔ)之前立即接受存儲(chǔ)優(yōu)化。基于網(wǎng)絡(luò)的SCO廠商必然會(huì)支持采用單一的網(wǎng)絡(luò)SCO解決方案同時(shí)實(shí)現(xiàn)PSO和SSO功能，以免采用相互獨(dú)立的源和目標(biāo)解決方案。這些廠商可能會(huì)將SCO技術(shù)所能夠?qū)崿F(xiàn)的存儲(chǔ)優(yōu)化率作為根據(jù)，除此之外，與部署針對主存儲(chǔ)和次級存儲(chǔ)的不同解決方案相比，在整個(gè)企業(yè)內(nèi)部署單一技術(shù)以全面解決SCO問題顯然要更為簡單且成本更低。從這個(gè)意義上說，基于網(wǎng)絡(luò)部署的SCO可能會(huì)對基于源和目標(biāo)的SCO技術(shù)產(chǎn)生威脅（包括PSO和SSO解決方案）。
領(lǐng)先的廣域數(shù)據(jù)服務(wù)（WDS）廠商Riverbed已經(jīng)推出了基于真網(wǎng)絡(luò)的模型。Riverbed在07年第四季度宣布，公司計(jì)劃于2009年推出一種新產(chǎn)品，這種新產(chǎn)品將在WDS產(chǎn)品的基礎(chǔ)上增加SCO功能，用于空閑數(shù)據(jù)處理（該公司已經(jīng)將SCO技術(shù)用于不同地點(diǎn)之間的寬帶優(yōu)化）。如果這種技術(shù)能夠?yàn)槠洮F(xiàn)有的Steelhead客戶帶來更新而不會(huì)導(dǎo)致服務(wù)中斷，Riverbed將擁有五千多名極有可能購買其SCO解決方案的客戶。在Riverbed模式中，數(shù)據(jù)將在創(chuàng)建不久即接受容量優(yōu)化，并一直保持優(yōu)化格式，直至主或次級應(yīng)用切實(shí)使用這些數(shù)據(jù)。理解這種模式后，最終用戶可能會(huì)提出一個(gè)重要的問題：如果已經(jīng)擁有了PSO/SSO技術(shù)作為網(wǎng)絡(luò)基礎(chǔ)設(shè)施的組成部分，那么在此后的數(shù)據(jù)生命期中，我是否還有必要花錢購買獨(dú)立的SCO解決方案？
現(xiàn)有的PSO和SSO廠商必須對此做出回應(yīng)。很明顯，最終用戶想要以透明的方式部署SCO，而不會(huì)對主或次級存儲(chǔ)性能帶來不必要的影響。與真網(wǎng)絡(luò)模型相比，部署NAS和/或FC（VTL）接口的解決方案可稱為利基解決方案。雖然相關(guān)廠商可能會(huì)在近期內(nèi)利用其豐富的業(yè)內(nèi)經(jīng)驗(yàn)提供更高的容量優(yōu)化率，但針對利基應(yīng)用的高優(yōu)化率可能并不足以說服客戶放棄更為全面的解決方案（雖然存儲(chǔ)優(yōu)化率較低）。內(nèi)容感知算法能夠針對特定的數(shù)據(jù)類型提供更高的容量優(yōu)化率，因此，如果利基市場的數(shù)據(jù)量足夠大，這種算法將能夠?yàn)閺S商提供長期可持續(xù)利基市場機(jī)遇。但是，如果不能超越SCO技術(shù)的局限而將目光投向更廣大的市場，長期致力于利基市場的廠商將面臨被淘汰的風(fēng)險(xiǎn)。
基于硬件的SCO
2008年10月，一向致力于安全加速和壓縮板研發(fā)的Hifn公司推出了新的板卡級產(chǎn)品，能夠?yàn)榛谟布臄?shù)據(jù)塊級重復(fù)數(shù)據(jù)刪除提供支持。這款產(chǎn)品以O(shè)EM（原始設(shè)備制造商）為目標(biāo)客戶，能夠使所有基于Windows的白盒（white box）轉(zhuǎn)變?yōu)镾CO設(shè)備，其成本遠(yuǎn)低于現(xiàn)有的高成本解決方案。大多數(shù)行業(yè)觀察家都了解硬件壓縮技術(shù)對于軟件壓縮技術(shù)的影響，我們完全有理由相信，類似的影響也適用于SCO市場（目前仍以基于軟件的SCO為主導(dǎo)）。
Hifn的新技術(shù)可能會(huì)對三個(gè)領(lǐng)域產(chǎn)生影響。首先，現(xiàn)有的重復(fù)數(shù)據(jù)刪除技術(shù)以軟件為基礎(chǔ)，因此可以推斷，在硬件上運(yùn)行此算法將幫助線內(nèi)SCO實(shí)現(xiàn)更高的運(yùn)行速率。SCO解決方案以線速運(yùn)行的能力是線內(nèi)解決方案的關(guān)鍵――無論用于PSO或SSO。基于硬件的解決方案可支持一系列用于主存儲(chǔ)的技術(shù)，甚至包括部分現(xiàn)有的算法（包括PSO和SSO），這些算法在軟件上運(yùn)行時(shí)不能滿足在線使用的訪問延遲要求（雖然Hifn的新產(chǎn)品也未直接解決這一問題）?？傊?，支持更高線速的能力將極大地推動(dòng)SCO技術(shù)在主和次級存儲(chǔ)環(huán)境下的應(yīng)用。
其次，Hifn的新技術(shù)將推動(dòng)行業(yè)向前發(fā)展，最終使平臺（服務(wù)器和存儲(chǔ)）提供商將SCO技術(shù)集成于成本更低的解決方案之中。不過，這一切并不會(huì)在旦夕之間成為現(xiàn)實(shí)：目前的Hifn ASIC只能完成重復(fù)數(shù)據(jù)刪除工作，因此OEM需要通過增加索引和數(shù)據(jù)完整性解決方案自行完成完整的解決方案。未來Hifn有可能推出其他SCO解決方案配件（如索引系統(tǒng)），提高VAR（增值型經(jīng)銷商）的成本效益，并將SCO輕松集成至現(xiàn)有的服務(wù)器和存儲(chǔ)平臺之中。屆時(shí)，如果增加SCO技術(shù)的成本很低（與部分解決方案價(jià)格相比）且正如在服務(wù)器或存儲(chǔ)平臺中增加ASIC一樣簡單時(shí)，它將成為各家廠商競相購買的對象。相關(guān)SCO廠商在過去四年中積累的經(jīng)驗(yàn)將使它們在存儲(chǔ)優(yōu)化率方面至少獲得短期優(yōu)勢，但此領(lǐng)域的進(jìn)一步發(fā)展無疑將會(huì)推動(dòng)商品技術(shù)曲線向更高性能發(fā)展。
最后，相關(guān)領(lǐng)域的產(chǎn)品價(jià)格也將受到影響。我們假定Hifn產(chǎn)品的容量優(yōu)化率僅有單純SCO廠商的80%，最終用戶將能夠根據(jù)解決方案價(jià)格與容量優(yōu)化率之比輕松找出物有所值的產(chǎn)品。以Hifn卡為基礎(chǔ)的SCO產(chǎn)品的“解決方案”提供了大幅降低產(chǎn)品價(jià)格的可能性。最終用戶可能會(huì)以“價(jià)格/可用GB”為指標(biāo)衡量解決方案的價(jià)值，并據(jù)此做出購買決策。[可用容量的計(jì)算是指：1GB物理容量在采用SCO算法后所代表的可用GB數(shù)。]因此，我們至少可以預(yù)期，Hifn的新產(chǎn)品將在未來18至24個(gè)月內(nèi)推動(dòng)PSO和SSO解決方案價(jià)格大幅下降。
總而言之，Hifn推出的基于硬件的重復(fù)數(shù)據(jù)刪除解決方案向SCO廠商發(fā)出了不容忽視的警示信號。
對最終用戶的影響
我們認(rèn)為，在未來18至24個(gè)月內(nèi)，這兩種分裂型技術(shù)的發(fā)展――基于網(wǎng)絡(luò)結(jié)構(gòu)的SCO與硬件重復(fù)數(shù)據(jù)刪除――將為最終用戶帶來三個(gè)方面的變化：
• 基于硬件的重復(fù)數(shù)據(jù)刪除將比真網(wǎng)絡(luò)SCO更早產(chǎn)生影響，不過這兩種技術(shù)將共同推動(dòng)SCO技術(shù)的廣泛應(yīng)用，促使客戶以戰(zhàn)略眼光看待SCO技術(shù)的部署，以期在客戶環(huán)境下取得最佳效果。
• 如果真網(wǎng)絡(luò)SCO能夠通過生產(chǎn)環(huán)境證實(shí)其可用性，它將推動(dòng)能夠同時(shí)提供主和次級存儲(chǔ)解決方案的SCO技術(shù)的發(fā)展，這種技術(shù)將放棄利基解決方案。
• 隨著這兩種技術(shù)對市場的影響力開始顯現(xiàn)，SCO技術(shù)的價(jià)格將下降至少30%。
這些發(fā)展將導(dǎo)致市場形勢不明朗，不能做出及時(shí)回應(yīng)的相關(guān)SCO廠商將被新的市場領(lǐng)袖所取代。
真正網(wǎng)絡(luò)部署的SCO的原理似乎能夠提供更好的模型，因?yàn)閺亩x上看，它比利基解決方案更為全面，但最終的結(jié)論仍有待實(shí)踐檢驗(yàn)。我們提醒最終用戶了解網(wǎng)絡(luò)SCO的戰(zhàn)略價(jià)值，并在網(wǎng)絡(luò)SCO上市后根據(jù)性能、可調(diào)節(jié)性、數(shù)據(jù)可靠性和可用性對其實(shí)施進(jìn)行評估。
最后，我們要提醒最終用戶，我們對這些技術(shù)發(fā)展的預(yù)測并不排斥客戶對PSO或SSO解決方案進(jìn)行戰(zhàn)略性購買――如果你能夠利用近期硬件成本節(jié)約優(yōu)勢證明此類購買的重大經(jīng)濟(jì)利益。如果數(shù)據(jù)量足夠大，PSO和SSO技術(shù)都能夠?yàn)楝F(xiàn)在的企業(yè)提供巨大價(jià)值，不過我們?nèi)匀徽J(rèn)為，未來三至五年內(nèi)，覆蓋主和次級存儲(chǔ)的綜合性解決方案將在總體上取代利基解決方案。
【編輯推薦】
