面向智能時代，5G、AI、大數(shù)據(jù)等新技術(shù)帶來的數(shù)據(jù)爆炸式增長，智能時代數(shù)據(jù)存儲如何突破現(xiàn)有思維，充分利用前沿硬件、低延時網(wǎng)絡(luò)技術(shù)，結(jié)合創(chuàng)新的算法和融合架構(gòu)來滿足智能時代業(yè)務(wù)新需求。

[[321754]]

華為智能數(shù)據(jù)與存儲領(lǐng)域副總裁張福鵬

本期#Σco時間#活動上，華為智能數(shù)據(jù)與存儲領(lǐng)域副總裁張福鵬從“智能時代，數(shù)據(jù)存儲面臨哪些挑戰(zhàn)”“數(shù)據(jù)存儲需要滿足哪些特征”“揭開智能時代數(shù)據(jù)存儲架構(gòu)的神秘面紗”三個方面帶大家走進(jìn)了精彩的存儲未來世界。

智能時代，數(shù)據(jù)存儲正面臨四大挑戰(zhàn)

▶ 挑戰(zhàn)1：生產(chǎn)交易類數(shù)據(jù)高并發(fā)、低延時、高可靠

據(jù)張福鵬介紹，隨著5G帶來的大帶寬、低時延，對數(shù)據(jù)處理速度、頻度、可靠性提出了新的要求；以金融交易為例，我們每天用到的微信、支付寶等小額支付，使得交易量增長10倍以上，而且在線購物也不再受門店營業(yè)時間的限制，必須做到7x24小時不間斷服務(wù)。這些都對數(shù)據(jù)交易的時延、可靠性等提出了前所未有的挑戰(zhàn)。

▶ 挑戰(zhàn)2：海量非結(jié)構(gòu)化數(shù)據(jù)存儲，長期保存與價值挖掘

類似今日頭條每天50PB的數(shù)據(jù)，絕大多數(shù)都是非結(jié)構(gòu)化數(shù)據(jù)。窄帶和寬帶物聯(lián)網(wǎng)、4K/8K視頻、自動駕駛等多數(shù)據(jù)源、多模數(shù)據(jù)的大量采集、長期保存、冷數(shù)據(jù)變溫數(shù)據(jù)等帶來了新的海量數(shù)據(jù)存儲需求。

▶ 挑戰(zhàn)3：數(shù)據(jù)無縫流動，融合高效的處理與分析

數(shù)據(jù)要長期保存，更要無縫流動才能產(chǎn)生更多的價值。從實際業(yè)務(wù)來看，在距離數(shù)據(jù)產(chǎn)生最近的邊緣場景，比如攝像頭，IoT，傳感器等，數(shù)據(jù)如何存儲和高速處理，如何提供邊、中心、云的統(tǒng)一數(shù)據(jù)保護(hù)和管理，既可以讓數(shù)據(jù)高速流動，又能做到每比特成本最優(yōu)，價值最大，也是我們企業(yè)全場景業(yè)務(wù)面臨的新挑戰(zhàn)。

▶ 挑戰(zhàn)4：數(shù)據(jù)全生命周期管理，場景化、智能化、降本增效

數(shù)據(jù)全生命周期管理，從數(shù)據(jù)產(chǎn)生的源頭，實現(xiàn)邊云協(xié)同疊加AI的能力。業(yè)務(wù)希望能充分利用云上數(shù)據(jù)量大的優(yōu)勢形成基線，同時在本地增量訓(xùn)練。結(jié)合具體業(yè)務(wù)提供個性化調(diào)優(yōu)，實現(xiàn)對數(shù)據(jù)生產(chǎn)、分析、備份、歸檔的全生命周期的智能化管理。這也是顛覆傳統(tǒng)IT架構(gòu)，從數(shù)據(jù)視角打破邊界，構(gòu)建數(shù)據(jù)基礎(chǔ)設(shè)施的一個重要理念。

[[321755]]

預(yù)見|智能時代存儲

智能時代，存儲應(yīng)該具有哪些特征才能更好的應(yīng)對新技術(shù)、新業(yè)務(wù)帶來的新挑戰(zhàn)呢？張福鵬表示，智能時代數(shù)據(jù)存儲要滿足三個主要特征，即智能、融合、高效。

▶ 智能

智能時代的數(shù)據(jù)存儲要充分利用AI的能力實現(xiàn)Storage for AI和AI in Storage，進(jìn)而承載數(shù)據(jù)全生命周期智能管理。

華為OceanStor在邊緣存儲端加入了AI芯片，實現(xiàn)個性化AI，存儲自身基于AI芯片對存儲數(shù)據(jù)進(jìn)行深度學(xué)習(xí)，實現(xiàn)存儲設(shè)備的獨特性能優(yōu)化。

同時將邊緣存儲的數(shù)據(jù)采集上傳云端，數(shù)據(jù)在云端經(jīng)過訓(xùn)練和建模后，形成通用模型發(fā)布給邊緣存儲，存儲AI芯片再基于通用模型進(jìn)行強(qiáng)化學(xué)習(xí)，與自身數(shù)據(jù)特征結(jié)合，培訓(xùn)建模形成個性化模型，再來指導(dǎo)存儲實現(xiàn)場景預(yù)測、故障推理。整體形成一個端云協(xié)同AI芯片加速的自驅(qū)動。

為了應(yīng)對萬物互聯(lián)智能時代數(shù)據(jù)存儲的易管理、易運(yùn)維需求，華為還提供了基于AI使能的自動化數(shù)據(jù)管理系統(tǒng)，幫助用戶實現(xiàn)數(shù)據(jù)自動化與智能管理與運(yùn)維。而在全生命周期數(shù)據(jù)管理方面，華為則將存儲系統(tǒng)的智能管理分為三層，即設(shè)備層、數(shù)據(jù)中心層、和云上云下，通過三層聯(lián)動，實現(xiàn)高效的運(yùn)維運(yùn)營。

▶ 數(shù)據(jù)融合

除了智能化管理，面向多模數(shù)據(jù)、多級介質(zhì)、邊、中心、云物理位置、多種協(xié)議帶來的數(shù)據(jù)孤島，融合是華為持續(xù)追求的。

智能時代存儲如何打通數(shù)據(jù)孤島，實現(xiàn)從端到云的融合互通能力，華為認(rèn)為有幾個地方需要重點考慮：異構(gòu)融合、多服務(wù)融合、分級歸檔融合、生產(chǎn)分析融合、端-云融合。

當(dāng)然，面向?qū)嶋H的業(yè)務(wù)場景，還需要考慮包括數(shù)據(jù)庫與存儲融合、萬核級調(diào)度等，這些都是華為持續(xù)要構(gòu)建的存儲能力，讓數(shù)據(jù)存得下、流得動、用得好。

▶ 極致可靠

智能時代存儲三大特征，除了智能、融合這兩個非常重要的特征之外，面向?qū)嶋H業(yè)務(wù)需求，還需要高效的數(shù)據(jù)存儲與管理。這里面可分解為極致可靠、極致容量和極致性能三個方面來分析。

在高可靠性領(lǐng)域，不僅僅是在架構(gòu)層面，在組件（硬盤）、系統(tǒng)（RAID）、解決方案（雙活）層面同時要有大量的創(chuàng)新。

硬盤的可靠性是存儲系統(tǒng)的基礎(chǔ)，華為在盤級可靠性上做了大量的研究，并把結(jié)果應(yīng)用到華為自研的SSD上，比如擦寫次數(shù)是SSD盤片壽命的主要因素，華為在硬盤上采用了SSD全局磨損均衡&全局反磨損均衡的專利技術(shù)，來提升SSD壽命。

[[321756]]

在架構(gòu)可靠方面，智能時代存儲架構(gòu)也需要考慮通過前端共享互聯(lián)、控制器全互聯(lián)、后端共享互聯(lián)，真正意義上實現(xiàn)：全局互聯(lián)、全局負(fù)載均衡，做到更可靠更均衡。而目前華為存儲的架構(gòu)可靠性已經(jīng)領(lǐng)先于業(yè)界同類產(chǎn)品。

在系統(tǒng)可靠方面，隨著趨勢的發(fā)展，大盤時代來臨，硬件+算法才能構(gòu)筑系統(tǒng)級的高可靠能力。華為RAID-TP，通過創(chuàng)新的數(shù)據(jù)校驗算法，可以實現(xiàn)系統(tǒng)內(nèi)3個盤同時失效，業(yè)務(wù)不受影響。

在方案可靠方面，要實現(xiàn)免網(wǎng)關(guān)雙活的極致可靠，站點間要求實現(xiàn)負(fù)載均衡，RPO=0 & RTO≈0。此外，專屬硬件設(shè)備可以做到存儲互通，在3DC更高級別可靠性上可以實現(xiàn)靈活組網(wǎng)，同時降低容災(zāi)系統(tǒng)建設(shè)成本。

在云級可靠方面，在生產(chǎn)中心方案級可靠的基礎(chǔ)上，通過存儲系統(tǒng)的容災(zāi)特性，如秒級快照、備份、統(tǒng)一管理等，實現(xiàn)災(zāi)備中心，以及云上中心的融合數(shù)據(jù)管理，做到中心間分鐘級的可靠性，和云上云下小時級的災(zāi)備與恢復(fù)。

▶ 極致容量

面對海量數(shù)據(jù)爆炸式增長，新業(yè)務(wù)對數(shù)據(jù)存儲和管理不但要求持久化、數(shù)據(jù)不丟失，更要考慮極致的容量和性價比。

面向全閃存的時代，存儲具備了智能芯片，彈性EC算法提出了EC聚合方案，多個數(shù)據(jù)塊可以在一個EC分條上進(jìn)行聚合，以獲得性能和EC利用率的雙重保證。通過彈性EC技術(shù)，可以將EC比例提升到22+2，磁盤利用率達(dá)到91.6%，并且，在相同的硬件條件下，其性能可與傳統(tǒng)三副本性能持平，讓存儲利用率和可靠性提升有商用價值，支撐企業(yè)在云時代轉(zhuǎn)型走得更遠(yuǎn)。

在計算存儲分離方面，華為提供基于原生HDFS協(xié)議的分布式存儲，不但簡化了大數(shù)據(jù)海量數(shù)據(jù)存儲的配置和管理，同時可以使能計算與存儲按需擴(kuò)容，實現(xiàn)價值最大化。

▶ 極致性能

華為認(rèn)為，對于智能時代的存儲，要充分利用芯片+算法+架構(gòu)來全面提升性能、降低延時，為業(yè)務(wù)帶來新的價值。

為了實現(xiàn)端到端關(guān)鍵路徑加速，從傳、算、智、管、存上引入關(guān)鍵芯片。同時在算法方面，華為存儲以創(chuàng)新的Flashlink盤控配合算法，能夠?qū)崿F(xiàn)控制器、硬盤框和SSD盤的聯(lián)動。

而為了支持?jǐn)?shù)據(jù)中心的網(wǎng)絡(luò)存儲，華為通過NVMeover Fabric可以實現(xiàn)NVMe標(biāo)準(zhǔn)在多種網(wǎng)絡(luò)上的擴(kuò)展，達(dá)到降低存儲網(wǎng)絡(luò)協(xié)議棧處理開銷并提供高并發(fā)低延時應(yīng)用，適應(yīng)SSD介質(zhì)驅(qū)動的存儲架構(gòu)演進(jìn)。

同時，為了在前端數(shù)據(jù)傳輸階段，加速NVMe協(xié)議傳輸效率，華為存儲還設(shè)計了新的DTOE智能網(wǎng)卡。上一代使用的TOE網(wǎng)卡，只是較傳統(tǒng)網(wǎng)卡，實現(xiàn)了部分?jǐn)?shù)據(jù)傳輸卸載處理，依然存在內(nèi)核中斷產(chǎn)生的高延遲開銷。

華為OceanStor：智能+硬件+算法，

打造智能時代存儲新架構(gòu)

華為OceanStor面向智能時代存儲打造了基于“智能+硬件+算法”的創(chuàng)新架構(gòu)，基于Memory Fabric打造以內(nèi)存/SCM為中心的極致性能層，基于ALL IP的全閃存極致成本和高性能的容量層，提供數(shù)據(jù)存儲的智能分層管理。

同時面向CPU / NPU/GPU基于創(chuàng)新算法和高速互聯(lián)協(xié)議提供萬核級計算資源池化，智能調(diào)度；面向業(yè)務(wù)提供基于容器的異構(gòu)微服務(wù)化，打破內(nèi)存性能墻、算力墻、協(xié)議墻等邊界；

還基于數(shù)據(jù)全生命周期的智能管理系統(tǒng)，為萬物互聯(lián)的智能時代持續(xù)提供符合時代要求的創(chuàng)新存儲產(chǎn)品。

華為從2002年持續(xù)深耕存儲領(lǐng)域，匯聚全球精英，致力于智能時代存儲的創(chuàng)新研發(fā)，目前產(chǎn)品受到了全球客戶和權(quán)威機(jī)構(gòu)的認(rèn)可。華為希望基于過去18年針對智能時代數(shù)據(jù)存儲的研究，為客戶持續(xù)提供智能、融合、高效的存儲產(chǎn)品。

近日，IDC中國最新發(fā)布的2019Q4《中國企業(yè)級外部存儲市場季度跟蹤報告》顯示，2019年華為存儲以29.5%的市場份額排名第一，同比年度增長率42.4%，已連續(xù)5年排名中國市場份額第一；2019年Q4 Gartner全球外部存儲市場份額報告也顯示，華為存儲在中國市場收入、發(fā)貨套數(shù)及發(fā)貨容量均排名第一。華為存儲以過硬的產(chǎn)品實力獲得中國市場客戶的信賴，持續(xù)引領(lǐng)中國企業(yè)存儲市場。同時，在產(chǎn)品研發(fā)領(lǐng)域，華為存儲也掌握了領(lǐng)先業(yè)界的產(chǎn)品技術(shù)，實現(xiàn)了多項基礎(chǔ)能力突破。

華為存儲通過扎實的技術(shù)研發(fā)與市場積累，已經(jīng)成為國內(nèi)廣大行業(yè)客戶數(shù)字化轉(zhuǎn)型路上值得信賴的合作伙伴。