為了更好的探討如何引導(dǎo)IT基礎(chǔ)設(shè)施向更加智能化的方向發(fā)展，構(gòu)建部署靈活、自動(dòng)化的云環(huán)境，開(kāi)創(chuàng)產(chǎn)業(yè)的嶄新未來(lái)，12月22日，由中國(guó)信息通信研究院主辦，云計(jì)算開(kāi)源產(chǎn)業(yè)聯(lián)盟承辦，中國(guó)移動(dòng)蘇州研發(fā)中心協(xié)辦的“2017首屆全球存儲(chǔ)大會(huì)”在北京國(guó)賓酒店舉行。在會(huì)議上，云計(jì)算開(kāi)源產(chǎn)業(yè)聯(lián)盟融合數(shù)據(jù)項(xiàng)目組組長(zhǎng)，中國(guó)信息通信研究院馬飛博士代表項(xiàng)目組，發(fā)布了《融合數(shù)據(jù)白皮書(shū)***部分：融合數(shù)據(jù)存儲(chǔ)》。

馬飛博士表示，在大數(shù)據(jù)時(shí)代，大型企業(yè)數(shù)據(jù)爆發(fā)式增長(zhǎng)。在企業(yè)快速轉(zhuǎn)型過(guò)程中，企業(yè)數(shù)據(jù)處理場(chǎng)景日益豐富，數(shù)據(jù)分析要求越來(lái)越靈活，從傳統(tǒng)的報(bào)表分析、OLAP、OLTP業(yè)務(wù)，到新興的批處理、實(shí)時(shí)數(shù)據(jù)分析、機(jī)器學(xué)習(xí)，新的數(shù)據(jù)分析模式層出不窮。但是，不同數(shù)據(jù)處理架構(gòu)對(duì)底層數(shù)據(jù)的存儲(chǔ)/組織、檢索（引擎），乃至處理接口都提出不同要求，對(duì)一份數(shù)據(jù)需要配套構(gòu)建多套不同結(jié)構(gòu)的數(shù)據(jù)集，導(dǎo)致數(shù)據(jù)冗余嚴(yán)重，數(shù)據(jù)不能共享。這導(dǎo)致了平臺(tái)維護(hù)成本、數(shù)據(jù)冗余和數(shù)據(jù)轉(zhuǎn)換代價(jià)的與日俱增，嚴(yán)重阻礙了大數(shù)據(jù)分析技術(shù)的應(yīng)用和發(fā)展。而融合數(shù)據(jù)存儲(chǔ)通過(guò)一份數(shù)據(jù)存儲(chǔ)，可以實(shí)現(xiàn)海量復(fù)雜數(shù)據(jù)（總量達(dá)到EB級(jí)的，單表數(shù)據(jù)達(dá)百億行級(jí)別以上，單表屬性維度達(dá)百維以上的數(shù)據(jù)）的歸并，并支持多維度任意組合查詢(xún)和分析，支持多種快速查詢(xún)需求（如過(guò)濾查詢(xún)、快速掃描、詳單查詢(xún)等）的統(tǒng)一響應(yīng)。將有效解決多業(yè)務(wù)場(chǎng)景下多份數(shù)據(jù)存儲(chǔ)的問(wèn)題。因此，融合數(shù)據(jù)是大數(shù)據(jù)未來(lái)的發(fā)展方向。

馬飛博士介紹了不同行業(yè)對(duì)融合數(shù)據(jù)存儲(chǔ)的不同需求，以及目前業(yè)界典型的大數(shù)據(jù)系統(tǒng)存儲(chǔ)方案，在面對(duì)行業(yè)融合數(shù)據(jù)存儲(chǔ)需求時(shí)的局限和不足。并介紹了以Apache社區(qū)的ORC、Parquet和CarbonData等為代表的目前業(yè)界主流的融合存儲(chǔ)技術(shù)，這些主流技術(shù)的技術(shù)對(duì)比，以及在10億數(shù)據(jù)規(guī)模下的過(guò)濾查詢(xún)場(chǎng)景和聚合計(jì)算場(chǎng)景下的性能對(duì)比。

表1 開(kāi)源融合數(shù)據(jù)存儲(chǔ)技術(shù)特性對(duì)比

圖6 Parquet和CarbonData在過(guò)濾查詢(xún)場(chǎng)景下的性能對(duì)比

圖7 Parquet和CarbonData在聚合計(jì)算場(chǎng)景下的性能對(duì)比

***，馬飛博士也就融合存儲(chǔ)技術(shù)的發(fā)展進(jìn)行了展望。希望一方面用戶(hù)企業(yè)積極參與開(kāi)源社區(qū)的活動(dòng)，通過(guò)貢獻(xiàn)需求與場(chǎng)景，推動(dòng)融合數(shù)據(jù)存儲(chǔ)技術(shù)的業(yè)務(wù)落地。另一方面利用產(chǎn)業(yè)組織、會(huì)展活動(dòng)、技術(shù)交流等場(chǎng)合加強(qiáng)廠商間的溝通與合作，共同促進(jìn)技術(shù)的發(fā)展與應(yīng)用水平的提升。

Apache® CarbonData™介紹：

Apache® CarbonData™是由華為開(kāi)源貢獻(xiàn)的大數(shù)據(jù)高效存儲(chǔ)格式解決方案。Apache® CarbonData™致力于推動(dòng)大數(shù)據(jù)開(kāi)源技術(shù)的持續(xù)發(fā)展，以一份數(shù)據(jù)同時(shí)滿足多種業(yè)務(wù)場(chǎng)景訴求，打造高效、開(kāi)放、完整生態(tài)的大數(shù)據(jù)新融合數(shù)倉(cāng)存儲(chǔ)方案。目前，CarbonData技術(shù)已經(jīng)在華為云MRS服務(wù)獲得使用。華為云MRS服務(wù)，在完全兼容開(kāi)源組件的基礎(chǔ)上，融合CarbonData優(yōu)勢(shì)，支持大規(guī)模的數(shù)據(jù)存儲(chǔ)、分析和計(jì)算，為客戶(hù)提供云時(shí)代企業(yè)級(jí)一站式大數(shù)據(jù)服務(wù)，幫助企業(yè)輕松駕馭海量數(shù)據(jù)，洞察數(shù)據(jù)價(jià)值，在商海中占得先機(jī)。

點(diǎn)擊了解華為云存儲(chǔ)產(chǎn)品：http://www.huaweicloud.com/product/