尋寶大數(shù)據(jù)
幾十年前，當(dāng)Oracle、SQL等數(shù)據(jù)庫(kù)技術(shù)風(fēng)靡全世界的時(shí)候，廣大的IT人士可能不會(huì)想到在幾十年后的今天，一堆堆毫無(wú)計(jì)劃性、毫無(wú)關(guān)聯(lián)的社交網(wǎng)絡(luò)訪問(wèn)記錄、圖片或者音視頻會(huì)成為用戶手心里的“寶貝”，這些數(shù)據(jù)在當(dāng)今可能會(huì)成為一個(gè)生意人致勝的法寶。而對(duì)于十幾年前甚至幾年前開(kāi)始建設(shè)數(shù)據(jù)中心的管理人員來(lái)說(shuō)，也不會(huì)預(yù)料到后端的存儲(chǔ)空間會(huì)被大量的非結(jié)構(gòu)化數(shù)據(jù)填滿…
非結(jié)構(gòu)化數(shù)據(jù)時(shí)代來(lái)臨
是的，大數(shù)據(jù)時(shí)代來(lái)了，而且來(lái)勢(shì)洶洶。大數(shù)據(jù)并不是一項(xiàng)技術(shù)，而是由于不斷增長(zhǎng)的數(shù)據(jù)量和數(shù)據(jù)種類而逐漸衍生出來(lái)的一種現(xiàn)象。搜索一下大數(shù)據(jù)的定義也可以發(fā)現(xiàn)，各家廠商都在基于自身的理解去定義大數(shù)據(jù)。以NetApp為例，其大中華區(qū)系統(tǒng)技術(shù)及專業(yè)服務(wù)部總監(jiān)何英華表示，NetApp認(rèn)為大數(shù)據(jù)應(yīng)該包括A、B、C三個(gè)要素：分析(Analytic), 帶寬(Bandwidth)和內(nèi)容(Content)。這三大要素分別是：大分析 (Analyts)，幫助用戶獲得價(jià)值;高帶寬 (Bandwidth) ，讓數(shù)據(jù)處理速度更快;大內(nèi)容 (Content)，指的是不丟失任何信息，并實(shí)現(xiàn)高擴(kuò)展性。而Teradata天睿公司大中華區(qū)產(chǎn)品技術(shù)及銷售支持副總經(jīng)理張錦滄從四個(gè)維度解釋了大數(shù)據(jù)的概念，三個(gè)V和一個(gè)C，三個(gè)V分別指的是數(shù)據(jù)量大、數(shù)據(jù)種類多和數(shù)據(jù)增長(zhǎng)速度快，最后一個(gè)C指的是處理、升級(jí)或利用大數(shù)據(jù)的分析手段比處理結(jié)構(gòu)化數(shù)據(jù)要復(fù)雜的多。
NetApp大中華區(qū)系統(tǒng)技術(shù)及專業(yè)服務(wù)部總監(jiān)何英華
雖然每個(gè)廠商對(duì)于大數(shù)據(jù)的理解都稍有不同，但其中的共通點(diǎn)就是大數(shù)據(jù)包含了大量的非結(jié)構(gòu)化數(shù)據(jù)，包含了諸如圖片、音視頻、郵件、社交網(wǎng)絡(luò)數(shù)據(jù)等等與傳統(tǒng)關(guān)系型數(shù)據(jù)完全不同的數(shù)據(jù)類型。
ESG中國(guó)區(qū)總經(jīng)理王叢認(rèn)為大數(shù)據(jù)與增長(zhǎng)量有關(guān)，但是不代表增長(zhǎng)快的就是大數(shù)據(jù)。從存儲(chǔ)角度來(lái)看，數(shù)據(jù)量的增長(zhǎng)是一種挑戰(zhàn)，如何將這些增速飛快的數(shù)據(jù)進(jìn)行存儲(chǔ)，并合理規(guī)劃存儲(chǔ)空間是亟須解決的問(wèn)題。而從數(shù)據(jù)分析角度來(lái)看，大量的非結(jié)構(gòu)化數(shù)據(jù)的增長(zhǎng)在為用戶帶來(lái)挑戰(zhàn)的同時(shí)，也帶來(lái)了很多機(jī)遇。對(duì)于以交易型數(shù)據(jù)為主的行業(yè)，例如金融、零售業(yè)等，對(duì)數(shù)據(jù)進(jìn)行分析，提煉出具有商業(yè)價(jià)值的信息將是此類用戶面臨的大數(shù)據(jù)挑戰(zhàn)。而對(duì)于像廣電IPTV、網(wǎng)游、社交網(wǎng)絡(luò)等需要存儲(chǔ)大量的音視頻、圖片、社交網(wǎng)絡(luò)數(shù)據(jù)等等非結(jié)構(gòu)化數(shù)據(jù)的用戶來(lái)說(shuō)，后端存儲(chǔ)如何應(yīng)對(duì)飛速增長(zhǎng)的龐大數(shù)據(jù)量，是他們面臨的大數(shù)據(jù)挑戰(zhàn)。不同種類的行業(yè)，面臨的大數(shù)據(jù)挑戰(zhàn)也不可等同視之。#p#
存儲(chǔ)領(lǐng)域的“大數(shù)據(jù)”效應(yīng)
在大數(shù)據(jù)時(shí)代，非結(jié)構(gòu)化數(shù)據(jù)量的增長(zhǎng)是用戶必須要面臨的難題之一。近幾年，針對(duì)非結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)系統(tǒng)也在不斷出現(xiàn)，例如統(tǒng)一存儲(chǔ)、集群存儲(chǔ)等，都將海量的非結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)作為目標(biāo)。這些存儲(chǔ)產(chǎn)品在大數(shù)據(jù)的時(shí)代中能否合乎需求呢?
首先，統(tǒng)一存儲(chǔ)產(chǎn)品集中了SAN和NAS存儲(chǔ)兩種功能，分別面向塊數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)。國(guó)內(nèi)市場(chǎng)中，相比于NAS來(lái)說(shuō)SAN的發(fā)展速度和用戶采用率一直都占據(jù)優(yōu)勢(shì)。但隨著最近兩年非結(jié)構(gòu)化數(shù)據(jù)量的攀升，存取文件系統(tǒng)更加有力的NAS系統(tǒng)逐漸受到重視?？梢钥闯?，最近的兩年中，主流的存儲(chǔ)廠商EMC、NetApp、IBM、HP、Dell都將統(tǒng)一存儲(chǔ)作為了自己的推廣重點(diǎn)。
Teradata天睿公司大中華區(qū)產(chǎn)品技術(shù)及銷售支持副總經(jīng)理張錦滄
針對(duì)統(tǒng)一存儲(chǔ)，王叢表示，它也存在著一定的瓶頸。她以一個(gè)數(shù)據(jù)中心用戶為例，在某個(gè)時(shí)段，非結(jié)構(gòu)化數(shù)據(jù)猛增，此時(shí)，非結(jié)構(gòu)化數(shù)據(jù)的存取會(huì)占據(jù)大部分的帶寬，而結(jié)構(gòu)化數(shù)據(jù)就無(wú)法享受到應(yīng)有的帶寬。在數(shù)據(jù)中心用戶中，以數(shù)據(jù)庫(kù)為主要內(nèi)容的結(jié)構(gòu)化數(shù)據(jù)往往又有很高的業(yè)務(wù)重要性。因此，王叢表示，對(duì)于大數(shù)據(jù)時(shí)代所要面臨的海量非結(jié)構(gòu)化數(shù)據(jù)而言，統(tǒng)一存儲(chǔ)可能會(huì)存在瓶頸。
在Gartner首席分析師張瑾看來(lái)，大數(shù)據(jù)對(duì)于存儲(chǔ)領(lǐng)域帶來(lái)的最重要的影響就是從Scale-up向Scale-out的轉(zhuǎn)變。傳統(tǒng)的存儲(chǔ)一般都是采用雙控制器或者多控制器存儲(chǔ)，當(dāng)容量和性能進(jìn)行擴(kuò)展的時(shí)候，往往只能從后端增加磁盤數(shù)量，當(dāng)磁盤數(shù)量增加到一定程度時(shí)，前端的控制器卻無(wú)法隨之?dāng)U展，這種架構(gòu)必定會(huì)形成性能瓶頸。但何英華也提出了不同的觀點(diǎn)，他說(shuō)，對(duì)于用戶而言，Scale-up和Scale-out兩種架構(gòu)也并不是完全沖突的，有時(shí)兩者也是互補(bǔ)的關(guān)系，用戶根據(jù)自身的應(yīng)用類型，才可以判斷需要哪種架構(gòu)的存儲(chǔ)產(chǎn)品。
眾所周知，SAN系統(tǒng)具有很高的性能，但由于數(shù)據(jù)塊和網(wǎng)絡(luò)需求的增長(zhǎng)，SAN系統(tǒng)的擴(kuò)容問(wèn)題也逐漸凸顯。NAS是公認(rèn)的解決文件數(shù)據(jù)的最佳方案，但是NAS頭的瓶頸問(wèn)題卻也無(wú)法滿足大數(shù)據(jù)的需求。用王叢的話說(shuō)，存儲(chǔ)容量和控制器的處理能力不成線性增長(zhǎng)，必然會(huì)導(dǎo)致性能瓶頸。王叢表示，在大數(shù)據(jù)時(shí)代之下，集群存儲(chǔ)的市場(chǎng)空間將會(huì)擴(kuò)大。
在談及集群存儲(chǔ)和傳統(tǒng)存儲(chǔ)區(qū)別的時(shí)候，業(yè)內(nèi)人士通常會(huì)使用一個(gè)形象的例子去描述。傳統(tǒng)的存儲(chǔ)相當(dāng)于舊的火車，在一個(gè)火車頭的牽引下，若想提升存儲(chǔ)容量，只能采取不斷增加車廂數(shù)量，但是火車頭的牽引能力也是有限的。而集群存儲(chǔ)就類似于動(dòng)車組，在增加容量的同時(shí)，性能也不會(huì)削減。通過(guò)將數(shù)據(jù)分布到集群中各個(gè)節(jié)點(diǎn)的方式，集群中的所有存儲(chǔ)資源可以整合為前端的應(yīng)用服務(wù)器進(jìn)行服務(wù)，大大提高了磁盤的利用率。#p#
目前，存儲(chǔ)廠商在這方面的動(dòng)作也顯示了集群存儲(chǔ)日漸受重視。例如，2010年，EMC通過(guò)收購(gòu)Isilon公司，彌補(bǔ)了其在NAS產(chǎn)品線方面的空白，并且確定了其在Scale out NAS產(chǎn)品市場(chǎng)的領(lǐng)先地位。同時(shí)，戴爾在2010年也通過(guò)收購(gòu)Exanet進(jìn)入到了集群文件系統(tǒng)市場(chǎng)。IBM在同年4月份發(fā)布了新的集群文件系統(tǒng)SONAS。HDS通過(guò)收購(gòu)BlueArc也開(kāi)始銷售高端NAS產(chǎn)品。國(guó)內(nèi)產(chǎn)品像華賽的N8000也是一款集群存儲(chǔ)產(chǎn)品。王叢表示：“集群存儲(chǔ)市場(chǎng)正在逐漸走向成熟，而目前中國(guó)市場(chǎng)可以選擇的集群存儲(chǔ)產(chǎn)品還不是很多。對(duì)于以非結(jié)構(gòu)化數(shù)據(jù)為主營(yíng)業(yè)務(wù)的中小型企業(yè)來(lái)說(shuō)，一款可以滿足其基本需求的集群NAS系統(tǒng)是其迫切之需。”通過(guò)硬件存儲(chǔ)廠商的不斷并購(gòu)也可以發(fā)現(xiàn)，他們?cè)缫研岬搅舜髷?shù)據(jù)帶來(lái)的無(wú)限商機(jī)，集群NAS市場(chǎng)潛力巨大。
大數(shù)據(jù)除去可以帶來(lái)集群存儲(chǔ)方面的市場(chǎng)機(jī)會(huì)之外，何英華也闡述了另一層面的大數(shù)據(jù)影響。他表示，伴隨著非結(jié)構(gòu)化數(shù)據(jù)的增長(zhǎng)，用戶所關(guān)心的重點(diǎn)可能會(huì)逐漸向數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)的挖掘、采集等方面傾斜。他說(shuō)，在底層硬件存儲(chǔ)和用戶的應(yīng)用之間，增加了另外一個(gè)操作系統(tǒng)層，該操作系統(tǒng)可以為用戶的應(yīng)用與存儲(chǔ)提供一個(gè)無(wú)縫的連接。他認(rèn)為，用戶面臨的挑戰(zhàn)未來(lái)會(huì)傾向于在軟件層面解決，底層的硬件存儲(chǔ)需要對(duì)這些軟件應(yīng)用進(jìn)行良好的支持。因此，NetApp也將重點(diǎn)放在了其Data ONTAP操作系統(tǒng)之上。何英華表示，Data ONTAP提供了豐富的API供用戶自己開(kāi)發(fā)適應(yīng)自身環(huán)境的產(chǎn)品，以更好的管理其應(yīng)用和存儲(chǔ)產(chǎn)品。
數(shù)據(jù)分析的機(jī)遇
除了看到存儲(chǔ)廠商在大數(shù)據(jù)領(lǐng)域的動(dòng)作意外，可以發(fā)現(xiàn)，數(shù)據(jù)倉(cāng)庫(kù)廠商也扛起了大數(shù)據(jù)的旗幟。張錦滄表示，在大數(shù)據(jù)時(shí)代，分析工具能否快速收集和分析變化飛快的數(shù)據(jù)，并且如何去有效的使用它們是一個(gè)挑戰(zhàn)。而Teradata天睿公司在傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)方面積累經(jīng)驗(yàn)的同時(shí)，也通過(guò)收購(gòu)Aster Data公司向大數(shù)據(jù)邁進(jìn)了一步。
ESG中國(guó)區(qū)總經(jīng)理王叢
同時(shí)，一些傳統(tǒng)存儲(chǔ)廠商也不再滿足于自己在存儲(chǔ)方面的市場(chǎng)空間，紛紛開(kāi)始向數(shù)據(jù)分析發(fā)力。他們?cè)谕ㄟ^(guò)不斷的并購(gòu)或者合作在向數(shù)據(jù)分析領(lǐng)域擴(kuò)展自己的觸角。例如EMC，在2010年通過(guò)收購(gòu)Greenplum正式進(jìn)入了數(shù)據(jù)倉(cāng)庫(kù)市場(chǎng)。并且在2011年推出了支持大數(shù)據(jù)分析的下一代平臺(tái)——EMC Greenplum統(tǒng)一分析平臺(tái)。在同一年，IBM收購(gòu)了數(shù)據(jù)分析公司Netezza，開(kāi)始拓展商業(yè)價(jià)值方面的市場(chǎng)。而在戴爾企業(yè)戰(zhàn)略營(yíng)銷副總裁Praveen Asthana來(lái)中國(guó)時(shí)，針對(duì)數(shù)據(jù)分析，他舉了一個(gè)很生動(dòng)的例子。在加州有一個(gè)棒球隊(duì)，他們沒(méi)有錢去購(gòu)買一些頂級(jí)球員。但他們卻花了較少的錢請(qǐng)了一位數(shù)學(xué)家，該數(shù)學(xué)家通過(guò)對(duì)很多球員和球隊(duì)的分析，得出了一些結(jié)論，結(jié)論包含他們是靠什么因素獲取勝利的。而通過(guò)這個(gè)結(jié)論，該球隊(duì)找到了一些本身并不是很貴但是卻有其獨(dú)特優(yōu)勢(shì)的球員，進(jìn)而獲得了很多獎(jiǎng)項(xiàng)，并贏得了世界杯。他表示，這就是數(shù)據(jù)分析的價(jià)值所在。
與此同時(shí)，這些傳統(tǒng)的存儲(chǔ)廠商也紛紛開(kāi)始在Hadoop方面下功夫。從最近的新聞也可以看出Hadoop的確“集萬(wàn)千寵愛(ài)于一身”。在收購(gòu)了Greenplum之后，EMC推出了一款基于Hadoop的專用數(shù)據(jù)協(xié)同處理設(shè)備Greenplum HD數(shù)據(jù)計(jì)算設(shè)備，可以一個(gè)單一、無(wú)縫的解決方案去實(shí)現(xiàn)對(duì)結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的協(xié)同處理。IBM在2011年也推出了基于Hadoop的InfoSphere BigInsights分析軟件，為大數(shù)據(jù)做準(zhǔn)備。NetApp通過(guò)與Hadoop的“鼻祖”Cloudera公司合作，發(fā)布了其Open Solution for Hadoop解決方案，幫助用戶深入了解不斷增長(zhǎng)的數(shù)據(jù)。同樣在2011年戴爾也與Cloudera進(jìn)行合作，加入了Hadoop的陣營(yíng)。有人形容現(xiàn)在的Hadoop就像當(dāng)年的Linux，也有人預(yù)測(cè)，未來(lái)的Hadoop會(huì)取得像Linux一樣的成就。
王叢表示，Hadoop之所以會(huì)迅速占據(jù)技術(shù)熱門，是因?yàn)樗芎玫慕鉀Q了目前數(shù)據(jù)的“無(wú)計(jì)劃性”。與以往的結(jié)構(gòu)化數(shù)據(jù)不同，現(xiàn)在用戶面臨的數(shù)據(jù)種類、數(shù)據(jù)量，以及數(shù)據(jù)之間的關(guān)系都是毫無(wú)計(jì)劃和規(guī)律的，這對(duì)于傳統(tǒng)的數(shù)據(jù)庫(kù)來(lái)說(shuō)，處理此類數(shù)據(jù)簡(jiǎn)直不可能。而Hadoop的出現(xiàn)，解決了此類問(wèn)題。在這里，就不贅述Hadoop的技術(shù)原理了。
作為一款出色的開(kāi)源架構(gòu)，確實(shí)給廠商帶來(lái)了很多便利性。但是，開(kāi)源也就意味著很多方面還不很成熟，需要不斷完善。所以，王叢也表示，以目前Hadoop的發(fā)展?fàn)顩r，只有那些具有充足的開(kāi)發(fā)資源，并且有著豐富的Hadoop經(jīng)驗(yàn)的用戶才能夠開(kāi)發(fā)出成熟的可用的平臺(tái)。
面對(duì)大數(shù)據(jù)的洶涌來(lái)襲，數(shù)據(jù)中心用戶必然會(huì)面臨更多的新技術(shù)抉擇。緊跟技術(shù)的潮流，選擇適合自己的大數(shù)據(jù)工具，才能在大數(shù)據(jù)的潮流中挖掘出更多的商業(yè)價(jià)值。
內(nèi)容小貼士：集群存儲(chǔ)
集群存儲(chǔ)一般由多個(gè)存儲(chǔ)節(jié)點(diǎn)組成，每個(gè)節(jié)點(diǎn)都包含了前端端口、控制器和后端的磁盤，他們組成了一個(gè)存儲(chǔ)單元。而在大數(shù)據(jù)到來(lái)需要擴(kuò)展容量或性能時(shí)，會(huì)以節(jié)點(diǎn)為單位進(jìn)行擴(kuò)展。對(duì)于大數(shù)據(jù)時(shí)代之下，數(shù)據(jù)增長(zhǎng)趨勢(shì)難以預(yù)測(cè)的用戶來(lái)說(shuō)，集群存儲(chǔ)可以實(shí)現(xiàn)像搭積木一樣的簡(jiǎn)易擴(kuò)展性，同時(shí)也不會(huì)影響現(xiàn)有存儲(chǔ)的使用。
而集群存儲(chǔ)的靈魂則是其分布式操作系統(tǒng)，所有對(duì)集群存儲(chǔ)的操作都經(jīng)由分布式操作系統(tǒng)統(tǒng)一調(diào)度和分發(fā)，分散到每個(gè)存儲(chǔ)節(jié)點(diǎn)上完成，可以大幅提升性能。這種結(jié)構(gòu)與傳統(tǒng)的NAS或者SAN完全不同。集群存儲(chǔ)可以實(shí)現(xiàn)容量和性能的線性提升，不會(huì)遭遇到控制器的處理瓶頸。
編看編想：有關(guān)大數(shù)據(jù)
在針對(duì)大數(shù)據(jù)問(wèn)題采訪業(yè)內(nèi)人士的過(guò)程中，記者發(fā)現(xiàn)，雖然大數(shù)據(jù)的概念已被越來(lái)越多的人提起，但是相比于云計(jì)算的概念來(lái)說(shuō)，其帶來(lái)的影響或許不是那么具有革命性。
對(duì)于存儲(chǔ)硬件產(chǎn)品來(lái)說(shuō)，市面上并沒(méi)有出現(xiàn)最新的專門針對(duì)大數(shù)據(jù)而生的產(chǎn)品，上文中提及的統(tǒng)一存儲(chǔ)、集群存儲(chǔ)等產(chǎn)品也不是專為大數(shù)據(jù)而出現(xiàn)的產(chǎn)品，只不過(guò)借由大數(shù)據(jù)帶來(lái)的非結(jié)構(gòu)化數(shù)據(jù)飛增的機(jī)遇，這些產(chǎn)品可能會(huì)獲得更大的市場(chǎng)機(jī)遇。
而通過(guò)采訪存儲(chǔ)廠商也發(fā)現(xiàn)，相比于數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)分析領(lǐng)域而言，大數(shù)據(jù)對(duì)存儲(chǔ)帶來(lái)的影響并不是那么明顯。從最近兩年的報(bào)道也可以看出，對(duì)于大數(shù)據(jù)，大家更多的是關(guān)注數(shù)據(jù)分析產(chǎn)生的商業(yè)價(jià)值，將越來(lái)越多的、種類日趨復(fù)雜的數(shù)據(jù)轉(zhuǎn)變成有利于產(chǎn)生商業(yè)價(jià)值的資產(chǎn)。從廠商對(duì)數(shù)據(jù)分析廠商的并購(gòu)也可以看出，數(shù)據(jù)分析在大數(shù)據(jù)時(shí)代里將會(huì)成為主角。
【編輯推薦】
