大數(shù)據(jù)玩家們對2013年趨勢的預測
本文來自Adrew Brust的博客文章。主要陳述大數(shù)據(jù)業(yè)內人士對2013年發(fā)展的預測和作者自己的一些觀點,以下為編譯:
在大數(shù)據(jù)領域,雖然對技術產業(yè)的預測是不可缺少的,但是Adrew對宣傳一個具體公司的計劃明顯缺乏興趣,而且許多業(yè)內公司都把他們明年的計劃發(fā)給了Adrew,所以他認為:如果能把這些2013年的預測整合一下,再融入自己的觀點,將是一件非常有意思的事情。

圖:Big Data將會在2013發(fā)展到哪個階段?
Hadoop的2013
首先從Hadoop說起。做為大數(shù)據(jù)領域的代表技術,許多企業(yè)都把明年的計劃聚焦在Hadoop之上。MapR的執(zhí)行總監(jiān)John Schroeder預測,“用戶對Hadoop的優(yōu)化將更注重硬件”。同時,Pervasive Software的技術總監(jiān)Mike Hoskins也指出,“對企業(yè)友好的Hadoop技術市場將達到***的高峰”。
Adrew認為這兩個預測都會發(fā)生,從整體上說,不僅是Hadoop本身本會得到迅猛的發(fā)展,同時Hadoop在多個數(shù)據(jù)中心中的配置和無縫集成技術也將成為熱門?;蛟S因為于此,MapR的Schroeder會說,“Hadoop的專業(yè)知識正在飛速增長,但是這方面優(yōu)秀的人才仍然很缺乏”,他還預測,“基于SQL的Hadoop工具將會得到持續(xù)發(fā)展”。對于后面的這個預測我們沒法提出反對的意見,因為僅僅在過去的一個季度里,這樣的工具就取得了巨大的發(fā)展,并且目前的發(fā)展勢頭也有減弱。
然而并不是所有的觀點都一致。Rainstor自己就有基于SQL-Hadoop的混合產品,它預測一旦當企業(yè)需要對大數(shù)據(jù)進行管理,在明年將會尋找新技術,而不僅僅局限于Hadoop,這就和Pervasive的預測形成了強烈的對比,“MapR將占領傳統(tǒng)數(shù)據(jù)倉庫的市場,Hadoop將會成為大數(shù)據(jù)分析的不二選擇”。
Hadoop上層
過去Hadoop已經(jīng)給我們帶來了許多微妙的預測。Rainstor預測,“企業(yè)的大數(shù)據(jù)熱情將從底層研究中釋放出來,他們會更多地關注一系列清晰的業(yè)務和技術。”MapR預測,“開源(增加收入)的應用將勝過節(jié)流應用”。其他公司的預測基本上都認為,明年的用戶將會轉移到成熟的更高層次的大數(shù)據(jù)模型之上。
雖然他們是對的,但是從底層中轉移出來并不容易,其中還有許多問題尚未解決。許多預測師似乎都有同感,普遍的說法是,Data Quality將會繼續(xù)成為企業(yè)的燙手山芋”。Progress DataDirect的專家預測,“企業(yè)將會被他們自己的數(shù)據(jù)淹沒,同時分散的數(shù)據(jù)也會帶來新的麻煩。”這些預測似乎有點危言聳聽,但是在商務智能的世界里,這些預測已經(jīng)不新鮮了。如果說大數(shù)據(jù)的世界能避免這些問題,那恐怕只會是一場美好愿景下的炒作。一旦這些炒作過去,那些問題就會凸顯,使你無法逃避。
數(shù)據(jù)分析和虛擬化
業(yè)界人士發(fā)給Adrew預測的并不只有Rainstor, Pervasive, MapR 和 Progress DataDirect。Adrew同樣收到了關注市場分析的BlueKai和iOS數(shù)據(jù)虛擬的供應商Roambi的預測。他們的預測都是基于自己的服務,普遍涉及了用戶這個主題,指出他們必然會遇到更多、更復雜的問題。
例如Roambi提到,“有一半的業(yè)務數(shù)據(jù)沒法利用到,這影響到了決策和預測的準確性”。BlueKai的執(zhí)行總監(jiān)Omar Tawakol指出,“有遠見的品牌會重新評估他們的代理,基于***化利用交叉頻道聽眾的數(shù)據(jù)能力,去測量數(shù)據(jù)利用率和ROI。”
降低復雜度
大數(shù)據(jù)技術的落地將會有兩個特點:一個是對MapReduce依賴越來越少,另外一個是會把Hadoop技術深入的應用到企業(yè)的軟件架構中。
對于***個特點,Adrew指的是像Cloudera的Impala和微軟的PolyBase這樣的軟件會得到充分發(fā)展,他們繞開了MapReduce,直接對存在HDFS中的數(shù)據(jù)進行處理。MapR預測基于SQL的工具將和上面的軟件一起繼續(xù)發(fā)展,Pervasive預測,“YARN正在改變Hadoop的游戲規(guī)則,它不僅允許在Hadoop上運行MapReduce應用,同時還允許其他類型的應用在其上面部署。”
對于第二個特點,大規(guī)模的使用Hadoop是個必然趨勢,漸漸的就會形成行業(yè)的標準,進而成為更有價值的軟件基礎,而不僅是自己內部使用。因此,Adrew認為我們會看到更多集成了Hadoop功能的商務智能和智能分析工具,這樣我們對Hadoop專家的依賴就會逐漸降下來。
拭目以待
這些預言中哪些會成為現(xiàn)實,讓我們一起拭目以待。