吳朱華:在我眼中的大數(shù)據(jù)時(shí)代
原創(chuàng)2013年4月26日-27日,由51CTO傳媒集團(tuán)旗下WOT(World Of Tech)品牌主辦的2013大數(shù)據(jù)全球技術(shù)峰會(huì)在北京富力萬(wàn)麗酒店召開(kāi)。本次峰會(huì)將圍繞大數(shù)據(jù)基礎(chǔ)架構(gòu)與上層應(yīng)用的生態(tài)系統(tǒng),解決大規(guī)模數(shù)據(jù)引發(fā)的問(wèn)題,探索大數(shù)據(jù)基礎(chǔ)的解決方案,激發(fā)數(shù)據(jù)挖掘帶來(lái)的競(jìng)爭(zhēng)力,讓數(shù)據(jù)發(fā)出聲音。51CTO作為本次峰會(huì)的主辦方,將全程視頻、圖文直播報(bào)道這場(chǎng)數(shù)據(jù)的盛宴,更多內(nèi)容請(qǐng)點(diǎn)擊專(zhuān)題:2013大數(shù)據(jù)全球技術(shù)峰會(huì)。
2013大數(shù)據(jù)全球技術(shù)峰會(huì)專(zhuān)題
來(lái)自麥肯錫報(bào)告,未來(lái)十年里數(shù)據(jù)和內(nèi)容將增長(zhǎng)44倍,并且這些數(shù)據(jù)有無(wú)法估量的價(jià)值。
對(duì)于傳統(tǒng)行業(yè)來(lái)說(shuō),大數(shù)據(jù)的沖擊來(lái)自三個(gè)方面,數(shù)據(jù)終端數(shù)據(jù)量的增長(zhǎng),例如智能電網(wǎng)和物聯(lián)網(wǎng);數(shù)據(jù)維度的變化,例如消費(fèi)行為與社交網(wǎng)絡(luò)的關(guān)聯(lián);商業(yè)模式的變化:例如從產(chǎn)品消費(fèi)到信用營(yíng)銷(xiāo),從經(jīng)驗(yàn)和直覺(jué)決策到數(shù)據(jù)智能決策,三個(gè)因素組織在一起,使大數(shù)據(jù)發(fā)生了幾何數(shù)的增長(zhǎng)。
大數(shù)據(jù)階段
***階段:自身業(yè)務(wù)需求產(chǎn)生大量數(shù)據(jù),利用這些數(shù)據(jù)通過(guò)深入認(rèn)證,優(yōu)化相關(guān)業(yè)務(wù)。
第二階段:搜集與目標(biāo)業(yè)務(wù)直接或間接關(guān)聯(lián)的大量異質(zhì)數(shù)據(jù),建立復(fù)雜的分析和預(yù)測(cè)模型,產(chǎn)生針對(duì)目標(biāo)業(yè)務(wù)的輸出。這個(gè)階段國(guó)外比較普遍,但在國(guó)內(nèi)還依然很少。
第三階段:隨著整體數(shù)據(jù)相關(guān)的法律不斷補(bǔ)充,以及技術(shù)不斷成熟,形成一個(gè)完善的數(shù)據(jù)生態(tài),包括數(shù)據(jù)市場(chǎng),數(shù)據(jù)運(yùn)營(yíng)商和數(shù)據(jù)商店等。
從技術(shù)角度而言,趨勢(shì)是更實(shí)時(shí),越快越好,更全面數(shù)據(jù)分析需求,包括SQL、挖掘算法,以及以Deep Learning為代表的機(jī)器學(xué)習(xí)技術(shù)。
大數(shù)據(jù)實(shí)時(shí)分析的目的
實(shí)時(shí)決策能力;提高業(yè)務(wù)效率;快速智能發(fā)現(xiàn)新觀點(diǎn)和商業(yè)機(jī)會(huì);提供業(yè)務(wù)產(chǎn)出;提升IT效率;
大數(shù)據(jù)實(shí)時(shí)分析所需的技術(shù)支撐
大數(shù)據(jù)秒級(jí),甚至毫秒級(jí)的處理;上千人的并發(fā)訪問(wèn);支持SQL標(biāo)準(zhǔn),特別是OLAP相關(guān)的語(yǔ)句;數(shù)據(jù)安全和集群的穩(wěn)定型。
大數(shù)據(jù)實(shí)時(shí)分析的技術(shù)選型
Hadoop系列:Hive,Impala;
NoSQL系列:MongoDB,HBase;
傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù):Oracle,DB2,MySQL;
傳統(tǒng)列式數(shù)據(jù)庫(kù):Infobright,Monet DB。
在介紹一下YunTable
YunTable是在從分布式數(shù)據(jù)庫(kù)的基礎(chǔ)上發(fā)展而來(lái),同時(shí)加入一些NoSQL的基因的新一代大數(shù)據(jù)實(shí)時(shí)分析數(shù)據(jù)庫(kù),并且支持內(nèi)存計(jì)算,比較接近SAP HANA。
YunTable核心特性
大數(shù)據(jù),秒級(jí)內(nèi)存計(jì)算;采用廉價(jià)的x86硬件;自動(dòng)線性動(dòng)態(tài)擴(kuò)展至數(shù)百臺(tái)集群;每秒GB級(jí)別吞吐量,PB級(jí)別存儲(chǔ)量;SQL92特性覆蓋,并提供多平臺(tái)的SQL驅(qū)動(dòng),還支持R。
以上是51CTO.com記者從一線為您帶來(lái)的精彩報(bào)道。后續(xù)我們還有更加精彩的獨(dú)家報(bào)道,敬請(qǐng)關(guān)注。






















