2013年4月26日-27日，由51CTO傳媒集團(tuán)旗下WOT（World Of Tech）品牌主辦的2013大數(shù)據(jù)全球技術(shù)峰會(huì)在北京富力萬(wàn)麗酒店召開。本次峰會(huì)將圍繞大數(shù)據(jù)基礎(chǔ)架構(gòu)與上層應(yīng)用的生態(tài)系統(tǒng)，解決大規(guī)模數(shù)據(jù)引發(fā)的問(wèn)題，探索大數(shù)據(jù)基礎(chǔ)的解決方案，激發(fā)數(shù)據(jù)挖掘帶來(lái)的競(jìng)爭(zhēng)力，讓數(shù)據(jù)發(fā)出聲音。51CTO作為本次峰會(huì)的主辦方，將全程視頻、圖文直播報(bào)道這場(chǎng)數(shù)據(jù)的盛宴，更多內(nèi)容請(qǐng)點(diǎn)擊專題：2013大數(shù)據(jù)全球技術(shù)峰會(huì)。

2013大數(shù)據(jù)全球技術(shù)峰會(huì)專題

 在第二天的數(shù)據(jù)挖掘與實(shí)時(shí)分析專場(chǎng)，***場(chǎng)演講由百度基礎(chǔ)架構(gòu)部高級(jí)工程師馬如悅帶來(lái)，他的主題是大規(guī)模數(shù)據(jù)分析系統(tǒng)的搭建。馬講師預(yù)測(cè)，到2015、2016年，數(shù)據(jù)分析將和移動(dòng)、云計(jì)算一樣熱門，因此現(xiàn)在未雨綢繆很有必要。

馬講師首先提出了兩個(gè)觀點(diǎn)，數(shù)據(jù)系統(tǒng)和分層設(shè)計(jì)。數(shù)據(jù)系統(tǒng)必須包括storage和query，因此mysql是數(shù)據(jù)系統(tǒng)，而HBase、NoSQL只能算存儲(chǔ)層。另外，大數(shù)據(jù)必須采用分層設(shè)計(jì)，包括：垂直分層-時(shí)效性庫(kù)，水平分層-OLTP、OLAP、NoSql等。分層可以減少設(shè)計(jì)復(fù)雜性、減少使用運(yùn)維復(fù)雜性、資源效率使用***。

為什么要提出這兩個(gè)觀點(diǎn)呢，因?yàn)?**，從小數(shù)據(jù)到大數(shù)據(jù)，數(shù)據(jù)的存儲(chǔ)、處理都是不同的；第二，大數(shù)據(jù)系統(tǒng)也是storage+query；第三，大數(shù)據(jù)因?yàn)檫^(guò)于heavy，需要分層考慮。

另外，馬講師還提到了最近大數(shù)據(jù)系統(tǒng)的趨勢(shì)，Newsql和Interactive analysis開始被人提及和研究，nosql太過(guò)原始，sql容量性能有限，newsql相當(dāng)于sql和nosql的中間實(shí)現(xiàn)，即帶有事物處理的nosql；Hive響應(yīng)太慢，數(shù)據(jù)庫(kù)容量性能有限，而Interactive analysis可以解決這些問(wèn)題。

***，馬講師講到了大數(shù)據(jù)分析的架構(gòu)設(shè)計(jì)，底層是ETL-1，然后裝進(jìn)數(shù)據(jù)倉(cāng)庫(kù)，然后通過(guò)ETL-2，對(duì)數(shù)據(jù)進(jìn)行分析，以前我們關(guān)注的都是底層，但是數(shù)據(jù)挖掘和分析缺乏關(guān)注。發(fā)展趨勢(shì)是數(shù)據(jù)量越來(lái)越大，維度越來(lái)越多，從以人為主到以機(jī)器為主，用戶專業(yè)度越來(lái)越高，但數(shù)量減少。

大數(shù)據(jù)系統(tǒng)搭建的一些解決方案，分別是商業(yè)版和開源版。開源版還沒有很成熟的產(chǎn)品來(lái)構(gòu)建大數(shù)據(jù)下的OLAP，中等規(guī)?？梢杂肏PCC解決方案，可以代替一些商業(yè)產(chǎn)品。

在QA環(huán)節(jié)，來(lái)自O(shè)racle的參會(huì)者和馬講師就商業(yè)與開源進(jìn)行了精彩的辯論，馬講師講到，如果數(shù)據(jù)是公司的核心競(jìng)爭(zhēng)力，那么采用開源方案可以不依賴他人，并且有自己的技術(shù)專利。

[[71738]]

以上是51CTO.com記者從一線為您帶來(lái)的精彩報(bào)道。后續(xù)我們還有更加精彩的獨(dú)家報(bào)道，敬請(qǐng)關(guān)注。