毛波:淘寶數(shù)據(jù)分析挖掘?qū)嵺`及變革
原創(chuàng)2013年4月26日-27日,由51CTO傳媒集團(tuán)旗下WOT(World Of Tech)品牌主辦的2013大數(shù)據(jù)全球技術(shù)峰會(huì)在北京富力萬(wàn)麗酒店召開(kāi)。本次峰會(huì)將圍繞大數(shù)據(jù)基礎(chǔ)架構(gòu)與上層應(yīng)用的生態(tài)系統(tǒng),解決大規(guī)模數(shù)據(jù)引發(fā)的問(wèn)題,探索大數(shù)據(jù)基礎(chǔ)的解決方案,激發(fā)數(shù)據(jù)挖掘帶來(lái)的競(jìng)爭(zhēng)力,讓數(shù)據(jù)發(fā)出聲音。51CTO作為本次峰會(huì)的主辦方,將全程視頻、圖文直播報(bào)道這場(chǎng)數(shù)據(jù)的盛宴,更多內(nèi)容請(qǐng)點(diǎn)擊專(zhuān)題:2013大數(shù)據(jù)全球技術(shù)峰會(huì)。
2013大數(shù)據(jù)全球技術(shù)峰會(huì)專(zhuān)題
淘寶高級(jí)技術(shù)專(zhuān)家毛波為參會(huì)者分享了主題為數(shù)據(jù)分析挖掘?qū)嵺`及變革的演講。淘寶自07年以來(lái),在數(shù)據(jù)分析挖掘方面投入了相當(dāng)大的力量,并且取得了相當(dāng)大的成果。在數(shù)據(jù)應(yīng)用的格局中,分別開(kāi)發(fā)了對(duì)外和對(duì)內(nèi)的數(shù)據(jù)服務(wù),實(shí)現(xiàn)了數(shù)據(jù)像水電煤氣一樣,哪里需要就可以接入。
淘寶在08、09年啟動(dòng)了去IOE的工程,替換掉IBM、Oracle、EMC的服務(wù)器集群解決方案。之后越做越大,在11年開(kāi)始探索做公有云,到現(xiàn)在開(kāi)始探索金融服務(wù)和精準(zhǔn)營(yíng)銷(xiāo)等新領(lǐng)域。
數(shù)據(jù)系統(tǒng)變遷需要考慮性能、擴(kuò)展性、運(yùn)維三個(gè)方面,技術(shù)方案必須圍繞數(shù)據(jù)量、資源和業(yè)務(wù)需求來(lái)打造。
淘寶現(xiàn)在的數(shù)據(jù)應(yīng)用格局如下:
對(duì)外數(shù)據(jù)產(chǎn)品,如淘寶指數(shù)、量子恒道等。分別對(duì)賣(mài)家、分析師、買(mǎi)方提供數(shù)據(jù)分析服務(wù)。
數(shù)據(jù)嵌入產(chǎn)品中。如搜索、廣告、推薦等。數(shù)據(jù)就像水電煤氣,哪個(gè)地方需要就可以接入。
內(nèi)部數(shù)據(jù)服務(wù)。如淘數(shù)據(jù)門(mén)戶(hù)、多維數(shù)據(jù)自助查詢(xún)平臺(tái)。日活躍用戶(hù)超過(guò)1000,會(huì)直接訪(fǎng)問(wèn)Hadoop集群。
數(shù)據(jù)工具。如天網(wǎng)調(diào)度、元數(shù)據(jù)管理、數(shù)據(jù)地圖等。
新的探索。如金融服務(wù)、全網(wǎng)精準(zhǔn)營(yíng)銷(xiāo)、無(wú)線(xiàn)與PC數(shù)據(jù)打通等。這些服務(wù)都需要數(shù)據(jù)分析的幫助,因此數(shù)據(jù)部門(mén)直接參與。
***,毛講師還分享了他對(duì)于現(xiàn)在大數(shù)據(jù)的一些觀點(diǎn)。
- 數(shù)據(jù)處理是手段,數(shù)據(jù)應(yīng)用是根本。
- 云系統(tǒng)的運(yùn)維能力是核心競(jìng)爭(zhēng)力。
- 整合關(guān)聯(lián)讓數(shù)據(jù)價(jià)值指數(shù)級(jí)增長(zhǎng)。
- 數(shù)據(jù)可視化很重要。
- 想大做小,迭代優(yōu)化。
- 關(guān)于隱私。隱私和服務(wù)需要權(quán)衡,控制使用比控制收集更有效,數(shù)據(jù)使用不針對(duì)具體個(gè)體。
以上是51CTO.com記者從一線(xiàn)為您帶來(lái)的精彩報(bào)道。后續(xù)我們還有更加精彩的獨(dú)家報(bào)道,敬請(qǐng)關(guān)注。