揭秘支付寶大數(shù)據(jù)應(yīng)用 探知數(shù)據(jù)價(jià)值
作為前阿里巴巴***DBA,精通Oracle數(shù)據(jù)庫(kù),在OS、主機(jī)、存儲(chǔ)領(lǐng)域有豐富經(jīng)驗(yàn),對(duì)軟硬件的系統(tǒng)整合有豐富經(jīng)驗(yàn)。帶領(lǐng)數(shù)據(jù)庫(kù)團(tuán)隊(duì)期間培養(yǎng)了一批知名數(shù)據(jù)庫(kù)專家,現(xiàn)負(fù)責(zé)支付寶數(shù)據(jù)平臺(tái),專注于分布式存儲(chǔ)和并行計(jì)算,構(gòu)建基于hadoop上hive、hbase的系統(tǒng)。本次大會(huì)上,馮春培先生分享了支付寶的大數(shù)據(jù)應(yīng)用實(shí)踐。
▲前阿里巴巴***DBA馮春培
科技時(shí)代數(shù)據(jù)已成資產(chǎn) 關(guān)鍵在于運(yùn)營(yíng)
科技時(shí)代的企業(yè),尤其是IT企業(yè),說起來對(duì)于公司資產(chǎn)的定義往往要比傳統(tǒng)企業(yè)要大的多,因?yàn)楫?dāng)今企業(yè)中對(duì)除了那些有型的和可以用價(jià)值衡量的資產(chǎn)外,還有一些是切實(shí)存在但很難直觀評(píng)估價(jià)值的數(shù)據(jù),但正是這樣的矛盾才讓當(dāng)今企業(yè)更加關(guān)注數(shù)據(jù)資產(chǎn)的價(jià)值。馮春培先生的介紹中我們可以充分體會(huì)到一個(gè)IT企業(yè)對(duì)于數(shù)據(jù)是有著多么厚重的需求和管理目標(biāo)。
▲數(shù)據(jù)平臺(tái)愿景
而管理起這些數(shù)據(jù),也正是希望通過這個(gè)管理的過程,挖掘數(shù)據(jù)更加更大的價(jià)值。馮春培先生認(rèn)為通過數(shù)據(jù)化的運(yùn)營(yíng),能夠?yàn)槠髽I(yè)帶巨大的變化,首先是管理和運(yùn)營(yíng)模式的升級(jí),數(shù)據(jù)化運(yùn)營(yíng),重點(diǎn)在運(yùn)營(yíng)而非數(shù)據(jù),數(shù)據(jù)是固定的,透過數(shù)據(jù)看到價(jià)值是運(yùn)營(yíng)的過程。其次,運(yùn)營(yíng)數(shù)據(jù)的過程能夠帶來更多的提升:
• 商業(yè)模式的升級(jí)
• 數(shù)據(jù)開始成為核心價(jià)值
• 重點(diǎn)是數(shù)據(jù)
云時(shí)代數(shù)據(jù)價(jià)值體現(xiàn)——BI解決方案
似乎在今天不提云就不科技,但事實(shí)上,因?yàn)樵频纳钊霊?yīng)用能夠滿足更高的可用性和更好的用戶體驗(yàn)要求,隨之而來的數(shù)據(jù)的增長(zhǎng)也和云本身體量一體“爆發(fā)”。支付寶的數(shù)據(jù)現(xiàn)狀分析足以說明這樣的現(xiàn)實(shí),按照目前的增長(zhǎng)情況,2012年的數(shù)據(jù)增長(zhǎng)預(yù)計(jì)將會(huì)遠(yuǎn)超過去。而時(shí)間馬上就要到預(yù)測(cè)點(diǎn)了,是不是這樣我們可以在不久的將來驗(yàn)證這個(gè)數(shù)據(jù)的預(yù)測(cè)。
在云時(shí)代的今天,數(shù)據(jù)的價(jià)值如何充分體現(xiàn),可以說支付寶在對(duì)數(shù)據(jù)的挖掘上也頗為有意思。從下圖上我們可以看到,根據(jù)數(shù)據(jù)維度不同、數(shù)據(jù)目標(biāo)不同建立起不同的解決方案,并為相應(yīng)的解決方案。
看上去似乎滿足了方方面的需求但是,馮春培先生也在演講中表示自己在面臨數(shù)據(jù)時(shí)候的壓力與挑戰(zhàn):
• 成千上萬JOB
• PB級(jí)數(shù)據(jù)
• SLA
• 前臺(tái)的分與后臺(tái)的合
• Big data 與 適時(shí)計(jì)算(T+1 à100ms)
隨著業(yè)務(wù)的開展,更多的問題也在挑戰(zhàn)數(shù)據(jù)管理的工作本身:
• 使用數(shù)據(jù)的人越來越多
• 數(shù)據(jù)需求的復(fù)雜性增加
• 對(duì)數(shù)據(jù)價(jià)值的判斷和取舍