暢談“分布式流數(shù)據(jù)持續(xù)計算”

“從全量計算走向迭代計算、實(shí)時計算，”“基于實(shí)時數(shù)據(jù)的算法明顯提升效果20%”……

近日，在剛剛結(jié)束的支付寶“技術(shù)風(fēng)云會”上，來自阿里巴巴、思科和騰訊的工程師分享了對于“分布式流數(shù)據(jù)持續(xù)計算”的理解和各自的“招數(shù)”。

支付寶技術(shù)風(fēng)云會是由支付寶技術(shù)大學(xué)組織的線下技術(shù)交流活動，而C3沙龍是由業(yè)內(nèi)關(guān)注云計算應(yīng)用和發(fā)展的工程師自主發(fā)起，專注于專業(yè)領(lǐng)域的互動交流平臺。今年6月，C3沙龍與支付寶“技術(shù)風(fēng)云會”合作，將沙龍交流平臺引入杭州，從而為“南派”技術(shù)人員的分享交流提供了舞臺。

在交流活動中，來自阿里巴巴B2B公司技術(shù)部搜索平臺部的資深專家強(qiáng)琦分享了關(guān)于“持續(xù)計算”的架構(gòu)問題。

“我們需要從全量計算走向迭代計算、實(shí)時計算，”強(qiáng)琦說，“實(shí)時數(shù)據(jù)的特點(diǎn)是到達(dá)時間、數(shù)據(jù)順序、數(shù)據(jù)質(zhì)量、數(shù)據(jù)規(guī)模等不可控，處理算子對全局狀態(tài)的影響不同等，要求分析系統(tǒng)要有強(qiáng)大的體系架構(gòu)和容錯方案。分布式實(shí)時流數(shù)據(jù)計算平臺 IProcess可以做到滿足任務(wù)優(yōu)先級、調(diào)度、容錯、流式計算等多個特點(diǎn)，并且支持事務(wù)，架構(gòu)領(lǐng)先，業(yè)內(nèi)領(lǐng)先”。

來自騰訊公司的工程師張文郁分享了關(guān)于騰訊“實(shí)時推薦數(shù)據(jù)流系統(tǒng)”的內(nèi)容，這是與“分布式流數(shù)據(jù)”相關(guān)的具體例證。

“靜態(tài)數(shù)據(jù)正在向動態(tài)數(shù)據(jù)的轉(zhuǎn)變，必須讓數(shù)據(jù)分析有質(zhì)的變更”，張文郁分享說，數(shù)據(jù)中心從離線走向準(zhǔn)實(shí)時是革命性變化，面向客戶、面向終端，帶來更具有突破性的商業(yè)價值;這套系統(tǒng)基于實(shí)時數(shù)據(jù)的算法明顯提升效果20%，效果明顯，數(shù)據(jù)的價值挖掘到更大。

來自思科公司的工程師Denny & Dean則分享了.思科流式分析系統(tǒng)設(shè)計的考量和需求，介紹了思科在hadoop之上開發(fā)出的處理實(shí)時數(shù)據(jù)流轉(zhuǎn)的StreamAnalytics系統(tǒng)。