暢談“分布式流數(shù)據(jù)持續(xù)計算”

“從全量計算走向迭代計算、實時計算，”“基于實時數(shù)據(jù)的算法明顯提升效果20%”……

近日，在剛剛結束的支付寶“技術風云會”上，來自阿里巴巴、思科和騰訊的工程師分享了對于“分布式流數(shù)據(jù)持續(xù)計算”的理解和各自的“招數(shù)”。

支付寶技術風云會是由支付寶技術大學組織的線下技術交流活動，而C3沙龍是由業(yè)內關注云計算應用和發(fā)展的工程師自主發(fā)起，專注于專業(yè)領域的互動交流平臺。今年6月，C3沙龍與支付寶“技術風云會”合作，將沙龍交流平臺引入杭州，從而為“南派”技術人員的分享交流提供了舞臺。

在交流活動中，來自阿里巴巴B2B公司技術部搜索平臺部的資深專家強琦分享了關于“持續(xù)計算”的架構問題。

“我們需要從全量計算走向迭代計算、實時計算，”強琦說，“實時數(shù)據(jù)的特點是到達時間、數(shù)據(jù)順序、數(shù)據(jù)質量、數(shù)據(jù)規(guī)模等不可控，處理算子對全局狀態(tài)的影響不同等，要求分析系統(tǒng)要有強大的體系架構和容錯方案。分布式實時流數(shù)據(jù)計算平臺 IProcess可以做到滿足任務優(yōu)先級、調度、容錯、流式計算等多個特點，并且支持事務，架構領先，業(yè)內領先”。

來自騰訊公司的工程師張文郁分享了關于騰訊“實時推薦數(shù)據(jù)流系統(tǒng)”的內容，這是與“分布式流數(shù)據(jù)”相關的具體例證。

“靜態(tài)數(shù)據(jù)正在向動態(tài)數(shù)據(jù)的轉變，必須讓數(shù)據(jù)分析有質的變更”，張文郁分享說，數(shù)據(jù)中心從離線走向準實時是革命性變化，面向客戶、面向終端，帶來更具有突破性的商業(yè)價值;這套系統(tǒng)基于實時數(shù)據(jù)的算法明顯提升效果20%，效果明顯，數(shù)據(jù)的價值挖掘到更大。

來自思科公司的工程師Denny & Dean則分享了.思科流式分析系統(tǒng)設計的考量和需求，介紹了思科在hadoop之上開發(fā)出的處理實時數(shù)據(jù)流轉的StreamAnalytics系統(tǒng)。