【51CTO.com原創(chuàng)稿件】2016 年11月25-26日，WOT2016大數(shù)據(jù)峰會在北京粵財JW萬豪酒店召開，50多位大數(shù)據(jù)領(lǐng)域一線專家、數(shù)據(jù)技術(shù)先行者齊聚現(xiàn)場，在圍繞數(shù)據(jù)智能、大 數(shù)據(jù)商業(yè)、區(qū)塊鏈、實時計算、系統(tǒng)架構(gòu)、NoSQL等前沿技術(shù)話題展開深度交流和溝通探討的同時，分享大數(shù)據(jù)領(lǐng)域***實踐和最熱門的行業(yè)應(yīng)用。

在WOT2016大數(shù)據(jù)技術(shù)峰會系統(tǒng)架構(gòu)分會場，來自AdMaster的資深架構(gòu)師劉喆發(fā)表了演講，他的演講主題是AdMaster的Lambda架構(gòu)實踐。會后51CTO記者在現(xiàn)場對他進行了專訪。

【受訪人簡介】

[[177154]]

劉喆·AdMaster資深架構(gòu)師

劉喆(Zhe Liu)，目前任現(xiàn)任架構(gòu)師，主要負責(zé)數(shù)據(jù)處理的全流程技術(shù)支持, 高性能和高可用的分布式架構(gòu)設(shè)計, DSL 語言抽象, Hadoop/HBase/Storm/Spark等大數(shù)據(jù)平臺優(yōu)化。2010年碩士畢業(yè)后, 劉喆在百度就職, 負責(zé)當(dāng)時全球規(guī)模***的 hadoop 平臺的運維開發(fā)工作. 2011年底加入人民搜索, 代理運維總監(jiān)。近7 年的大學(xué)生活和近 5 年的工作經(jīng)歷中, 劉喆一直在追求簡單直接,關(guān)注于數(shù)據(jù)挖掘/大數(shù)據(jù)/DSL/系統(tǒng)架構(gòu), 對分布式計算/分布式架構(gòu)和程序語言情有獨鐘, 曾多次被51CTO/spark 峰會/into100峰會等邀請為嘉賓分享Hadoop/spark/開源軟件等相關(guān)經(jīng)驗。

Lambda架構(gòu)從何而來?他是由Storm的作者Nathan Marz提出，針對個實時大數(shù)據(jù)處理的一個框架。Marz在Twitter工作期間開發(fā)了著名的實時大數(shù)據(jù)處理框架Storm，Lambda架構(gòu)是其根據(jù) 多年進行分布式大數(shù)據(jù)系統(tǒng)的經(jīng)驗總結(jié)提煉而成。當(dāng)記者問及最初選擇Lambda架構(gòu)的原由時，劉喆這樣回答：“其實不是我們選了Lambda，而是我們用 了這個架構(gòu)之后，發(fā)現(xiàn)這個東西叫Lambda。”

在Lambda架構(gòu)基礎(chǔ)上做開發(fā)

Lambda架構(gòu)因為具備高容錯、低延時和可擴展等優(yōu)勢，被很多數(shù)據(jù)公司選用。劉喆在采訪中說道，想要實時又快又準的任意在大數(shù)據(jù)集上進行查詢計算 等操作，可利用Lambda架構(gòu)分解的三層架構(gòu)來應(yīng)對，這三層架構(gòu)分別是Batch Layer，Speed Layer和Serving Layer。AdMaster并沒有改變Lambda架構(gòu)這三層主體，只是在數(shù)據(jù)接入層方面做一些增強，保證數(shù)據(jù)的完整性，針對這部分AdMaster開 發(fā)自己的系統(tǒng)。數(shù)據(jù)處理方面，如用戶的數(shù)據(jù)是不可變就可做實時覆蓋，如用戶的業(yè)務(wù)不能接受，數(shù)據(jù)可變，那就不能做實時覆蓋。

Lambda架構(gòu)運用于廣告、社交等業(yè)務(wù)

當(dāng)問及Lambda架構(gòu)都能支持哪些業(yè)務(wù)時，劉喆老師表示，對于廣告線可集中管理、執(zhí)行、監(jiān)控和追蹤網(wǎng)絡(luò)廣告活動，提供監(jiān)測數(shù)據(jù)，用戶可以方便快速地獲取廣告的曝光、點擊、頻次、iGRP、廣告覆蓋人群等信息。社交方面，可品牌輿情和負面信息預(yù)警實時掌握。

Lambda架構(gòu)的缺點及后期運維難點

劉喆表示，Lambda架構(gòu)***缺點就是把一份代碼寫了兩次，如果下一次升級用戶業(yè)務(wù)，或者升級用戶算法時，就涉及到兩個算法的修改。在批量處理和 實時處理方面，修改是完全不一樣的。社區(qū)針對這個問題提出兩套方案Apahce beam和kappa，但尚未成熟，現(xiàn)在AdMaster還是以Lambda架構(gòu)為主。針對這一缺點，AdMaster后期運維時從算法、架構(gòu)、數(shù)據(jù)方 面，增加算法和模塊重用，這樣可以保障只需把架構(gòu)相關(guān)部分重寫，算法和數(shù)據(jù)保持原貌，對于計算過的方面直接用，可以***限度的減少重復(fù)。

在采訪***，劉喆老師說道：“暫時看來，Lambda架構(gòu)可以滿足AdMaster自身業(yè)務(wù)線需求，基本上會繼續(xù)沿用，直到某一天，社區(qū)真的出現(xiàn)了***融合方案，可能會考慮”。

【51CTO原創(chuàng)稿件，合作站點轉(zhuǎn)載請注明原文作者和出處為51CTO.com】