如今，隨著云計(jì)算、移動(dòng)互聯(lián)網(wǎng)、物聯(lián)網(wǎng)、大數(shù)據(jù)等技術(shù)的快速發(fā)展，企業(yè)逐漸認(rèn)識(shí)到，數(shù)據(jù)的價(jià)值，對(duì)數(shù)據(jù)的挖掘分析能力已經(jīng)成為企業(yè)的核心競(jìng)爭(zhēng)力。對(duì)于互聯(lián)網(wǎng)企業(yè)，最有價(jià)值的數(shù)據(jù)都蘊(yùn)藏在網(wǎng)站的日志中。從日志中，我們可以知道網(wǎng)站的訪(fǎng)問(wèn)量，應(yīng)用的使用量、用戶(hù)的相關(guān)數(shù)據(jù)，使用偏好等關(guān)鍵信息，從而更好的改善服務(wù)質(zhì)量，更好的滿(mǎn)足用戶(hù)的需求。

但是隨著企業(yè)的用戶(hù)規(guī)模不斷擴(kuò)大，以及數(shù)據(jù)量的爆炸式增長(zhǎng)，日志的管理和分析變得越來(lái)越具有挑戰(zhàn)性。近日，51CTO記者采訪(fǎng)了【W(wǎng)OT2016互聯(lián)網(wǎng)運(yùn)維與開(kāi)發(fā)者峰會(huì)】特邀講師，又拍云CTO黃慧攀，就海量日志處理系統(tǒng)架構(gòu)進(jìn)行探討。

黃慧攀是2010年加入又拍云，現(xiàn)任又拍云 CTO。他是 aLiLua Web 開(kāi)發(fā)框架的作者，擁有 14 年互聯(lián)網(wǎng)從業(yè)經(jīng)驗(yàn)，技術(shù)經(jīng)驗(yàn)涵蓋范圍比較廣，早期以前端 Web 開(kāi)發(fā)為主，后期逐步轉(zhuǎn)到底層研發(fā)方向，在高性能網(wǎng)絡(luò)服務(wù)、分布式存儲(chǔ)系統(tǒng)等方面有較深入的研究。隨著公司發(fā)展，團(tuán)隊(duì)不斷擴(kuò)大，相應(yīng)職責(zé)細(xì)分，目前主要做技術(shù)規(guī)劃和團(tuán)隊(duì)建設(shè)的工作。

黃慧攀此次將會(huì)在WOT 2016互聯(lián)網(wǎng)運(yùn)維與開(kāi)發(fā)者峰會(huì)上帶來(lái)主題為《海量日志處理系統(tǒng)架構(gòu)》的演講。那么海量日志對(duì)于企業(yè)來(lái)說(shuō)為何如此重要呢？黃慧攀認(rèn)為，日志的可挖掘價(jià)值確實(shí)非常多，比如廣告領(lǐng)域可以通過(guò)日志回溯到某個(gè)具體的用戶(hù)對(duì)什么產(chǎn)品或服務(wù)感興趣，從而驅(qū)動(dòng)給該用戶(hù)投放什么類(lèi)型的廣告。這也是現(xiàn)在很熱門(mén)的大數(shù)據(jù)領(lǐng)域中很重要的一項(xiàng)。而日志對(duì)于又拍云來(lái)說(shuō)，重點(diǎn)是在分析平臺(tái)整體性能，并在這些數(shù)據(jù)的基礎(chǔ)上做系統(tǒng)優(yōu)化。另外一個(gè)部分則是為給客戶(hù)提供便利而做的統(tǒng)計(jì)分析工作。

那么在信息爆炸的時(shí)代，處理海量日志的挑戰(zhàn)又有哪些呢？海量日志的日志數(shù)據(jù)量非常大，大到單臺(tái)服務(wù)器無(wú)法存儲(chǔ)和處理的量級(jí)。目前，又拍云現(xiàn)在每天收集到的訪(fǎng)問(wèn)日志就超過(guò)4TB的壓縮數(shù)據(jù)，如果解壓出來(lái)高達(dá)120TB文本數(shù)據(jù)。黃慧攀表示，處理如此龐大的數(shù)據(jù)量確實(shí)面臨很多挑戰(zhàn)，光收集存儲(chǔ)這些原始日志都會(huì)成為問(wèn)題，后續(xù)的處理和統(tǒng)計(jì)的難度就更大了。

現(xiàn)在，業(yè)界在處理海量日志采用比較流行的Hadoop或Spark等分布式計(jì)算系統(tǒng)，這樣的開(kāi)源技術(shù)無(wú)需考慮系統(tǒng)架構(gòu)。黃慧攀強(qiáng)調(diào)，如果要針對(duì)特定的業(yè)務(wù)場(chǎng)景，企業(yè)自己研發(fā)日志處理系統(tǒng)則需要一定的經(jīng)驗(yàn)，比如如何規(guī)范數(shù)據(jù)，如何做數(shù)據(jù)分布處理和匯總數(shù)據(jù)等等。

雖然Hadoop和Spark都是業(yè)界比較流行的開(kāi)源技術(shù)，但是面向特定的業(yè)務(wù)場(chǎng)景很難做到盡善盡美。為此，又拍云獨(dú)辟蹊徑，開(kāi)發(fā)了海量日志處理系統(tǒng)，來(lái)解決日處理TB級(jí)的壓縮日志數(shù)據(jù)的方法。至于使用了哪些技術(shù)，黃慧攀則賣(mài)起了關(guān)子，感興趣的用戶(hù)可以關(guān)注在WOT 2016互聯(lián)網(wǎng)運(yùn)維與開(kāi)發(fā)者峰會(huì)第二天上午的 【大數(shù)據(jù)與運(yùn)維】專(zhuān)場(chǎng)中黃慧攀的有趣分享。