【51CTO.com原創(chuàng)稿件】最近，搞應(yīng)用開發(fā)的小王遇到了十分頭痛的問題。公司產(chǎn)品在實(shí)際的應(yīng)用中，產(chǎn)生了大量的用戶日志數(shù)據(jù)，這些日志的存儲、統(tǒng)計(jì)、分析和查詢可難倒了他和同事。因?yàn)榉?wù)器比較多，日志難以歸集;大量的日志數(shù)據(jù)需要備份處理，還要進(jìn)行相關(guān)的統(tǒng)計(jì)和查詢分析。

目前，他們采取的方案就是scribe進(jìn)行日志歸集后交給Hadoop處理。但是因?yàn)閷τ贖adoop研究不夠深入，處理起日志來挑戰(zhàn)較大。他們亟需一個可靠的便捷的解決方案。

其實(shí)，小王面臨的這種情況并不是個例。近日，日志易產(chǎn)品總監(jiān)饒琛琳在接受51CTO記者采訪時表示，無論是服務(wù)器、網(wǎng)絡(luò)，還是應(yīng)用，只要在運(yùn)行中就會產(chǎn)生數(shù)據(jù)，形成日志。產(chǎn)生的這些日志本身是沒有價值的，只有加以分析關(guān)聯(lián)才會產(chǎn)生價值，了解到網(wǎng)絡(luò)中發(fā)生的事情，是否遭遇安全攻擊等，從而提升業(yè)務(wù)質(zhì)量，提高系統(tǒng)或應(yīng)用的安全性。然而，在日志的處理過程中，每個IT運(yùn)維人員都會遇到這樣那樣的問題。而日志易這款產(chǎn)品的目標(biāo)便是幫助企業(yè)，幫助IT人員，挖掘日志的價值，解決日志分析難題。

[[210505]]

日志易產(chǎn)品總監(jiān)饒琛琳

企業(yè)日志分析難題解析

目前，有的企業(yè)有能力有技術(shù)管理日志，挖掘其中的價值，但是有的企業(yè)還沒有足夠的能力挖掘日志價值。不同行業(yè)在日志的處理方面存在著很大的區(qū)別。互聯(lián)網(wǎng)企業(yè)以及互聯(lián)網(wǎng)化比較好的企業(yè)基本上已經(jīng)從單純的基礎(chǔ)記錄需求走向了數(shù)據(jù)分析需求，日志走向集中化。而互聯(lián)網(wǎng)化較差的企業(yè)和一些小企業(yè)還將日志放到自己的服務(wù)器上，甚至有時暫時關(guān)閉日志收集分析，碰到問題再臨時開啟，或者臨時查看服務(wù)器。這兩類企業(yè)在不同的發(fā)展階段也有不同的需求，遇到不同的疑難雜癥。

對此，饒琛琳指出，在日志的管理上，前一種類型的企業(yè)常見難點(diǎn)在于：很明確自己要分析的內(nèi)容，但是無法做到及時分析。或者因?yàn)檫\(yùn)維人員偏多，要做的分析人員上手難度大，寫代碼不是那么方便。另一種類型的企業(yè)更在于業(yè)務(wù)提升，當(dāng)有跨集群、跨機(jī)房等需求的時候，缺乏一個快速分析日志的手段。

如何讓日志分析更容易?

為了解決以上企業(yè)所面臨的難題，讓企業(yè)的日志分析更容易，挖掘出日志的最大價值。饒琛琳表示，基于對企業(yè)用戶需求的深入了解，一方面，為了讓企業(yè)的日志分析更加靈活，讓企業(yè)的運(yùn)維人員在不用深度了解編程語言的基礎(chǔ)上，達(dá)到快速靈活分析數(shù)據(jù)的效果。用戶可以通過日志易SPL(Search processing language)搜索處理語言，在搜索框中編寫復(fù)雜查詢語句，進(jìn)行各種統(tǒng)計(jì)分析。“運(yùn)維人員不需要去處理復(fù)雜的底層邏輯，只要知道我要哪個命令去干什么活的，那就行了。”

另一方面，以往，在日志管理分析能力不足的企業(yè)中，IT技術(shù)人員會采用多個開源軟件去實(shí)現(xiàn)。現(xiàn)在，通過日志易，企業(yè)可以部署一個日志集中管理平臺，實(shí)現(xiàn)日志數(shù)據(jù)的采集，存儲，分析等操作，減少人員利用開源軟件的學(xué)習(xí)成本，提高工作效率。

[[210506]]

據(jù)記者了解，日志易是一款專業(yè)的海量日志搜索分析產(chǎn)品，面向企業(yè)提供一站式的日志分析解決方案，實(shí)現(xiàn)對日志的集中采集和實(shí)時索引，在統(tǒng)一平臺完成日志實(shí)時檢索、安全告警、統(tǒng)計(jì)報表及關(guān)聯(lián)分析等多種功能，幫助用戶進(jìn)行線上業(yè)務(wù)實(shí)時監(jiān)控、業(yè)務(wù)異常原因定位、業(yè)務(wù)日志數(shù)據(jù)統(tǒng)計(jì)分析及安全與合規(guī)審計(jì)。目前，日志易簽約用戶已有近兩百家，在金融、能源、互聯(lián)網(wǎng)、電子商務(wù)、運(yùn)營商等多個行業(yè)得到廣泛應(yīng)用。

日志易發(fā)布1.10.1版本，深化對機(jī)器學(xué)習(xí)技術(shù)的應(yīng)用

近日，日志易再升級，推出了1.10.1版本。此時，距離1.10版發(fā)布，僅僅過去2個月。

據(jù)饒琛琳介紹，新版本主要有兩大亮點(diǎn)：一是，在原有機(jī)器學(xué)習(xí)算法指令的基礎(chǔ)上，深化對機(jī)器學(xué)習(xí)技術(shù)的應(yīng)用，進(jìn)行了參數(shù)調(diào)優(yōu)，提供了智能的模式發(fā)現(xiàn)功能。所謂模式發(fā)現(xiàn)，是日志易以聚類算法實(shí)現(xiàn)的對日志文本分析的功能，通過該功能用戶可以了解日志的類別。二是，增強(qiáng)了對復(fù)雜結(jié)構(gòu)數(shù)據(jù)的處理和分析能力。利用開源項(xiàng)目做日志分析時，一些開源的底層技術(shù)實(shí)現(xiàn)上很難支持嵌套的數(shù)組，無法對復(fù)雜數(shù)據(jù)結(jié)構(gòu)過濾并進(jìn)行精準(zhǔn)的統(tǒng)計(jì)，只能回復(fù)是否有查到。新版本日志易增加了對場景的統(tǒng)計(jì)處理功能，可以精準(zhǔn)定位你要的是哪個數(shù)組的第幾個元素里的哪個哈希值。

此外，該版本還完善了對告警事件的分析處理功能，添加了全新的知識庫模塊、告警插件的管理模塊，改善了統(tǒng)計(jì)圖表配置，儀表盤實(shí)時統(tǒng)計(jì)和Agent管理界面等模塊的交互體驗(yàn)。

饒琛琳表示：“與其他同類產(chǎn)品相比，日志易具有先發(fā)優(yōu)勢，在很多的細(xì)節(jié)處理上高效穩(wěn)定。擁有深厚的大數(shù)據(jù)量的維護(hù)經(jīng)驗(yàn)，能夠滿足大企業(yè)的需求?，F(xiàn)在，有的日志易客戶每天新增的數(shù)據(jù)量達(dá)到了二三十個TB。就目前國內(nèi)來說，在同類產(chǎn)品里是一個很稀缺的使用狀態(tài)。”

最后，談及日志易未來的發(fā)展規(guī)劃，饒琛琳說：“一方面，我們希望構(gòu)建一個生態(tài)圈，促進(jìn)客戶間的相互交流溝通，分享經(jīng)驗(yàn)。我們會把固化的經(jīng)驗(yàn)放到一個基于日志易上的APP，當(dāng)兩個用戶的需求相似時，可以把之前固化的APP拿過來使用。另一方面，我們將在機(jī)器學(xué)習(xí)，人工智能方面繼續(xù)突破。”

【51CTO原創(chuàng)稿件，合作站點(diǎn)轉(zhuǎn)載請注明原文作者和出處為51CTO.com】