【51CTO.com原創(chuàng)稿件】在云計(jì)算遍及業(yè)界的趨勢(shì)下，以及 DevOps 和 SRE 等先進(jìn)運(yùn)維理念的強(qiáng)勢(shì)助推中，運(yùn)維創(chuàng)新已然成為驅(qū)動(dòng)各大公司研發(fā)運(yùn)維流程和理念變革的關(guān)鍵角色，如持續(xù)集成和發(fā)布、場(chǎng)景化的運(yùn)維自動(dòng)化、智能監(jiān)控等理念的落地執(zhí)行。同時(shí)，運(yùn)維所從事的工作角色定位也在悄然地發(fā)生著變化，從原來的末端被動(dòng)響應(yīng)，逐步轉(zhuǎn)向技術(shù)產(chǎn)品、技術(shù)運(yùn)營(yíng)和平臺(tái)建設(shè)者的角色。

　　6月30日，雖然午后驕陽(yáng)似火，但是由51CTO 主辦的第二十一期Tech Neo “運(yùn)維新挑戰(zhàn)”技術(shù)沙龍的“上座率”依然爆棚。來自一線的三位運(yùn)維專家，與在座的一百多位IT專業(yè)人士，共同分享了他們?cè)诨谌萜鞯某掷m(xù)集成和發(fā)布、智能監(jiān)控和故障自愈、成本和性能優(yōu)化幾個(gè)方向上的實(shí)踐和思考。現(xiàn)場(chǎng)討論環(huán)節(jié)非?；鸨瑢＜业难葜v也干貨滿滿，直戳運(yùn)維痛點(diǎn)，臺(tái)下時(shí)不時(shí)爆發(fā)出會(huì)心的笑聲。

[[234662]]

　　新浪微博于炳哲：基于實(shí)時(shí)日志收集系統(tǒng)在運(yùn)維領(lǐng)域的實(shí)踐

[[234663]]

　　于炳哲是新浪微博部門日志系統(tǒng)負(fù)責(zé)人，在日志處理領(lǐng)域有5年的實(shí)踐經(jīng)驗(yàn)，負(fù)責(zé)新浪微博手機(jī)微博產(chǎn)品部移動(dòng)服務(wù)保障部的日志系統(tǒng)的維護(hù)。

　　在演講中，于炳哲先向大家介紹了新浪手機(jī)微博MAPI日志架構(gòu)，然后他從實(shí)踐的角度給大家展示了如何利用這套架構(gòu)進(jìn)行鏈路監(jiān)控、從客戶端角度對(duì)服務(wù)端進(jìn)行性能分析、客戶端視頻多維度間的計(jì)算，以及ES實(shí)時(shí)API服務(wù)、成本核算等操作。

　　當(dāng)然，于炳哲也分享了技術(shù)團(tuán)隊(duì)在工作中遇到的問題并一一給出解決辦法，如日志丟失問題、ES集群監(jiān)控問題、ES服務(wù)器質(zhì)量不均衡問題，以及Rsyslog中轉(zhuǎn)到Kafka隊(duì)列的架構(gòu)遷移、Kafka的監(jiān)控與管理等。以ES服務(wù)器質(zhì)量不均衡問題為例，技術(shù)團(tuán)隊(duì)首先根據(jù)不同機(jī)器的回歸負(fù)載情況對(duì)機(jī)器上的分片進(jìn)行預(yù)遷移，然后根據(jù)業(yè)務(wù)不同進(jìn)行預(yù)分布，保證獨(dú)立資源服務(wù)獨(dú)占自己的資源池，共享用戶使用公用資源。

　　Qunar呂曉旭：去哪兒網(wǎng)運(yùn)維平臺(tái)從0到1的演進(jìn)

[[234664]]

　　呂曉旭是去哪兒網(wǎng)實(shí)時(shí)系統(tǒng)負(fù)責(zé)人，也是Qunar運(yùn)維開發(fā)總監(jiān)。他主要負(fù)責(zé)Qunar的數(shù)據(jù)流基礎(chǔ)設(shè)施建設(shè)和維護(hù)工作。曾供職于中國(guó)雅虎和淘寶網(wǎng)，主要工作是Etao網(wǎng)數(shù)據(jù)抓取和網(wǎng)頁(yè)分析工作。

　　呂曉旭和大家介紹了去哪兒網(wǎng)的的實(shí)時(shí)數(shù)據(jù)平臺(tái)-Prism。Prism是以數(shù)據(jù)可視化為出發(fā)點(diǎn)，以降低數(shù)據(jù)和數(shù)據(jù)分析軟件獲取成本為己任的實(shí)時(shí)數(shù)據(jù)平臺(tái)。通過這個(gè)平臺(tái)，人們可以進(jìn)行日志實(shí)時(shí)監(jiān)控(ELK)、數(shù)據(jù)總線(Kafka)、數(shù)據(jù)實(shí)時(shí)分析(Spark Streaming/Storm/Flink)、數(shù)據(jù)存儲(chǔ)(Elasticsearch as a Service)、OLAP/試驗(yàn)平臺(tái)(Zeppelin+Spark/Flink)。

　　那么這個(gè)Prism運(yùn)維平臺(tái)經(jīng)過了哪些演進(jìn)階段呢?他表示，當(dāng)docker、MARATHOM、MESOS這些技術(shù)出現(xiàn)，他們像發(fā)現(xiàn)新大陸一樣興奮，利用這些技術(shù)，他們讓系統(tǒng)可以快速增減容量，而且還可以實(shí)現(xiàn)新工具快速支持、提高硬件資源利用率、降低數(shù)據(jù)軟件的使用成本。呂曉旭在現(xiàn)場(chǎng)非常詳細(xì)地介紹了這些技術(shù)如何幫助平臺(tái)演進(jìn)，以及在這些過程中遇到了哪些問題。

　　演講最后，呂曉旭總結(jié)道，他和技術(shù)團(tuán)隊(duì)做的事情就是解決數(shù)據(jù)軟件的部署的門檻，解決Mesos環(huán)境部署的門檻。目前仍然存在負(fù)載不均衡、數(shù)據(jù)異常定位速度慢的現(xiàn)象，他計(jì)劃下一步先解決這兩個(gè)問題，然后接入新軟件，進(jìn)行GPU計(jì)算平臺(tái)建設(shè)。

　　中油瑞飛孫杰：大型企業(yè)智能運(yùn)維的探索和實(shí)踐

[[234665]]

　　孫杰是從業(yè)十幾載IT老兵了，專注于系統(tǒng)、數(shù)據(jù)庫(kù)、云計(jì)算和智能運(yùn)維管理，參與實(shí)施數(shù)據(jù)中心建設(shè)、私有云架構(gòu)規(guī)劃及運(yùn)維管理、大數(shù)據(jù)挖掘等相關(guān)工作，IT行業(yè)的實(shí)踐者、布道者。

　　在一開場(chǎng)，孫杰就指出，傳統(tǒng)運(yùn)維軟件逐漸不適應(yīng)運(yùn)維需求，如數(shù)據(jù)分散、重復(fù)采集、浪費(fèi)資源等。他認(rèn)為運(yùn)維應(yīng)該持續(xù)升級(jí)，從傳統(tǒng)的“以設(shè)備為中心的維護(hù)”升級(jí)到“以數(shù)據(jù)為中心的運(yùn)營(yíng)”，“雖然現(xiàn)在大多數(shù)企業(yè)的運(yùn)維是以人工運(yùn)維為主，輔以開發(fā)工具和少量的自動(dòng)化運(yùn)維，但是我相信未來智能運(yùn)維才是主流發(fā)展趨勢(shì)。”

　　在演講中，孫杰描述了自己理想中的智能運(yùn)維狀態(tài)，無論云上云下，保障業(yè)務(wù)系統(tǒng)穩(wěn)定運(yùn)行都是最重要的工作。他列出了三個(gè)要點(diǎn)：一通過部署智能運(yùn)維系統(tǒng)，能夠顯著提升運(yùn)維效率，大大增強(qiáng)運(yùn)維團(tuán)隊(duì)的能力和價(jià)值;二通過部署智能運(yùn)維系統(tǒng)，能夠顯著增加運(yùn)維透明度，使管理和運(yùn)維人員增加主動(dòng)權(quán)和掌控力;三通過部署智能運(yùn)維系統(tǒng)，能夠顯著降低故障頻率，使運(yùn)維更省心。

　　隨后，孫杰從實(shí)踐角度分享了全景業(yè)務(wù)服務(wù)管理、日志采集監(jiān)控告警、知識(shí)庫(kù)故障自治等場(chǎng)景運(yùn)維問題。由于他講的全是實(shí)際工作中遇到的問題，所以引起了很多聽眾的共鳴。演講結(jié)束后，很多聽眾爭(zhēng)相提問，現(xiàn)場(chǎng)交流氣氛極為熱烈。

　　51CTO于2016年開始舉辦主題為Tech Neo的技術(shù)沙龍，意指在于為IT技術(shù)人員提供一個(gè)高質(zhì)量的學(xué)習(xí)交流的線下平臺(tái)，目前僅限北京地區(qū)，周期為每月1次，每期圍繞一個(gè)話題進(jìn)行探討，涉及人工智能、大數(shù)據(jù)、云計(jì)算、區(qū)塊鏈、物聯(lián)網(wǎng)等多個(gè)技術(shù)領(lǐng)域。

【51CTO原創(chuàng)稿件，合作站點(diǎn)轉(zhuǎn)載請(qǐng)注明原文作者和出處為51CTO.com】