【2014WOT深圳站講師專訪】劉天斯:Docker的到來,運(yùn)維準(zhǔn)備好了么?
原創(chuàng)2014年11月21日至22日,51CTO傳媒主辦的2014WOT全球軟件技術(shù)峰會·深圳站將在深圳召開,技術(shù)人員和企業(yè)實(shí)踐用戶將齊聚深圳。
WOT是由51CTO傳媒主辦的國內(nèi)***有影響的技術(shù)峰會,自2012年以來,秉承專注技術(shù)、服務(wù)技術(shù)人員的理念,獲得了廣大IT從業(yè)者和技術(shù)愛好者的一致認(rèn)可,成為了業(yè)界重要的技術(shù)分享交流平臺以及人脈拓展平臺。
本次2014 WOT·深圳站將邀請國內(nèi)外***的互聯(lián)網(wǎng)及創(chuàng)新企業(yè)技術(shù)負(fù)責(zé)人,***對外公開其當(dāng)下最in技術(shù),分享涵蓋六大主題,共有30+課程,移動游戲運(yùn)營、運(yùn)維開發(fā)、Web安全、數(shù)據(jù)挖掘、團(tuán)隊(duì)管理等以及未來兩三年的技術(shù)趨勢。點(diǎn)擊報名》》
本次采訪對象是本次2014WOT深圳站<自動化運(yùn)維>論壇的演講人劉天斯,目前為騰訊的高級運(yùn)維工程師
1、您目前在貴公司負(fù)責(zé)哪些事情?能否先簡單談?wù)勀谶\(yùn)維領(lǐng)域的從業(yè)經(jīng)驗(yàn),和您對此運(yùn)維的理解?
從事運(yùn)維方面的工作剛滿10年,前6年負(fù)責(zé)天涯社區(qū)的系統(tǒng)架構(gòu)及運(yùn)維的工作,2011年入職騰訊,先后負(fù)責(zé)靜態(tài)類、大游戲下載業(yè)務(wù)的CDN運(yùn)營,以及負(fù)責(zé)公司所有游戲的大數(shù)據(jù)接入、分析、提取等工作。
簡單分享個人在運(yùn)維領(lǐng)域從業(yè)的兩個經(jīng)驗(yàn):
1)關(guān)于運(yùn)維自動化這件事情,幾乎所有的IT企業(yè)都在做,看似是一件非常好的事情,忽略了前提條件,往往付出更大的代價及運(yùn)營成本。所提到的前提條件便是運(yùn)維體系“標(biāo)準(zhǔn)化”、“流程化”、“規(guī)范化”的建設(shè),覆蓋企業(yè)中資源、版本、業(yè)務(wù)發(fā)布、監(jiān)控、事件管理等環(huán)節(jié)。有了這些作為基礎(chǔ)鋪墊,運(yùn)維自動化的建設(shè)才會很順利實(shí)施,達(dá)成預(yù)期。
2)業(yè)務(wù)的生命周期管理,運(yùn)維扮演的角色。當(dāng)一個產(chǎn)品在規(guī)劃之初運(yùn)維人員須***時間介入?yún)⑴c,根據(jù)產(chǎn)品特點(diǎn),提供業(yè)務(wù)平臺前期架構(gòu)設(shè)計(jì)、資源評估等數(shù)據(jù)。當(dāng)產(chǎn)品進(jìn)入開發(fā)階段,須與開發(fā)人員保持密切溝通與互動,提供業(yè)務(wù)接入、緩存、存儲、監(jiān)控、安全等方面規(guī)范,以便在編碼階段更好磨合與對接,避免上線后反復(fù)做不必要的版本迭代,也使得開發(fā)出來的產(chǎn)品具備更高的可運(yùn)維性。待業(yè)務(wù)上線后,務(wù)必定期同步相關(guān)運(yùn)營數(shù)據(jù)給產(chǎn)品與開發(fā)人員側(cè),為后續(xù)優(yōu)化、改進(jìn)的工作提供數(shù)據(jù)支持,這也恰恰能體現(xiàn)運(yùn)維人員的專業(yè)性及團(tuán)隊(duì)合作意識。
運(yùn)維體系中各個環(huán)節(jié)的工作猶如散落在地上的珠子,每個珠子分別代表事件、資源、監(jiān)控、安全、自動化、日常工作等,看似是七零八落的,我們需要利用“流程”這條線將所有的珠子串起來,珠子的前后順序及間隔由“標(biāo)準(zhǔn)規(guī)范”來控制。這樣就形成了一條完整的鏈子,是一個有機(jī)的整體,***會促使運(yùn)維工作開展得井井有條。這條鏈子扣在三個點(diǎn)子上,就是“質(zhì)量”、“效率”、“成本”。
2、能否講講這么多年運(yùn)維工作的變化與演進(jìn)?
云計(jì)算給IT行業(yè)帶來的巨大沖擊,從最初的不信任逐漸到認(rèn)可,到***各類云計(jì)算應(yīng)用的落地普及。當(dāng)然,這也給運(yùn)維人員帶來非常大的挑戰(zhàn),尤其承擔(dān)企業(yè)私有云的建設(shè),運(yùn)維人員除了具備傳統(tǒng)運(yùn)維的能力外,還需要深入理解業(yè)務(wù)資源使用的特點(diǎn),例如區(qū)分是計(jì)算性、內(nèi)存型、IO型還是存儲型,同時需要對資源進(jìn)行合理的規(guī)劃及定義擴(kuò)容規(guī)則。私有云作為資源的一個大池子,如何保持其彈性,需要具備一套精準(zhǔn)的監(jiān)控手段,配合自動化運(yùn)維工具來保障,包括自動化安裝部署、配置管理、存儲管理、故障處理、備份容災(zāi)等。實(shí)現(xiàn)業(yè)務(wù)快速上線,資源快速擴(kuò)容,同時具備高可用的能力。在這種大背景下,運(yùn)維人員除了會用“云”,且要求用好“云”,才能給企業(yè)帶來價值。另外基于容器實(shí)現(xiàn)的虛擬化(Docker)已經(jīng)興起,將給業(yè)務(wù)的打包、部署、遷移、測試等都會帶來革命性的變革,運(yùn)維準(zhǔn)備好了嗎?
3、隨著如今大數(shù)據(jù)的爆發(fā),這給運(yùn)維工作帶來了怎樣的沖擊與改變?
大數(shù)據(jù)在企業(yè)做精細(xì)運(yùn)營方面發(fā)揮了巨大的作用,作為底層服務(wù)支撐的運(yùn)維,需要掌握大數(shù)據(jù)生態(tài)圈中關(guān)鍵技術(shù)點(diǎn),包括Hadoop、hive、hbase、spark、storm等平臺的日常運(yùn)營,需要解決包括資源調(diào)度、數(shù)據(jù)接入、快速擴(kuò)容、節(jié)點(diǎn)故障處理、高可用、數(shù)據(jù)存儲生命周期管理等問題,這給運(yùn)維人員提出了更高的要求,同時也給運(yùn)維工作帶來了新的機(jī)遇,一典型案例是將所有告警接入storm實(shí)時計(jì)算分析,過濾出有效告警,同時將信息入庫Hadoop,以便做歷史檔的離線分析,讓運(yùn)維人員更懂業(yè)務(wù)。
4、貴公司在監(jiān)控上用了哪些技術(shù)?使用開源的還是自主研發(fā)?
公司內(nèi)部使用了自研方式實(shí)現(xiàn)監(jiān)控體系的構(gòu)建,局部會使用開源工具作為補(bǔ)充。
5、您認(rèn)為目前國內(nèi)的自動化平臺以及數(shù)據(jù)可視化平臺建設(shè)如何?還需要加強(qiáng)哪方面發(fā)展?
自動化運(yùn)維是每個企業(yè)都在追求的***目標(biāo),做到一鍵觸發(fā)業(yè)務(wù)上線、故障自愈、資源自動調(diào)度、高質(zhì)量數(shù)據(jù)報表及業(yè)務(wù)智能分析等,既然是目標(biāo),說明大部分都還在路上,即使國內(nèi)一線的互聯(lián)網(wǎng)企業(yè)也未能達(dá)到該理想的狀態(tài)。自動化之路是一個復(fù)雜的系統(tǒng)工程,是一個長期積累、沉淀且不斷優(yōu)化的過程。由于互聯(lián)網(wǎng)行業(yè)的特殊性,包括新技術(shù)不斷涌入及快速迭代,另一方面是互聯(lián)網(wǎng)業(yè)務(wù)日新月異,各種顛覆性的產(chǎn)品層出不窮。作為服務(wù)支撐,這也給自動化運(yùn)維帶來變數(shù)及挑戰(zhàn)。
在國內(nèi)需要加強(qiáng)的部分還是資源與技術(shù)的共享,很多時候大家都在同一件事情,貢獻(xiàn)一個成熟且通用的組件對業(yè)界的影響是深遠(yuǎn)的,阿里在這方面做得就非常好。在個人著作《Python自動化運(yùn)維:技術(shù)與***實(shí)踐》中也分享一些實(shí)現(xiàn)方法與實(shí)踐案例,可作參考。
6、您認(rèn)為一名合格的運(yùn)維工程師是如何定義的?需要具備哪些因素?
我認(rèn)為一名合格的運(yùn)維工程師需要具備高度的責(zé)任心,有一定的溝通及協(xié)調(diào)能力,同時需要具備發(fā)現(xiàn)問題及解決問題的能力,平時要多思考,多總結(jié),多輸出,以便將現(xiàn)有的沉淀更好傳承下去,即使人員變動也不會出現(xiàn)斷層。另外對資源、質(zhì)量要非常敏感,有一定的規(guī)劃及ITIL能力。對運(yùn)營的業(yè)務(wù)要做到全面性的了解,包括提供的服務(wù)、總體架構(gòu)、技術(shù)實(shí)現(xiàn)原理以及存在的問題等。在技能方面需要熟悉主流的運(yùn)維相關(guān)技術(shù),包括網(wǎng)絡(luò)、設(shè)備、操作系統(tǒng)、負(fù)載均衡、緩存、數(shù)據(jù)庫、云計(jì)算技術(shù)等方面,并關(guān)注***技術(shù)發(fā)展動向,評估并思考如何運(yùn)用到實(shí)際工作當(dāng)中,解決工作中碰到的問題。同時,需要具有很好的開發(fā)能力,理由是沒有人比我們更清楚我們需要什么的平臺或工具,在與產(chǎn)品或開發(fā)溝通時,才有更多的發(fā)言權(quán),甚至是主導(dǎo)權(quán)。