【W(wǎng)OT2015】孔德亮:360是如何做大規(guī)模集群運維的
原創(chuàng)51CTO WOT 2015移動互聯(lián)網(wǎng)開發(fā)者大會即將于2015年7月24-25日在北京富力萬麗酒店隆重召開。本次大會共設(shè)八大技術(shù)分論壇,分別從產(chǎn)品與設(shè)計、平臺與技術(shù)、創(chuàng)新與創(chuàng)業(yè)、移動游戲、算法分析、HTML5、運維安全、新浪微博技術(shù)等方面,為廣大移動開發(fā)者解開技術(shù)迷思。
為使大家進一步了解本次大會,有針對性地選擇課程內(nèi)容,51CTO記者對即將參加大會演講的技術(shù)專家分別進行專訪,為您進行各場演講精華的新鮮速遞。本次大會詳細(xì)議程見:http://wot.51cto.com/.
今天帶來“劇透”的是360云事業(yè)部總監(jiān)孔德亮,現(xiàn)任360私有云、公有云項目負(fù)責(zé)人??椎铝?009年加入奇虎360,先后負(fù)責(zé)應(yīng)用運維、DBA、基礎(chǔ)架構(gòu)、平臺開發(fā)等工作,并通過逐步積累完成了私有云平臺的搭建。在本次的WOT移動互聯(lián)網(wǎng)開發(fā)者大會中,孔德亮老師將在“運維安全專場”為大家?guī)矸窒恚绻氵€不知道怎么才能甩掉運維人員身上的“黑鍋”,就速速前來報道吧!
【講師簡介】
孔德亮,奇虎360云事業(yè)部總監(jiān),跨領(lǐng)域技術(shù)專家,現(xiàn)任360私有云、公有云項目負(fù)責(zé)人。孔德亮2009年加入奇虎360,隨著360業(yè)務(wù)快速發(fā)展,他也開始了內(nèi)部創(chuàng)業(yè)之旅,先后負(fù)責(zé)應(yīng)用運維、DBA、基礎(chǔ)架構(gòu)、平臺開發(fā)等工作,通過逐步積累形成了私有云平臺。眾所周知,運維的工作“臟、苦、累”,一旦出現(xiàn)問題,運維人員似乎永遠(yuǎn)是那個背黑鍋的人,所以,他希望能夠?qū)⒓夹g(shù)產(chǎn)品化,使業(yè)務(wù)團隊借助云平臺的力量,縮短研發(fā)周期、降低運維成本,同時能讓IT技術(shù)人員在靈活的操作體驗中感受愉悅。
孔德亮 360云事業(yè)部總監(jiān)
以下是51CTO記者對孔德亮老師的訪談實錄:
**************************************************************************
51CTO:請簡單介紹您個人的基本情況和從業(yè)經(jīng)歷。
孔德亮:我2009年加入360,先后負(fù)責(zé)運維、DBA、基礎(chǔ)架構(gòu)、平臺開發(fā)等工作。主導(dǎo)了360運維體系的建設(shè),目前同時負(fù)責(zé)360私有云、公有云的工作。
51CTO:請您概述360云平臺將運維服務(wù)產(chǎn)品化的歷程。
孔德亮:傳統(tǒng)的運維模式已經(jīng)不能適應(yīng)現(xiàn)在互聯(lián)網(wǎng)的速度,運維工作“臟、累、苦”,為了改變這種現(xiàn)狀360運維工作經(jīng)歷了工具化、自動化、平臺化、產(chǎn)品化的幾個階段。前三個階段更多是解決運維自身的痛點。產(chǎn)品化是為了更好的幫助運維、開發(fā)、測試、運營實現(xiàn)整體的自動化,將復(fù)雜的技術(shù)問題簡單化,把技術(shù)難題轉(zhuǎn)化為鼠標(biāo)的滑動點擊。幫助360的業(yè)務(wù)線縮短研發(fā)周期,降低運維成本。同時也給運維團隊更大得發(fā)展空間
51CTO:移動應(yīng)用開發(fā)的周期非常短暫,為使開發(fā)的應(yīng)用快速上線,開發(fā)團隊肯定會不同程度依賴各種云技術(shù)。請您具體談一下,云計算從哪些方面影響著移動應(yīng)用開發(fā)?
孔德亮:我覺得這個問題從移動應(yīng)用開發(fā)常見的痛點來著手分析比較合適
1、成本問題
孵化階段投入較少,導(dǎo)致爆發(fā)階段資源跟不上,后期活躍度下降資源浪費問題 。移動應(yīng)用有自己的生命周期,云計算能夠根據(jù)移動業(yè)務(wù)的發(fā)展隨時增減服務(wù)器,靈活升降主機配置,按照需求增減帶寬,基于熱度開關(guān)服務(wù)區(qū)域,并通過智能DNS進行快速切換,如果移動應(yīng)用開發(fā)者能夠在開發(fā)階段從架構(gòu)體系上實現(xiàn)功能模塊的解耦和去狀態(tài)化等前期規(guī)劃,基于當(dāng)前主流云計算服務(wù)分鐘級的擴容性能,完全能夠滿足請求量飛速爆發(fā)時候的動態(tài)擴展,同時由于云計算大多采用按需付費,按量扣費的模式,對移動應(yīng)用的前、中、后期的資源投入也達(dá)到一個相對經(jīng)濟的狀態(tài)。
2、效率問題
開發(fā)團隊在拼命實現(xiàn)產(chǎn)品提出的需求的同時,可以很少或者幾乎不去考慮諸如消息隊列服務(wù),消息推送服務(wù),短信通知服務(wù),郵件通知服務(wù),內(nèi)容加速服務(wù)等的問題,借助成熟云計算平臺的技術(shù)成果靈活使用,穩(wěn)定性、易用性都比開發(fā)者自己搭建速度要快。讓開發(fā)者專注于實現(xiàn)業(yè)務(wù)邏輯從而縮短開發(fā)周期,避免錯過市場機會
3、服務(wù)質(zhì)量問題
移動應(yīng)用開發(fā)的特點要求網(wǎng)絡(luò)質(zhì)量相對優(yōu)質(zhì),智能CDN能選擇最近訪問,監(jiān)測用戶訪問性能等需求;另外,要求相對成熟的系統(tǒng)級、服務(wù)級、接口級的監(jiān)控和報警,能夠?qū)崿F(xiàn)準(zhǔn)實時的日志傳輸分析體系,這些技術(shù)在業(yè)務(wù)初創(chuàng)期完全可以直接使用云上提供的各種服務(wù),在產(chǎn)品穩(wěn)定后再做好對應(yīng)的業(yè)務(wù)邏輯層面的監(jiān)控分析。
51CTO:您說過,在整個移動產(chǎn)品開發(fā)、運營的過程中,運維是基石。那么業(yè)務(wù)團隊借助360云平臺,能夠得到哪些支撐和保障?我們主要采用了哪些技術(shù)來實現(xiàn)?
孔德亮:我們?yōu)闃I(yè)務(wù)團隊提供的服務(wù)大致體現(xiàn)在以下幾個方面。
1.資源保障
360云平臺從多個層面確保不同等級用戶能夠獲取合理有效的資源,首先,我們有一套不斷成熟的算法來評估產(chǎn)品在云平臺上的服務(wù)等級,基于不同的服務(wù)等級,我們提供諸如虛擬主機超賣率,機房災(zāi)備級別,資源儲備率,工單任務(wù)流響應(yīng)時間,報警響應(yīng)等不同級別的服務(wù)。
2.信息整合
360云平臺實現(xiàn)了從機房,機架,交換機,物理服務(wù)器,虛擬服務(wù)器,服務(wù)器承載功能角色,到運維人員,開發(fā)人員,測試人員等產(chǎn)品線關(guān)聯(lián)關(guān)系的維護。這為后面我們一系列的智能分析和報警監(jiān)控等服務(wù)提供了穩(wěn)定豐富的數(shù)據(jù)來源
3.集群管理
a.軟件環(huán)境,團隊工程師針對所有常用軟件和公司內(nèi)部產(chǎn)出的軟件,實現(xiàn)了360定制軟件倉庫,自動封裝,實時同步,并為軟件倉庫封裝了基于http的搜索服務(wù)更方便的檢索信息。
b.命令調(diào)度,我們封裝了salt-stack的命令模型,實現(xiàn)命令發(fā)布的快速響應(yīng)。并實現(xiàn)了串行、并行、串行阻塞、串行非阻塞等模式,針對不同的運維需求使用不同的調(diào)度工具。
c.配置管理,我們使用了puppet作為主要的管控工具,將用戶常用的核心文件通過puppet作為分發(fā)工具,引入變量或者域名DNS解析等模式來將各種有狀態(tài)的資源無狀態(tài)化。充分利用puppet的功能,配置管理工作支持灰度,***限度減少誤操作的可能。另外基于zookeeper開發(fā)的Qconf工具也大量推廣到開發(fā)和運維工作中將機器的配置信息保存在zookeeper的目錄節(jié)點中,配置變更讓訂閱者動態(tài)獲取,解決集中管理和動態(tài)更新的問題。
運維支撐和保障工作有很多,比如日志收集,故障處理和切換,機器監(jiān)控,值班系統(tǒng),工單系統(tǒng)等等,我們也都有很多想法和實踐的經(jīng)驗,就不一一列舉了
51CTO:結(jié)合您的實際經(jīng)歷,您認(rèn)為目前云計算平臺架構(gòu)運維面臨的挑戰(zhàn)是什么?您的技術(shù)團隊是如何應(yīng)對的?
孔德亮:任何技術(shù)平臺都是一個成功產(chǎn)品的基石。我們做的很多技術(shù)方案是為了提供一個高效穩(wěn)定,能夠為產(chǎn)品的成功提供一條高速通道。但是生態(tài)環(huán)境在變化,現(xiàn)在都再提互聯(lián)網(wǎng)+和萬物互聯(lián),這種生態(tài)和產(chǎn)品形態(tài)的變化勢必也會引發(fā)技術(shù)創(chuàng)新。技術(shù)團隊需要有敏銳地嗅覺,提早準(zhǔn)備。
51CTO:您的技術(shù)分享將對移動開發(fā)者帶來哪些幫助和啟示?
孔德亮:本次分享將結(jié)合360私有云建設(shè)經(jīng)驗。介紹如何進行集群管理、資源動態(tài)調(diào)配、故障災(zāi)備等經(jīng)驗;同時結(jié)合移動產(chǎn)品運維經(jīng)驗,介紹如何為開發(fā)者提供輕量化運行環(huán)境,為開發(fā)者助力。
來自谷歌、騰訊、京東、360、新浪微博、樂蜂網(wǎng)、魅族等企業(yè)的技術(shù)專家匯聚一堂,只為助你打開實現(xiàn)夢想的那一扇窗。盛會虛位以待,只等你快馬加鞭!

















 
 
 






 
 
 
 