【51CTO專稿】在云計(jì)算各種概念風(fēng)起云涌的今天，信息化管理觀念的不斷成熟發(fā)展，各種趨勢(shì)分析和熱點(diǎn)論壇都在討論云計(jì)算帶給我們的各種好處。IT基礎(chǔ)設(shè)施高度集中使得傳統(tǒng)的IT運(yùn)維變得越來越被動(dòng)，是不是有那么一天，我們的企業(yè)中的IT服務(wù)全部由云服務(wù)提供，就不再需要IT運(yùn)維人員呢？傳統(tǒng)運(yùn)維與云計(jì)算運(yùn)維的差異性在哪里？本文中，來自阿里集團(tuán)技術(shù)保障部云計(jì)算運(yùn)維高級(jí)技術(shù)專家柯旻（花名：大舞）就這些問題表明了自己的觀點(diǎn)和看法。跟隨小編一起來看看吧。

[[85591]]

（阿里巴巴云計(jì)算運(yùn)維-高級(jí)技術(shù)專家 柯旻）

【嘉賓簡(jiǎn)介】柯旻：花名大舞，2007年加入阿里，前期負(fù)責(zé)sa方面的一些工作，后期云計(jì)算運(yùn)維部門，主要負(fù)責(zé)整個(gè)阿里Hadoop集群（即云梯）的運(yùn)維工作，以及離線的HBase集群方面的工作。

以下是采訪實(shí)錄：

云計(jì)算運(yùn)維與傳統(tǒng)運(yùn)維的差異性

51CTO：阿里巴巴云計(jì)算運(yùn)維是在什么樣的背景下產(chǎn)生的？

柯旻：由于阿里巴巴業(yè)務(wù)的發(fā)展需要，數(shù)據(jù)量飛速膨脹。云計(jì)算、分布式計(jì)算等（包括我們自主開發(fā)的飛天系統(tǒng)），都是在這樣的背景下產(chǎn)生的。

51CTO：云計(jì)算運(yùn)維與傳統(tǒng)運(yùn)維的區(qū)別在哪里？

柯旻：其實(shí)最主要區(qū)別是量的膨脹。

傳統(tǒng)的運(yùn)維可能只有幾十，或者上百的機(jī)器，這些機(jī)器上面有十個(gè)、二十個(gè)應(yīng)用，但是在云計(jì)算運(yùn)維這塊，可能面臨的情況是三千臺(tái)、五千臺(tái)機(jī)器這么一個(gè)量級(jí)的，是一個(gè)極速膨脹的狀態(tài)。再者，關(guān)注點(diǎn)可能會(huì)有一些偏差，因?yàn)閭鹘y(tǒng)運(yùn)維可能涉及的業(yè)務(wù)線會(huì)很多，所以對(duì)于某些技術(shù)點(diǎn)的深挖可能精力不夠。

云計(jì)算運(yùn)維主要是對(duì)整體的把控，包括機(jī)房網(wǎng)絡(luò)、帶寬之類的，一些服務(wù)器的性能優(yōu)化，服務(wù)器的價(jià)格等，比方說像飛天或者Hadoop這上面的應(yīng)用，這些方面都需要去關(guān)注，底層的東西也需要了解得更多。

從大的方向來講，云計(jì)算運(yùn)維和傳統(tǒng)運(yùn)維都是做保證服務(wù)器穩(wěn)定運(yùn)行之類的這些事情，沒有什么本質(zhì)的偏差，因?yàn)檫@個(gè)是運(yùn)維人員的職責(zé)，不過在具體的執(zhí)行層面，可能偏向的會(huì)不一樣。

51CTO：云計(jì)算的核心是虛擬化技術(shù)，而在云計(jì)算時(shí)代，系統(tǒng)規(guī)模更加龐大，結(jié)構(gòu)更加復(fù)雜，系統(tǒng)運(yùn)維自動(dòng)化是必然趨勢(shì)，阿里巴巴有沒有虛擬化平臺(tái)的運(yùn)維自動(dòng)化案例呢？

柯旻：我們內(nèi)部會(huì)有一些系統(tǒng)做相對(duì)來說自動(dòng)化的一些工作，但是這個(gè)東西也是云計(jì)算運(yùn)維或者大數(shù)據(jù)運(yùn)維這方面的，跟傳統(tǒng)運(yùn)維有一些差別，可能傳統(tǒng)運(yùn)維一臺(tái)兩臺(tái)機(jī)器去運(yùn)行的時(shí)候，你需要快速的響應(yīng)去處理，對(duì)線上的影響比較大，而對(duì)于云計(jì)算運(yùn)維來說，可能三臺(tái)、五臺(tái)或者十臺(tái)機(jī)器掛掉，也不會(huì)產(chǎn)生很大的一些影響，或者說某種意義上來講，對(duì)于這種單機(jī)的處理上面，我們可能比傳統(tǒng)的運(yùn)營商運(yùn)維人員面臨的條件會(huì)更好，我們更容易去處理一些故障。我們目標(biāo)是希望一臺(tái)普通的機(jī)器，它在上線整個(gè)生命周期里面，是不需要人為去干預(yù)的，都是一套自動(dòng)的東西，對(duì)于我們現(xiàn)場(chǎng)的工作人員來說，可能就是他接到一個(gè)工單就是這臺(tái)機(jī)器什么方面壞掉了，他去把它換掉，然后確認(rèn)后會(huì)自動(dòng)的把它恢復(fù)了，加入到集群里面去。

51CTO：云計(jì)算運(yùn)維過程中，需要運(yùn)維人員注意的方面是什么？

柯旻：在云計(jì)算過程中，你需要更多的去了解系統(tǒng)底層的東西，怎么樣跟這個(gè)應(yīng)用上面的優(yōu)化達(dá)到最合適的情況。同時(shí)也需要去關(guān)注一下，用戶的需求是什么樣的。因?yàn)槟愕氖褂梅娇赡芟鄬?duì)來說是一個(gè)比較集中的狀態(tài)，而實(shí)際上使用的是你的大的平臺(tái)，所以說他們基本上都是在這個(gè)上面，這個(gè)上面他們可能根據(jù)自己的任務(wù)的情況，有一些優(yōu)化一些東西，可能對(duì)這個(gè)平臺(tái)有一些不同的需求，這個(gè)地方你也需要去更多的去了解，或者說幫助用戶去更好地使用這些平臺(tái)。

51CTO：這整個(gè)過程中，遇到的最大的挑戰(zhàn)是什么？

柯旻：我們目前來說遇到的最大挑戰(zhàn)可能就是軟件層面的，我們規(guī)模越大，挑戰(zhàn)就越大，這個(gè)上面可能更多的需要開發(fā)人員在代碼上的做一定的更改和優(yōu)化，或者構(gòu)架上的調(diào)整，然后去解決這個(gè)問題。在這個(gè)過程中間，運(yùn)維人員是需要配合開發(fā)人員的。#p#

阿里巴巴的自動(dòng)化運(yùn)維案例

51CTO：自動(dòng)化運(yùn)維有很多方面，比如系統(tǒng)部署，監(jiān)控，代碼自動(dòng)部署與回滾，命令執(zhí)行與資源配置等。阿里巴巴主要運(yùn)用的是自動(dòng)化哪個(gè)方面？

柯旻：阿里巴巴自動(dòng)化運(yùn)維是全方位的，你提到的這些都是要做的，因?yàn)檫@個(gè)東西需要整體一套全部打通，你才能談得上自動(dòng)化去運(yùn)維。然后這里面會(huì)有不同的分工，比方說從我們應(yīng)用層面上面來說，舉一個(gè)簡(jiǎn)單的例子，假如一臺(tái)機(jī)器某塊盤壞掉以后，你的應(yīng)用需要自動(dòng)的能夠把這個(gè)壞的盤下線掉，我們后臺(tái)的監(jiān)控程序會(huì)去輪詢?nèi)フ业竭@個(gè)發(fā)現(xiàn)這個(gè)盤，會(huì)把這些盤從sys里進(jìn)行下線，重新做一些修復(fù)處理，看能不能加過去，如果加不回去，那就說明這個(gè)盤可能就徹底壞掉了，壞掉了以后，然后我們會(huì)自動(dòng)在工單系統(tǒng)里面去提交一個(gè)報(bào)修，這整個(gè)過程中間是沒有人為干預(yù)的。

然后到了報(bào)修的時(shí)候，可能我們現(xiàn)場(chǎng)的工作人員就會(huì)接到這個(gè)工單以后，他們會(huì)安排時(shí)間，一周兩次或者說一次，他們會(huì)統(tǒng)一去把這些盤全部都換掉。如果是這些盤是系統(tǒng)盤都掛掉以后，他們可能會(huì)幫我們換掉以后，也會(huì)觸發(fā)自動(dòng)安裝，然后它會(huì)自動(dòng)去安裝，部署完了以后，如果是某一塊數(shù)據(jù)盤壞掉的話，他把盤換掉以后，因?yàn)檫@個(gè)本身就是在線上在運(yùn)轉(zhuǎn)，我們后臺(tái)有程序會(huì)發(fā)現(xiàn)這個(gè)盤正常以后，我們會(huì)把這個(gè)加到系統(tǒng)里面去，然后應(yīng)用發(fā)現(xiàn)這塊盤后它會(huì)自動(dòng)的識(shí)別添加到服務(wù)中來。也就是說在這整個(gè)過程中間，可能就只是現(xiàn)場(chǎng)的人員更換硬件，需要人為處理。

如果對(duì)于機(jī)器重裝的情況，我們會(huì)統(tǒng)一在一個(gè)時(shí)間段，比方說我一周或者一個(gè)月的時(shí)間，我把這個(gè)機(jī)器整理以后，會(huì)統(tǒng)一有一個(gè)自動(dòng)化的部署的觸發(fā)，它會(huì)把這整個(gè)機(jī)器初始化掉，讓里面的系統(tǒng)環(huán)節(jié)各個(gè)方面應(yīng)用部署的狀態(tài)，它會(huì)去找到自己的兄弟節(jié)點(diǎn)去做一次克隆，恢復(fù)成跟線上的"兄弟姐妹"一模一樣的狀態(tài)，然后再上線。這個(gè)地方也是人員的觸發(fā)，就是一個(gè)很簡(jiǎn)單的命令或者web點(diǎn)擊觸發(fā)。當(dāng)然后續(xù)目標(biāo)是能做到更加自動(dòng)的恢復(fù)

51CTO：阿里在監(jiān)控方面用了哪些工具？監(jiān)控系統(tǒng)的報(bào)警流程是什么樣？

柯旻：由于傳統(tǒng)的監(jiān)控工具可能滿足不了我們現(xiàn)在的需求，所以我們內(nèi)部有一套自己開發(fā)的監(jiān)控系統(tǒng)，像阿里巴巴、百度、騰訊這樣的公司，因?yàn)榱勘容^大，所以說基本上都是內(nèi)部開發(fā)的一套系統(tǒng)，可能騰訊有騰訊自己的，百度有百度自己的，可能都是根據(jù)企業(yè)自身的發(fā)展需求來定的。

就拿我們來說，除了一些重要節(jié)點(diǎn)的單機(jī)報(bào)警以外，這個(gè)系統(tǒng)可能會(huì)加一些基礎(chǔ)的報(bào)警，它可能是一種批量的，我們會(huì)設(shè)一個(gè)閥值，比方說下面同時(shí)有十臺(tái)機(jī)器掛了，或者十五臺(tái)機(jī)器掛了，同時(shí)掛掉，在一個(gè)檢查周期里面同時(shí)掛掉的時(shí)候，可能才會(huì)發(fā)一個(gè)報(bào)警，如果掛掉一臺(tái)兩臺(tái)，可能我們就不報(bào)警了?；蛘哒f我可能發(fā)了報(bào)警就只是一個(gè)消息，可能一個(gè)郵件出來，可能哪天我花點(diǎn)時(shí)間去看看今天大概有多少，然后會(huì)去看一眼，或者說覺得今天可能做別的事情比較多，可能這個(gè)事情我會(huì)放在后面集中再去處理。

51CTO：在大規(guī)模集群的情況下，如何才能做好自動(dòng)化運(yùn)維呢？

柯旻：我個(gè)人覺得這是一個(gè)意識(shí)問題，如果是熱衷于去手動(dòng)處理的話，可能自動(dòng)化這些東西，你就會(huì)投入精力去更少，而應(yīng)當(dāng)你發(fā)現(xiàn)一件事情重復(fù)三次以后，就應(yīng)該需要去考慮怎么能夠不需要人為自動(dòng)去處理，但是這個(gè)過程中間，是有一些陣痛。如果正常的情況下，你不停的人為去處理的話，到了一個(gè)階段以后，就會(huì)成為一個(gè)瓶頸了，因?yàn)槟愕木σ呀?jīng)不夠用。所以要去做自動(dòng)化，可能在剛剛開始的時(shí)候，你效率的提升比較小，因?yàn)槟阋ê芏鄷r(shí)間去想怎么樣自動(dòng)化，怎么樣不要出現(xiàn)問題，但是如果你這個(gè)自動(dòng)化做好以后，你就會(huì)發(fā)現(xiàn)后面你的效率會(huì)越來越高。#p#

阿里Hadoop集群性能優(yōu)化和故障排查

51CTO：阿里是什么時(shí)候開始有Hadoop集群的？現(xiàn)階段Hadoop集群大致的規(guī)模是？

柯旻：2009年開始應(yīng)該是200臺(tái)左右開始慢慢發(fā)展。目前來說，基本上接近單集群五千臺(tái)。

51CTO：對(duì)于Hadoop集群性能優(yōu)化這方面，您認(rèn)為比較可行的方法有哪些？

柯旻：性能優(yōu)化這個(gè)東西，這塊開發(fā)方面去要優(yōu)化很多東西的，對(duì)于運(yùn)維來說，我們的性能優(yōu)化，可能更多的專注在硬件設(shè)備，sys層面和應(yīng)用層面結(jié)合的一些優(yōu)化。我們會(huì)根據(jù)情況跟開發(fā)人員提需求和建議，但是真正來說，本質(zhì)上的性能優(yōu)化來說，更多的還是開發(fā)在代碼上的改動(dòng)，減少各類開銷和鎖的力度，提高并發(fā)度等。

51CTO：云計(jì)算環(huán)境下，傳統(tǒng)的網(wǎng)絡(luò)運(yùn)維人員壓力倍增，您怎么看待這個(gè)問題？

柯旻：其實(shí)這跟運(yùn)維的職業(yè)有關(guān)，運(yùn)維的職業(yè)基本上24小時(shí)要oncall，可能隨時(shí)隨地會(huì)有電話打給你，因?yàn)槟悴恢肋@個(gè)故障會(huì)什么時(shí)候發(fā)生，所以說運(yùn)維人員的壓力是比較大的。對(duì)于變化比較小的行業(yè)運(yùn)維人員而言，可能會(huì)相對(duì)輕松一點(diǎn)，但對(duì)云計(jì)算來說目前整個(gè)行業(yè)在飛速發(fā)展，可能會(huì)有各種各樣的問題，作為運(yùn)維人員來說的話，可能這方面的壓力是更大的。

自動(dòng)化運(yùn)維這個(gè)東西是一個(gè)長期過程，可能隨著你的云計(jì)算，或者大數(shù)據(jù)發(fā)展，外在的環(huán)境，機(jī)房網(wǎng)絡(luò)，這些環(huán)境都在變，你的自動(dòng)化是一個(gè)持續(xù)性發(fā)展下去的事情。而且你要通過這些自動(dòng)化工具提高你的工作效率，你才能有精力去做更重要的一些事情。所以不會(huì)出現(xiàn)自動(dòng)化了就不需要運(yùn)維人員的情況。

隨著現(xiàn)在的發(fā)展自動(dòng)化，下一步從我們這邊來看的話，可能就變成一個(gè)數(shù)字化運(yùn)維?？赡芨枰?dòng)腦子去想怎么樣去實(shí)現(xiàn)，所以說自動(dòng)化不是說是會(huì)讓你失業(yè)的東西。而是說能夠讓你有更多的精力去做一些更有一些意義的事情。

51CTO：您認(rèn)為數(shù)字化運(yùn)維這條路應(yīng)該怎么走？

柯旻：隨著集群規(guī)模的擴(kuò)大，機(jī)器的數(shù)量的膨脹，用戶數(shù)量的增加，我們已經(jīng)很難再去找到一些經(jīng)驗(yàn)借鑒。當(dāng)你沒有經(jīng)驗(yàn)可以借鑒的時(shí)候，唯一有一個(gè)東西是不會(huì)去忽悠你，那就是數(shù)據(jù)，數(shù)據(jù)一定是真實(shí)的，怎么樣能夠快速的真實(shí)的拿到這些真實(shí)的數(shù)據(jù)，然后通過我們的數(shù)據(jù)化分析去得到我們想要得到結(jié)果。這實(shí)際是一個(gè)探索的過程，我們現(xiàn)在有一點(diǎn)點(diǎn)的想法，但是這個(gè)想法的實(shí)現(xiàn)，我們還在做，這條路是不是一定是這么走的，其實(shí)我們也不是那么有把握。因?yàn)檫@種硬件的投入和成本投入非常大，所以說如果依靠拍腦袋或者怎么樣，你可能會(huì)有一些失誤的判斷，而你這個(gè)失誤的判斷，可能給公司造成的損失是巨大的，通過這些數(shù)據(jù)分析去預(yù)測(cè)的話，可能不能百分之百的避免出問題，但是它可能會(huì)最大化的去減少到出問題的概率。因?yàn)閿?shù)據(jù)是真實(shí)的，你只要把這些數(shù)據(jù)，去挖掘得足夠深，它其實(shí)是能夠告訴你很多東西該怎么去做。你可以通過這些東西去推斷，去分析，可能最后到某種意義上來說，一個(gè)靠譜的數(shù)據(jù)分析師就能去做一些運(yùn)維決策工作，因?yàn)槠鋵?shí)做數(shù)據(jù)分析這塊是非常需要想象力的。對(duì)于我們運(yùn)維來說，因?yàn)槲覀冏约旱倪\(yùn)維數(shù)據(jù)也非常多，比方說程序的溫度、負(fù)載、磁盤、應(yīng)用的狀況，各個(gè)方面的數(shù)據(jù)，其實(shí)也是在一個(gè)飛速的膨脹，然后怎么樣能夠快速的去分析這些數(shù)據(jù)，這也是一個(gè)比較大的挑戰(zhàn)。

好的，專訪就到這里，非常感謝大舞的分享。也歡迎大家留言討論云計(jì)算運(yùn)維這些事兒。