隨著IT技術(shù)的發(fā)展，各行各業(yè)的產(chǎn)生的數(shù)據(jù)正在以爆炸性的速度增長。為了從這些數(shù)據(jù)中挖掘出可用的信息并進(jìn)行持續(xù)應(yīng)用，數(shù)據(jù)分析變得越來越重要。數(shù)據(jù)分析使決策變得更加準(zhǔn)確和精細(xì)，近年來已經(jīng)逐漸發(fā)展成為一個重要的IT技術(shù)方向。

云計算技術(shù)的發(fā)展使得計算資源逐漸集中化、虛擬化。怎么高效、可靠的運營這些云計算平臺上的資源就變成了一個重要的課題。本文主要介紹應(yīng)用數(shù)據(jù)分析的方法來分析私有云平臺的系統(tǒng)容量和資源使用率，進(jìn)而在提高資源使用率、平衡系統(tǒng)負(fù)載和控制進(jìn)一步資金投入方面提供詳細(xì)的決策支持。

一、私有云平臺運維中的痛點和挑戰(zhàn)

在各行各業(yè)都在進(jìn)行私有云建設(shè)的今天，在企事業(yè)單位中負(fù)責(zé)私有云平臺運維的部門也在承受著來自各個方面的壓力。業(yè)務(wù)部門總是不斷地要求更多的資源，更快的部署節(jié)奏;財務(wù)部門則會要求不斷地降低成本，盡量使用已有資源;私有云的運維部門則需要尋求適當(dāng)?shù)姆椒ㄒ栽趦烧咧g達(dá)成平衡。

與公有云按時間計費的方式不同，一般作為企事業(yè)單位內(nèi)部建設(shè)和使用的私有云并沒有成熟的計費體系，而作為資源使用者的一般員工對于成本更是不太關(guān)心。這就會導(dǎo)致一方面員工閑置了大量資源，而另一方面員工又在以各種業(yè)務(wù)需要為名義不停申請新的資源，進(jìn)而導(dǎo)致私有云的運維部門總是感覺資源緊張而要求增加投資，財務(wù)部門則會感覺私有云是個需要不斷投入的無底洞。

二、以數(shù)據(jù)分析為基礎(chǔ)的私有云平臺優(yōu)化系統(tǒng)概況

為了切實解決上述問題，我們需要一種有效的可度量的技術(shù)手段。而數(shù)據(jù)分析正好為我們提供了一種系統(tǒng)性的解決上述痛點和挑戰(zhàn)的方法。如圖1所示，基于硬件系統(tǒng)和虛擬化平臺之上的監(jiān)控系統(tǒng) (Universal Monitoring) 為整個優(yōu)化系統(tǒng)提供關(guān)于私有云平臺的各種資源利用率的數(shù)據(jù)來源，同時在這一層動態(tài)生成虛擬機(jī)資源配置信息數(shù)據(jù)庫(Federated DB)。在此之上以數(shù)據(jù)分析的方法和相關(guān)軟件對監(jiān)控系統(tǒng)產(chǎn)生的數(shù)據(jù)進(jìn)行分析，并以分析結(jié)果生成關(guān)于資源利用率和系統(tǒng)容量的報表(Dashboard &Report)。***根據(jù)報表進(jìn)行資源優(yōu)化調(diào)整和進(jìn)行進(jìn)一步投資的決策(Optimization)。這樣就形成了一個完整的私有云平臺建設(shè)和維護(hù)的循環(huán)：從投資到云平臺建設(shè)，再到監(jiān)控現(xiàn)有平臺資源并分析資源使用情況，***生成報表并采取優(yōu)化措施和決定是否進(jìn)一步投資。

圖1：私有云平臺優(yōu)化系統(tǒng)系統(tǒng)架構(gòu)圖

三、以數(shù)據(jù)分析為基礎(chǔ)的私有云平臺優(yōu)化系統(tǒng)詳細(xì)介紹

3.1 系統(tǒng)監(jiān)控

系統(tǒng)監(jiān)控的目的是將所有系統(tǒng)資源配置和使用的情況置于集中統(tǒng)一的監(jiān)控之下， 而監(jiān)控系統(tǒng)會產(chǎn)生大量時序的監(jiān)控數(shù)據(jù)，這是我們后續(xù)進(jìn)行數(shù)據(jù)分析的數(shù)據(jù)來源。系統(tǒng)監(jiān)控可以使用成熟的商業(yè)軟件如IBM Tivoli Monitoring(ITM)來達(dá)成這個目的。關(guān)于ITM在虛擬化環(huán)境中的部署可以參考文章(應(yīng)用IBM Tivoli實現(xiàn)虛擬化環(huán)境的監(jiān)控http://storage.it168.com/a2011/0106/1147 /000001147294.shtml)?，F(xiàn)在也出現(xiàn)了一些開源的軟件如Nagios, Cacti, Zabbix等，但開源軟件在不同平臺的適用性方面還需要做大量的定制才能達(dá)成目的。

3.2 Federated DB

Federated DB的目的是根據(jù)監(jiān)控系統(tǒng)生成的配置數(shù)據(jù)生成云平臺中統(tǒng)一的配置信息數(shù)據(jù)庫，同時配置信息數(shù)據(jù)庫會與資源所有者等信息進(jìn)行關(guān)聯(lián)以達(dá)到人、資源、配置等信息同步可查。

#p#

3.3 數(shù)據(jù)分析

數(shù)據(jù)分析是指通過技術(shù)、技能和實踐來持續(xù)探索和研究既往的業(yè)務(wù)數(shù)據(jù)從而獲得洞察力以驅(qū)動新的業(yè)務(wù)規(guī)劃。 可以運用IBM SPSS Modular對監(jiān)控數(shù)據(jù)進(jìn)行處理，根據(jù)不同的技術(shù)指標(biāo)(如物理機(jī)CPU, 物理機(jī)內(nèi)存，物理機(jī)Disk, 虛擬機(jī)CPU, 虛擬機(jī)內(nèi)存等)進(jìn)行分析及按照時間序列進(jìn)行預(yù)測。找出不同物理機(jī)、虛機(jī)的資源利用率曲線及未來趨勢。同時開源的R語言也可以通過一定的編程達(dá)到上述目的。

3.4 報表

根據(jù)數(shù)據(jù)分析的結(jié)果，利用成熟的報表工具來呈現(xiàn)用戶關(guān)心的內(nèi)容和關(guān)鍵指標(biāo)?？梢赃\用IBM Cognos報表工具來展示物理機(jī)及虛機(jī)的資源利用率、系統(tǒng)容量、虛擬機(jī)分類信息、用戶行為信息等云平臺運維部門和云平臺實際使用部門關(guān)心的不同信息。同時一些開源的報表工具如BIRT等也可以通過一定量的編程來實現(xiàn)上述目的。

3.5 系統(tǒng)優(yōu)化

在獲得了準(zhǔn)確的物理機(jī)及虛機(jī)的利用率、容量等信息以后，云平臺運維部門可以根據(jù)不同的情況對系統(tǒng)進(jìn)行優(yōu)化。如對資源利用率低的機(jī)器增加負(fù)載，以提高資源利用率;對資源率用率過高的機(jī)器減少負(fù)載，避免因為負(fù)載過高而產(chǎn)生問題。對于云平臺上的虛擬機(jī)，如果資源利用率較低，可以聯(lián)系用戶看是否可以刪掉這個虛擬機(jī);如果虛擬機(jī)資源利用率過高，可以協(xié)調(diào)用戶給其增加必要的資源。通過這樣的方式，可以提高私有云平臺的整體資源利用率，提高系統(tǒng)可靠性。同時在進(jìn)一步投資決策的時候可以參考現(xiàn)有系統(tǒng)的資源使用率和可用系統(tǒng)容量，進(jìn)而從整體上降低私有云平臺的運營成本。

四、總結(jié)

目前數(shù)據(jù)分析在IT運維中還沒有得到大范圍的應(yīng)用。由于私有云平臺自身的特點，數(shù)據(jù)分析在私有云運維中可以發(fā)揮較大的作用，但要想達(dá)到最終的目的，我們需要多層次的知識、技能和相應(yīng)工具。從數(shù)據(jù)采集、數(shù)據(jù)分析、報表生成及采取相應(yīng)措施來進(jìn)行系統(tǒng)優(yōu)化是一個集成了從底層到應(yīng)用層的較長的過程。每一層都需要付出相當(dāng)?shù)呐Σ拍茏罱K將系統(tǒng)集成起來并發(fā)揮效益。

作者簡介

[[140532]]

萬盛（項目經(jīng)理）

作者任職于某大型外企中國開發(fā)中心，從事開發(fā)中心私有云的運維和開發(fā)的項目管理工作。參與部署了多個基于Tivoli產(chǎn)品的IT環(huán)境性能監(jiān)控和優(yōu)化項目。實踐經(jīng)驗豐富，熟悉虛擬化環(huán)境的設(shè)計、部署和優(yōu)化的項目管理等。持有PMP和ITIL Foundation證書。

原文鏈接：http://tech.it168.com/a2015/0708/1744/000001744601.shtml