Hadoop虛擬化的性能對比和調(diào)優(yōu)經(jīng)驗
虛擬化為Hadoop注入了前所未有的活力，從IT生產(chǎn)管理的角度，表現(xiàn)為以下幾點：
·Hadoop和其他消耗不同類型資源的應用一起部署共享數(shù)據(jù)中心可以提高總體資源利用率;
·靈活的虛擬機操作使得用戶可以動態(tài)的根據(jù)數(shù)據(jù)中心資源創(chuàng)建、擴展自己的Hadoop集群，也可以縮小當前集群、釋放資源支持其他應用如果需要;
·通過與虛擬化架構(gòu)提供的HA、FT集成，避免了傳統(tǒng)Hadoop集群中的單點失敗，再加之Hadoop本身的數(shù)據(jù)可靠性，為企業(yè)大數(shù)據(jù)應用提供了可靠保證。
基于這些原因，vSphere Big Data Extensions(BDE)為用戶在虛擬化環(huán)境中靈活的部署和管理Hadoop集群提供了有效的支持。除卻這些優(yōu)勢，虛擬化是否會傷害Hadoop運行的性能呢?為此，我們在同等規(guī)模上做了虛擬化部署和物理部署的Hadoop集群的性能對比和優(yōu)化，實驗表明虛擬化Hadoop集群可以很好地支持生產(chǎn)環(huán)境。
虛擬化環(huán)境和物理環(huán)境的性能對比
圖1顯示了性能調(diào)優(yōu)試驗的部署樣式，一臺物理服務器上只部署一臺虛擬機，Tasktracker和Datanode一起跑在同一個節(jié)點中。因為每個虛擬節(jié)點可以使用全部的服務器資源，方便進行虛擬化和傳統(tǒng)物理環(huán)境部署的Hadoop做性能對比和分析。試驗結(jié)果在圖2中顯示，虛擬化Hadoop相對于物理環(huán)境的性能對比幾乎是持平的。
圖1：性能對比部署
圖2：Apache Hadoop 1.2物理部署和虛擬化部署的性能對比
圖3顯示了更推薦生產(chǎn)環(huán)境使用的部署拓撲，一臺物理服務器上部署多臺虛擬節(jié)點。如圖2所示，這種部署將增加資源利用率從而得到更高的性能。
圖3：多虛擬機的部署
同時，我們把這些實驗經(jīng)驗內(nèi)嵌到vSphere BDE部署的Hadoop集群系統(tǒng)配置當中，屏蔽了性能優(yōu)化的復雜性。雖然不同的數(shù)據(jù)中心設置和集群配置可能帶來不同的表現(xiàn)，這里按照創(chuàng)建、配置、擴展Hadoop集群的順序跟大家分享一些通用的經(jīng)驗：
Hadoop虛擬化的調(diào)優(yōu)經(jīng)驗：
(1)計劃初始規(guī)模：集群表現(xiàn)于跟數(shù)據(jù)中心基礎(chǔ)設施和配置密切相關(guān)，建議用戶在一開始對環(huán)境表現(xiàn)難以預測的時候，先建立小規(guī)模集群，比如5臺或者6臺服務器，部署Hadoop，然后運行標準Hadoop基準了解自己數(shù)據(jù)中心的特點。然后根據(jù)需要逐步添加服務器和存儲等資源。
(2)選擇服務器：CPU建議不要少于2 * Quad-core并且激活HT(Hyper-Threading);為每個計算內(nèi)核配置至少4G內(nèi)存，并且預留6%的內(nèi)存為虛擬化的有效運行。Hadoop性能對I/O很敏感，建議每臺服務器配置多塊本地存儲而不建議配置少塊大容量的硬盤?？紤]任務調(diào)度的代價，對于每個計算內(nèi)核不建議配置超過2塊本地存儲。為高性能考慮，推薦使用10G網(wǎng)卡。考慮為主節(jié)點服務器(運行namenode、Jobtracker)配置雙電源以提高可靠性。
(3)虛擬化配置：本地存儲盡量避免配置成RAID，為每一個物理盤創(chuàng)建一個datastore虛擬化網(wǎng)絡配置時為了可靠性和網(wǎng)絡傳輸效率，隔離管理網(wǎng)絡和Hadoop集群網(wǎng)絡。如圖4所示：
圖4：虛擬化網(wǎng)絡配置
(4)系統(tǒng)設置：BDE將會自動配置根據(jù)實驗經(jīng)驗取得的虛擬磁盤和操作系統(tǒng)參數(shù)，向用戶屏蔽性能優(yōu)化的具體細節(jié)。建議對性能敏感的用戶替換默認模板采用CentOS6*，因為Linux 6.* 內(nèi)核的THP(TransparentHuge Page)和EPT(Extended PageTables，Intel處理器)可以一起幫助虛擬化性能。
(5)Hadoop配置: BDE將會自動產(chǎn)生并配置hadoop配置文件(主要在map-site.xml，core-site.xml，和 hdfs-site.xml內(nèi))，包括塊大小(blocksize)，會話管理和日志功能。但是有一些相關(guān)于MapReduce任務的參數(shù)，包括mapred.reduce.parallel.copies，io.sort.mb，io.sort.factor，io.sort.record.percent，和tasktracker.http.thread，需要根據(jù)不同負載具體設置。
(5)擴展建議：如果用戶觀察集群中CPU的利用率經(jīng)常超過80%，建議加入新的節(jié)點。另外單個存貯節(jié)點的容量不建議超過24TB，否則一旦節(jié)點失敗，數(shù)據(jù)備份拷貝容易造成數(shù)據(jù)擁塞。擴展可以按照小規(guī)模集群上運行性能基準經(jīng)驗和資源使用情況進行。
如有任何問題，您可以發(fā)郵件至bigdata_apac@vmware.com。
關(guān)于vSphere Big Data Extensions:
VMware vSphere Big Data Extensions(簡稱BDE)基于vSphere平臺支持大數(shù)據(jù)和Hadoop作業(yè)。BDE以開源Serengeti項目為基礎(chǔ)，為企業(yè)級用戶提供一系列整合的管理工具，通過在vSphere上虛擬化Hadoop，幫助用戶在基礎(chǔ)設施上實現(xiàn)靈活、彈性、安全和快捷的大數(shù)據(jù)部署、運行和管理工作。了解更多關(guān)于VMware vSphere Big Data Extensions的信息，請參見http://www.vmware.com/hadoop。
作者簡介
李欣慧
VMware軟件高級工程師
現(xiàn)擔任VMware大數(shù)據(jù)部門高級工程師，致力于大數(shù)據(jù)在云計算中心上的服務化和高效化，工作在分布式系統(tǒng)性能優(yōu)化領(lǐng)域。李欣慧畢業(yè)于中科院計算所，后加入IBM實驗室-分布式計算部，主要工作在云計算和并行數(shù)據(jù)處理領(lǐng)域，為大規(guī)模數(shù)據(jù)中心提供最優(yōu)監(jiān)控和運維工業(yè)解決方案。有9項專利在美國和中國注冊，在國際知名會議、學術(shù)期刊上發(fā)表論文5篇。
