本節(jié)向大家介紹一下HadoopOnDemand配置方面的內(nèi)容，主要介紹一些中HadoopOnDemand常用的配置項，相信通過本節(jié)的介紹大家對HadoopOnDemand的配置有新的認識，讓我們一起來學習吧。

3.4HadoopOnDemand中ringmaster的配置項

work-dirs：這是一個由逗號分隔的路徑列表，這些路徑將作為HOD產(chǎn)生和傳遞給Hadoop，用于存放DFS和Map/Reduce數(shù)據(jù)的目錄的根目錄。例如，這是DFS數(shù)據(jù)塊存放的路徑。一般情況下，有多少塊磁盤就指定多少路徑，以確保所有的磁盤都被利用到。temp-dir變量的限制和注意事項在這兒同樣適用。
max-master-failures：hadoop主守護進啟動前可以失敗的次數(shù)，超出這個次數(shù)后，HOD會讓這次集群分配失敗。在HOD集群中，有時候由于某些問題，比如機器沒安裝java，沒有安裝Hadoop，或者Hadoop版本錯誤等，會存在一個或幾個“壞”節(jié)點。當這個配置項被設(shè)為正整數(shù)時，只有當hadoopmatser（JobTracker或者NameNode）在上述的壞節(jié)點上，由于上面提到的種種原因啟動失敗的次數(shù)超過設(shè)定的值時，RingMaster才會把錯誤返回給客戶端。如果嘗試啟動的次數(shù)沒有超過設(shè)定值，當下一個HodRing請求運行一個命令時，同一個hadoopmaster會指定給這個HodRing。這樣，即使集群中存在一些壞的節(jié)點，HOD也會盡全力使這次分配成功。

3.5HadoopOnDemand中g(shù)ridservice-hdfs的配置項

external：如果被置為false，HOD必須在通過allocate命令分配的節(jié)點上自己創(chuàng)建HDFS集群。注意，在這種情況下，如果集群被回收，HDFS集群會停止，所有數(shù)據(jù)會丟失。如果被置為true，它會嘗試鏈接外部的已配置的HDFS系統(tǒng)。通常，因為在作業(yè)運行之前作業(yè)的輸入需要被放置在HDFS上，并且作業(yè)的輸出需要持久保留，在生產(chǎn)環(huán)境中一個內(nèi)部的HDFS集群意義不大。
host：外部配置好的NameNode的主機名。
fs_port：NameNodeRPC服務(wù)綁定的端口。
info_port：NameNodewebUI服務(wù)綁定的端口。
pkgs：安裝目錄，其下有bin/hadoop可執(zhí)行文件?？捎脕硎褂眉荷项A(yù)先安裝的Hadoop版本。
server-params：一個逗號分割的hadoop配置參數(shù)列表，每一項為key-value對形式。這些將用于產(chǎn)生被NameNode和DataNode使用到的hadoop-site.xml文件。
final-server-params：除會被標記為final外和上面相同。

3.6HadoopOnDemand中g(shù)ridservice-mapred的配置項

external：如果被置為false，HOD必須在通過allocate命令分配的節(jié)點上自己創(chuàng)建Map/Reduce集群。如果被置為true，它會嘗試鏈接外部的已配置的Map/Reduce系統(tǒng)。
host：外部配置好的JobTracker的主機名。
tracker_port：JobTrackerRPC服務(wù)綁定的端口。
info_port：JobTrackerwebUI服務(wù)綁定的端口。
pkgs：安裝目錄，其下有bin/hadoop可執(zhí)行文件。
server-params：一個逗號分割的hadoop配置參數(shù)列表，每一項為key-value對形式。這些將用于產(chǎn)生被JobTracker和TaskTracker使用到的hadoop-site.xml文件。
final-server-params：除會被標記為final外和上面相同。

3.7HadoopOnDemand中hodring的配置項

mapred-system-dir-root：DFS上的目錄，HOD會在這個目錄下創(chuàng)建子目錄并把全路徑作為參數(shù)'mapred.system.dir'的值傳遞給Hadoop守護進程。全路徑的格式為value-of-this-option/userid/mapredsystem/cluster-id。注意，如果HDFS啟用了權(quán)限，這里指定的路徑下應(yīng)允許所有用戶創(chuàng)建子目錄。設(shè)置此配置項的值為/user會使HOD使用用戶的home目錄來產(chǎn)生mapred.system.dir的值。
log-destination-uri：一個URL，能反映一個外部的靜態(tài)的DFS或者集群節(jié)點上的本地文件系統(tǒng)上的路徑。當集群被回收時，HOD會把Hadoop日志上傳到這個路徑。要指定DFS路徑，使用'hdfs://path'格式。要指定一個集群節(jié)點上的本地文件系統(tǒng)路徑，使用'file://path'格式。當HOD回收集群時，作為HOD的清除過程的一部分，hadoop日志會被刪除。要做到持久儲這些日志，你可以使用這個配置項。路徑的格式會是values-of-this-option/userid/hod-logs/cluster-id。注意，應(yīng)該保證所有的用戶能在這里指定的目錄下創(chuàng)建子目錄。把這個值設(shè)為hdfs://user會使這些日志被轉(zhuǎn)移到用戶在DFS上的home目錄下。
pkgs：安裝目錄，其下有bin/hadoop可執(zhí)行文件。如果給log-destination-uri指定了一個HDFSURL，HOD上傳日志時會用到這個配置項。注意，當用戶使用了和外部靜態(tài)HDFS不同版本的tarball時，這個配置項會派上用場。
 

【編輯推薦】

1. HadoopOnDemand配置新手指南
2. Hadoop0.20.2集群配置入門指導手冊
3. Hadoop文件系統(tǒng)如何快速安裝？
4. Hadoop集群搭建過程中相關(guān)環(huán)境配置詳解
5. Hadoop完全分布模式安裝實現(xiàn)詳解