在學(xué)習(xí)Hadoop的過(guò)程中，你可能經(jīng)常遇到Hadoop命令方面的問(wèn)題，本節(jié)就向大家介紹一些常用的Hadoop命令，歡迎大家一起來(lái)學(xué)習(xí)。

Hadoop命令手冊(cè)

所有的hadoop命令均由bin/hadoop腳本引發(fā)。不指定參數(shù)運(yùn)行hadoop腳本會(huì)打印所有命令的描述。
用法：hadoop[--configconfdir][COMMAND][GENERIC_OPTIONS][COMMAND_OPTIONS]
Hadoop有一個(gè)選項(xiàng)解析框架用于解析一般的選項(xiàng)和運(yùn)行類。

命令選項(xiàng)描述
--configconfdir覆蓋缺省配置目錄。缺省是${HADOOP_HOME}/conf。
GENERIC_OPTIONS多個(gè)命令都支持的通用選項(xiàng)。
COMMAND
命令選項(xiàng)S各種各樣的命令和它們的選項(xiàng)會(huì)在下面提到。這些命令被分為用戶命令管理命令兩組。

Hadoop命令常規(guī)選項(xiàng)

下面的選項(xiàng)被dfsadmin,fs,fsck和job支持。應(yīng)用程序要實(shí)現(xiàn)Tool來(lái)支持常規(guī)選項(xiàng)。
GENERIC_OPTION描述
-conf<configurationfile>指定應(yīng)用程序的配置文件。
-D<property=value>為指定property指定值value。
-fs<local|namenode:port>指定namenode。
-jt<local|jobtracker:port>指定jobtracker。只適用于job。
-files<逗號(hào)分隔的文件列表>指定要拷貝到mapreduce集群的文件的逗號(hào)分隔的列表。只適用于job。
-libjars<逗號(hào)分隔的jar列表>指定要包含到classpath中的jar文件的逗號(hào)分隔的列表。只適用于job。
-archives<逗號(hào)分隔的archive列表>指定要被解壓到計(jì)算節(jié)點(diǎn)上的檔案文件的逗號(hào)分割的列表。只適用于job。

用戶命令

hadoop集群用戶的常用命令。
archive
創(chuàng)建一個(gè)hadoop檔案文件。參考HadoopArchives.
用法：hadooparchive-archiveNameNAME<src>*<dest>

命令選項(xiàng)描述
-archiveNameNAME要?jiǎng)?chuàng)建的檔案的名字。
src文件系統(tǒng)的路徑名，和通常含正則表達(dá)的一樣。
dest保存檔案文件的目標(biāo)目錄。

distcp
Hadoop命令distcp用于遞歸地拷貝文件或目錄。參考DistCp指南以獲取等多信息。
用法：hadoopdistcp<srcurl><desturl>

命令選項(xiàng)描述
srcurl源Url
desturl目標(biāo)Url

fs

用法：hadoopfs[GENERIC_OPTIONS][COMMAND_OPTIONS]
運(yùn)行一個(gè)常規(guī)的文件系統(tǒng)客戶端。
各種命令選項(xiàng)可以參考HDFSShell指南。

fsck
Hadoop命令主要用來(lái)運(yùn)行HDFS文件系統(tǒng)檢查工具。參考Fsck了解更多。
用法：hadoopfsck[GENERIC_OPTIONS]<path>[-move|-delete|-openforwrite][-files[-blocks[-locations|-racks]]]

命令選項(xiàng)描述
<path>檢查的起始目錄。
-move移動(dòng)受損文件到/lost+found
-delete刪除受損文件。
-openforwrite打印出寫(xiě)打開(kāi)的文件。
-files打印出正被檢查的文件。
-blocks打印出塊信息報(bào)告。
-locations打印出每個(gè)塊的位置信息。
-racks打印出data-node的網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)。

jar

Hadoop命令主要用來(lái)運(yùn)行jar文件。用戶可以把他們的MapReduce代碼捆綁到j(luò)ar文件中，使用這個(gè)命令執(zhí)行。
用法：hadoopjar<jar>[mainClass]args...
streaming作業(yè)是通過(guò)這個(gè)命令執(zhí)行的。參考Streamingexamples中的例子。
Wordcount例子也是通過(guò)jar命令運(yùn)行的。參考Wordcountexample。

job

用于和MapReduce作業(yè)交互和命令。
用法：hadoopjob[GENERIC_OPTIONS][-submit<job-file>]|[-status<job-id>]|[-counter<job-id><group-name><counter-name>]|[-kill<job-id>]|[-events<job-id><from-event-#><#-of-events>]|[-history[all]<jobOutputDir>]|[-list[all]]|[-kill-task<task-id>]|[-fail-task<task-id>]

命令選項(xiàng)描述
-submit<job-file>提交作業(yè)
-status<job-id>打印map和reduce完成百分比和所有計(jì)數(shù)器。
-counter<job-id><group-name><counter-name>打印計(jì)數(shù)器的值。
-kill<job-id>殺死指定作業(yè)。
-events<job-id><from-event-#><#-of-events>打印給定范圍內(nèi)jobtracker接收到的事件細(xì)節(jié)。
-history[all]<jobOutputDir>-history<jobOutputDir>打印作業(yè)的細(xì)節(jié)、失敗及被殺死原因的細(xì)節(jié)。更多的關(guān)于一個(gè)作業(yè)的細(xì)節(jié)比如成功的任務(wù)，做過(guò)的任務(wù)嘗試等信息可以通過(guò)指定[all]選項(xiàng)查看。
-list[all]-listall顯示所有作業(yè)。-list只顯示將要完成的作業(yè)。
-kill-task<task-id>殺死任務(wù)。被殺死的任務(wù)不會(huì)不利于失敗嘗試。
-fail-task<task-id>使任務(wù)失敗。被失敗的任務(wù)會(huì)對(duì)失敗嘗試不利。本節(jié)有關(guān)Hadoop命令簡(jiǎn)單介紹到這里。

【編輯推薦】

1. 常見(jiàn)Hadoop Shell命令用法詳解
2. Hadoop MapReduce的簡(jiǎn)單應(yīng)用Cascading詳解
3. Hadoop集群與Hadoop性能優(yōu)化
4. HadoopHBase實(shí)現(xiàn)配置簡(jiǎn)單的單機(jī)環(huán)境
5. 如何實(shí)現(xiàn)Cassandra與Hadoop MapReduce的整合？