本節(jié)向大家介紹一下Hadoop環(huán)境搭建方面的知識(shí)，希望通過(guò)本節(jié)的介紹搭建能夠掌握快速實(shí)現(xiàn)Hadoop環(huán)境搭建的方法，讓我們一起來(lái)學(xué)習(xí)Hadoop環(huán)境搭建吧。

hadoop環(huán)境搭建

Hadoop的下載地址：http://www.apache.org/dyn/closer.cgi/hadoop/core/
版本：hadoop0.17.1

JDK的安裝：要求必須安裝jdk1.5.07以上的版本。

分步式Hadoop環(huán)境搭建：

1、硬件環(huán)境
我們采用了3臺(tái)機(jī)器來(lái)構(gòu)建,都安裝的是RedHat4.1.2-42系統(tǒng)，并且都有一個(gè)名為“mingjie“的帳號(hào)，如下：
主機(jī)名稱：hdfs1ip:192.168.0.221功能：NameNode,JobTracker
主機(jī)名稱：hdfs2ip:192.168.0.227功能：DataNode,TaskTracker
主機(jī)名稱：hdfs3ip:192.168.0.228功能：DataNode,TaskTracker

重點(diǎn)：修改3臺(tái)機(jī)器的/etc/hosts,讓彼此的主機(jī)名稱和ip都能順利解析
127.0.0.1localhost
192.168.0.37hdfs1
192.168.0.43hdfs2
192.168.0.53hdfs3

2、每臺(tái)機(jī)器都要安裝java環(huán)境，我們的路徑統(tǒng)一為“/opt/modules/jdk1.6“,并添加到系統(tǒng)環(huán)境變量sudovi/etc/profile
JAVA_HOME=/opt/modules/jdk1.6
PATH=$JAVA_HOME/bin:$PATH:$CATALINA_HOME/bin
CLASSPATH=$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/tools.jar
exportJAVA_HOME

3、下載hadoop0.17.1，將hadoop解壓到/home/mingjie/,建議最好也將hadoop的目錄添加到環(huán)境變量里面去：
HADOOP_HOME=/home/mingjie/hadoop-0.17.1#這是hadoop的主目錄
exportHADOOP_HOME
HADOOP_CONF_DIR=$HADOOP_HOME/conf#這是hadoop的配置文件目錄
exportHADOOP_CONF_DIR
HADOOP_LOG_DIR=/home/mingjie/hadoop-0.17.1/log＃存放運(yùn)行日志目錄
exportHADOOP_LOG_DIR
exportPATH=$PATH:$HADOOP_HOME/bin。Hadoop環(huán)境搭建過(guò)程中還需要安裝SSH。

4、安裝ssh,并生成公鑰和私鑰
運(yùn)行ssh-keygen-trsa，根據(jù)屏幕提示直接選擇“回車”
會(huì)在用戶目錄~/.ssh/產(chǎn)生兩個(gè)文件，id_rsa，id_rsa.pub
cat~/.ssh/id_dsa.pub>>~/.ssh/authorized_keys
以上配置完成后，執(zhí)行一下sshlocalhsot,確認(rèn)你的每臺(tái)機(jī)器都可以使用ssh

5、將master服務(wù)器上的authorized_keys的內(nèi)容加到slave兩臺(tái)機(jī)器的authorized_keys文件中。讓master也可以不需要密碼訪問(wèn)2臺(tái)slave服務(wù)器。
sudoscpauthorized_keyshdfs2:/home/mingjie/.ssh/
sudoscpauthorized_keyshdfs3:/home/mingjie/.ssh/
sshhdfs2
sshhdfs3

6、接下來(lái)，我們要修改hadoop的[conf/masters]、[conf/slaves]這2個(gè)文件：
Master設(shè)置(<HADOOP_HOME>/conf/masters):hdfs1
Slave設(shè)置(<HADOOP_HOME>/conf/slaves):hdfs2hdfs3

7、修改［conf/hadoop-env.sh］：
exportJAVA_HOME=/opt/jdk1.6.0_03

8、修改［conf/hadoop-site.xml],這里只是幾個(gè)常用的屬性配置，有關(guān)hadoop的性能優(yōu)化調(diào)整，需要研究hadoop-default.xml。

9、然后將hadoop的整體環(huán)境拷貝到hdfs2、hdfs3上面去
scp-r/home/mingjie/hadoop.0.17.1hdfs2:/home/mingjie/hadoop.0.17.1
scp-r/home/mingjie/hadoop.0.17.1hdfs3:/home/mingjie/hadoop.0.17.1

10、在hdfs1這個(gè)namenode上面格式化一個(gè)新的分布式文件系統(tǒng)HDFS，就是hadoop-site.xml文件中指定的hadoop.tmp.dir路徑
<HADOOP_HOME>/bin/hadoopnamenode–format
到此大致上就完成了hadoop環(huán)境搭建
啟動(dòng)hadoop：<HADOOP_HOME>/bin/start-all.sh
停止hadoop：<HADOOP_HOME>/bin/stop-all.sh

說(shuō)明：
(1)執(zhí)行啟動(dòng)Hadoop進(jìn)程后，
在master服務(wù)器會(huì)啟動(dòng)3個(gè)java進(jìn)程,分別的NameNode,SecondNameNode,JobTracker,在LOG目錄下會(huì)產(chǎn)生2個(gè)文件，分別對(duì)應(yīng)NameNode的運(yùn)行日志和JobTracker的運(yùn)行日志，
在slave服務(wù)器會(huì)啟動(dòng)2個(gè)java進(jìn)程，分別為DataNode,TaskTracker，,在LOG目錄下會(huì)產(chǎn)生2個(gè)文件，分別對(duì)應(yīng)DataNode的運(yùn)行日志和TaskTracker的運(yùn)行日志，可以通過(guò)查看日志分析hadoop的啟動(dòng)是否正確。
(2)通過(guò)IE瀏覽分布式文件系統(tǒng)中的文件
訪問(wèn)http://hdfs1:50030可以查看JobTracker的運(yùn)行狀態(tài)。
訪問(wèn)http://360quan-1:50060可以查看TaskTracker的運(yùn)行狀態(tài)。
訪問(wèn)http://360quan-1:50070可以查看NameNode以及整個(gè)分布式文件系統(tǒng)的狀態(tài)。本節(jié)關(guān)于如何快速實(shí)現(xiàn)Hadoop環(huán)境搭建方面的內(nèi)容介紹到這里。

【編輯推薦】

1. 技術(shù)分享 Hadoop集群搭建方法
2. Hadoop安裝與使用如何進(jìn)行？
3. 專家講解 Hadoop:HBASE松散數(shù)據(jù)存儲(chǔ)設(shè)計(jì)
4. 兩種模式運(yùn)行Hadoop分布式并行程序
5. Hadoop應(yīng)用之Hadoop安裝篇