本節(jié)接著上節(jié)向大家介紹Windows下基于Eclipse的Hadoop開發(fā)環(huán)境完全配置的方法步驟，上節(jié)介紹了配置的準(zhǔn)本工作，接下來該開始配置Hadoop了，這里向大家簡(jiǎn)單分享一下，希望本節(jié)的學(xué)習(xí)可以讓你對(duì)Hadoop開發(fā)環(huán)境有新的理解。

Windows下基于Eclipse的Hadoop開發(fā)環(huán)境完全配置
 

一，解壓文件

打開一個(gè)cygwin，輸入以下命令
cd.
explorer.
會(huì)彈出一個(gè)新窗口，把原來下載的hadoop壓縮文件放到里面，并解壓。個(gè)人認(rèn)為，其實(shí)不一定要放到cygwin的用戶根目錄下，沒試過。

二，配置Hadoop

打開解壓出來的文件夾，在hadoop-0.19.2\conf目錄下有一個(gè)hadoop-site.xml文件，打開，在原有的
<configuration></configuration>間插入
 

<property> 
<name>fs.default.name</name> 
<value>hdfs://localhost:9100</value> 
</property> 
<property> 
<name>mapred.job.tracker</name> 
<value>localhost:9101</value> 
</property> 
<property> 
<name>dfs.replication</name> 
<value>1</value> 
</property> 

保存。

三，格式化NameNode

打開一個(gè)cygwin，轉(zhuǎn)到hadoop目錄下，如果按照前面的解壓，直接用cdhadoop-0.19.2就可以了，接著輸入以下命令：
mkdirlogs
bin/hadoopnamenode-format

四，安裝Eclipse插件

因?yàn)楸竟?jié)介紹的Hadoop開發(fā)環(huán)境配置是基于Eclipse的，所以需要安裝Eclipse插件。打開解壓后的文件夾，把hadoop-0.19.2\contrib\eclipse-plugin下的hadoop-0.19.2-eclipse-plugin.jar文件拷到eclipse的plugins目錄下，重啟eclipse，在Window-》OpenPerspective-》other，彈出的窗口中應(yīng)該有一項(xiàng)Map/Reduce項(xiàng)，代表安裝成功了。如果沒有的話，把eclipse下的configuration\org.eclipse.update文件夾刪了，再重啟eclipse。

五，啟動(dòng)Hudoop集群
啟動(dòng)五個(gè)cygwin。

在***中啟動(dòng)NameNode，執(zhí)行：
cdhadoop-0.19.2
bin/hadoopnamenode

在第二個(gè)中啟動(dòng)SecondaryNameNode，執(zhí)行：
cdhadoop-0.19.2
bin/hadoopsecondarynamenode

第三個(gè)中啟動(dòng)jobtracker執(zhí)行：
cdhadoop-0.19.2
bin/hadoopjobtracker

第四個(gè)中啟動(dòng)datanode，執(zhí)行：
cdhadoop-0.19.2
bin/hadoopdatanode

***一個(gè)啟動(dòng)tasktracker，執(zhí)行：
cdhadoop-0.19.2
bin/hadooptasktracker

六，在Eclipse中配置Hadoop開發(fā)環(huán)境

啟動(dòng)eclipse，轉(zhuǎn)到Map/ReducePerspective,在上圖的Map/ReduceLocations里，新建一個(gè)Location，填入以下值
*LocationName--localhost
*Map/ReduceMaster
oHost--localhost
oPort--9101
*DFSMaster
oCheck"UseM/RMasterHost"
oPort--9100
*Username--默認(rèn)

七，上傳文件到HDFS

打開一個(gè)cygwin，執(zhí)行
cdhadoop-0.19.1
bin/hadoopfs-mkdirIn
bin/hadoopfs-put*.txtIn
這時(shí)，在eclipse的Projectexplorer的DFSlocation中，應(yīng)該能反應(yīng)變化，沒有的話，reconnect一下。Hadoop開發(fā)環(huán)境安全配置的下一步該創(chuàng)建工程了。

八，創(chuàng)建工程

啟動(dòng)Eclipse，右鍵點(diǎn)擊ProjectExplorer窗口，選擇New->Project..找到Map/ReduceProject，點(diǎn)Next，輸入名字。
點(diǎn)擊下面的ConfigHadoopInstallDirectiory，輸入Hadoop的目錄，如：C:\cygwin\home\User\hadoop-0.19.2
右鍵點(diǎn)擊新創(chuàng)建的Hadoop工程，選擇New->Other轉(zhuǎn)到Map/Reduce文件夾,選擇MapReduceDriver然后點(diǎn)擊Next，輸入名字，點(diǎn)擊Finish。
新創(chuàng)建了一個(gè)文件，但是有錯(cuò)誤，把
conf.setInputPath(newPath("src"));
conf.setOutputPath(newPath("out"));
換為
conf.setInputFormat(TextInputFormat.class);
conf.setOutputFormat(TextOutputFormat.class);

FileInputFormat.setInputPaths(conf,newPath("In"));
FileOutputFormat.setOutputPath(conf,newPath("Out"));
右鍵點(diǎn)擊文件，選擇RunAs-->RunonHadoop.在彈出的窗口中選擇"Chooseexistinghadooplocation",然后選擇剛才創(chuàng)建的localhost，點(diǎn)Finish就開始運(yùn)行了。至此本節(jié)關(guān)于Hadoop開發(fā)環(huán)境安全配置就完成了。

【編輯推薦】

1. Hadoop Hdfs配置過程全程報(bào)道
2. Hadoop開發(fā)環(huán)境在Windows下的安全配置如何實(shí)現(xiàn)？
3. 專家講解 Hadoop:HBASE松散數(shù)據(jù)存儲(chǔ)設(shè)計(jì)
4. 兩種模式運(yùn)行Hadoop分布式并行程序
5. Hadoop概念及其用法專家講解