在學(xué)習(xí)Hadoop的過程中，你可能會(huì)遇到Hadoop配置和使用問題，本節(jié)和大家一起學(xué)習(xí)一下Hadoop配置方法，希望通過本節(jié)的介紹，大家對(duì)能夠掌握其配置方法。

Hadoop配置和使用問題記錄

關(guān)于hadoop如何配置的教程網(wǎng)上已經(jīng)有不少了，配合hadoop主頁上的說明，基本可以順利在多臺(tái)機(jī)器上配置好hadoop集群。這里記錄的是我在實(shí)際配置和使用hadoop時(shí)遇到的問題，其中一些屬于hadoop周邊，如ssh配置時(shí)容易遇到的問題和解決方法，供大家參考。我目前是在windows xp里通過cygwin安裝的hadoop，版本是0.17.2.1。

1. 安裝cygwin。在www.cygwin.com下載網(wǎng)絡(luò)安裝包，在選擇組件的時(shí)候建議直接把openssh組件選中，有些版本的cygwin似乎不會(huì)自動(dòng)安裝diffutils組件，所以需要手工選中一下，否則配置ssh時(shí)會(huì)提示缺少該組件包。

2. cygwin控制臺(tái)里的缺省提示符不太習(xí)慣，用export PS1="\u@\w$"設(shè)一下好多了。

3. Hadoop配置過程中配置sshd比較簡單，可以參考這個(gè)鏈接。在ssh-host-config時(shí)問到“Should privilege separation be used? (yes/no)”時(shí)回答no即可，如果由于安全因素要回答yes時(shí)，在啟動(dòng)sshd時(shí)有可能遇到“Privilege separation user sshd does not exist”的錯(cuò)誤信息，解決方法可參考這個(gè)鏈接。

4. 在配置ssh使用證書方式自動(dòng)驗(yàn)證時(shí)花了一些時(shí)間，后來覺得可能是由于機(jī)器上有兩個(gè)版本的cygwin的緣故，因?yàn)樵诹硪慌_(tái)機(jī)器上安裝就沒有出現(xiàn)問題。在使用ssh-keygen -t rsa命令后提示輸入密碼時(shí)，直接按兩次回車即可。公鑰的復(fù)制等過程這里不再贅述。

5. 試圖在Eclipse里運(yùn)行hadoop的WordCount程序時(shí)提示異常：“javax.security.auth.login.LoginException: Login failed: CreateProcess: whoami error=2”，解決方法是把c:\cygwin\bin加入系統(tǒng)的path環(huán)境變量，然后重啟Eclipse以便改動(dòng)生效。

6. 在Eclipse里運(yùn)行WordCount時(shí)遇到j(luò)ava heap size不夠的異常，在運(yùn)行Hadoop配置里加入-Xms200M就可以解決。（hadoop的helloworld要求的內(nèi)存比較多？）

7. 當(dāng)要運(yùn)行的運(yùn)算依賴第三方類庫時(shí)，這個(gè)鏈接有所討論，但暫時(shí)沒看到除了在命令行里使用hadoop jar命令以外的解決方法，比如在0.17.2和0.18.1版本里我都沒有看到JobConf類里有類似addJar()這樣的方法，在JobConf#setJar()里使用逗號(hào)分隔多個(gè)jar文件的方式則會(huì)報(bào)找不到文件的錯(cuò)誤。解決方式可能有兩個(gè)：a)把所需要的第三方j(luò)ar文件復(fù)制到每個(gè)節(jié)點(diǎn)機(jī)器的jre里（暫時(shí)沒有試驗(yàn)） b)把第三方j(luò)ar包和自己的類打到一個(gè)包里。

update: 在網(wǎng)上找到另一種方式，通過DistributedCache實(shí)現(xiàn)，原文里可能有筆誤，我試驗(yàn)正確的方法是調(diào)用DistributedCache.addArchiveToClassPath()方法，注意其***個(gè)參數(shù)必須是相對(duì)路徑，如“/test/lib /my.jar”，而不能是像“hdfs://192.168.0.5:47110/test/lib/my.jar”這樣的絕對(duì)路徑。關(guān)于 DistributedCache的說明在里有一些。

8. 調(diào)試mapreduce程序的方式，在這個(gè)鏈接里講得比較清楚了，因?yàn)楹苡杏盟蕴匾庵貜?fù)一次。如果文件存放在HDFS里，那么只需要調(diào)用JobConf#.set("mapred.job.tracker", "local");即可；如果文件也是存在本地的，還需要調(diào)用JobConf#set("fs.default.name", "local");方法。我通常讓文件存在HDFS里調(diào)試，因?yàn)橐褂帽镜匚募磪?shù)需要改變，要么代碼需要改變，維護(hù)兩個(gè)環(huán)境很麻煩。在程序里用System.out.println()輸出的內(nèi)容可以在datanode的hadoop安裝路徑的logs/userlogs目錄里找到。

9. 當(dāng)使用自定義InputFormat時(shí)，特別是使用EMF模型元素作為key的時(shí)候，需要注意并不是在代碼的任何地方都能得到xmi:id的值的。具體來說，在WritableComparable#write()方法里能得到（前提是該對(duì)象本來就有resource，即eobj.eResource()!=null），而在WritableComparable#readFields()里是不能得到的，在RecordWriter#write()方法里同樣不能得到，因?yàn)楹髢烧叩腅MF元素對(duì)象都是反序列化得到的，已經(jīng)不是內(nèi)存里原來的那個(gè)實(shí)例了。

10. map進(jìn)行到100%后，reduce過程進(jìn)行到某個(gè)數(shù)值（如16%）后就不再繼續(xù)，直到被hadoop強(qiáng)制關(guān)閉。ok，到這里Hadoop配置完成。

【編輯推薦】

1. 專家指導(dǎo) 如何進(jìn)行Hadoop分布式集群配置
2. Hbase和Hadoop操作文件性能測試
3. Hadoop集群與Hadoop性能優(yōu)化
4. Hadoop 從Yahoo向Google的技術(shù)轉(zhuǎn)折
5. Hadoop初探