nutch+hadoop配置使用方法簡(jiǎn)明介紹
本節(jié)繼續(xù)向大家介紹一下nutch+hadoop配置方面的內(nèi)容，上節(jié)介紹了配置的步驟，本節(jié)介紹一下nutch+hadoop配置完成后如何使用，歡迎大家一起來(lái)學(xué)習(xí)。
nutch+hadoop配置使用
中文分詞：
1.對(duì)建立索引所用分詞工具的修改
將下載的中文分詞包放到lib目錄下，改名為analysis-zh.jar(當(dāng)然，你也可以不用改）。找到下面文件
src\java\org\apache\nutch\analysis\NutchDocumentAnalyzer.java
修改tokenStream方法如下
publicTokenStreamtokenStream(StringfieldName,Readerreader){
Analyzeranalyzer;
analyzer=newMMAnalyzer();
returnanalyzer.tokenStream(fieldName,reader);
}
注意：由于加入信息的分析類，你需要將該類導(dǎo)入。使用如下語(yǔ)句。
importjeasy.analysis.*;
2.對(duì)查詢所用分析部分的修改
nutch+hadoop配置使用總需要對(duì)查詢所用分析部分的修改。src\java\org\apache\nutch\analysis\中的NutchAnalysis.jj文件
將<SIGRAM:<CJK>>
改為:|<SIGRAM:(<CJK>)+>
使用javacc工具將NutchAnalysis.jj生成java文件，共會(huì)生成7個(gè)java文件，將他們拷貝到下面的文件夾中替換原有文件。
src\java\org\apache\nutch\analysis
如何安裝與使用javacc？
下載javacc并解壓，然后將javacc的主目錄添加到環(huán)境變量下。進(jìn)入命令行，輸入javacc，如果不出現(xiàn)不能識(shí)別該命令之類的說(shuō)法，證明安裝成功。
進(jìn)入NutchAnalysis.jj文件所在的目錄，輸入javaccNutchAnalysis.jj命令就會(huì)生成7個(gè)java文件了。
3.重新編譯工程文件
這里你需要用到ant工具了，那么ant工具怎么安裝呢？
ant的安裝與配置與javacc類似，下載后解壓，然后在path環(huán)境變量中加如指向ant下的bin文件夾的路徑。
使用：從命令行進(jìn)入nutch目錄中，輸入ant命令，它會(huì)自動(dòng)根據(jù)當(dāng)前目錄下的build.xml進(jìn)行重建。重建完畢后會(huì)在改目錄下產(chǎn)生一個(gè)build文件夾。
4.重建后的文件替換
一、將nutch-0.x.x.job文件拷貝出來(lái)替換nutch目錄下的同名文件。
二、將\build\classes\org\apache\nutch\analysis目錄下的所有文件拷貝替換nutch-0.x.x.jar中org\apache\nutch\analysis目錄下的文件。
三、將nutch-0.x.x.jar文件和你的分詞包（我的是analysis-zh.jar）拷貝到tomcat中WEB-INF\lib下面。
5.重新爬行與建立索引，重新啟動(dòng)tomcat即可。
nutch搜索url過(guò)濾規(guī)則：
對(duì)于每一次(由depth決定)對(duì)url進(jìn)行filter，所以要搜子頁(yè)面，首頁(yè)一定要通過(guò)filter，否則搜索不到。本節(jié)關(guān)于nutch+hadoop配置使用介紹到這里。
【編輯推薦】
