Nutch1.2增加IKAnalyzer中文分词

原版nutch中对中文的处理是按字划分，而不是按词划分。为适应我们的使用习惯必须加上中文分词，我加的是 IKAnalyzer。下面是我的方法，我把前台和后台爬虫用两种方法实现中文分词，后台直接替换nutch的analyzer，前台则修改NutchAnalysis.jj（注：我的前台和后台是两个项目）。

前台修改：

在src/java/org/apache/nutch/analysis包下找到NutchAnalysis.jj

（1） 在 PARSER_BEGIN(NutchAnalysis)部分的导入声明中增加如下段

import org.wltea.analyzer.lucene.IKTokenizer;

（2）在 TOKEN_MGR_DECLS : { 下面增加如下段

IKTokenizer Analyzer;

TermAttribute termAtt = null;//代表用空格分割器分出来的一个中文词
OffsetAttribute offAtt = null;//中文词开始结束标记
TokenStream stream = null;

 private int cjkStartOffset = 0;//中文片段的起始位置定义

（3）到 TOKEN : {部分，找到| <SIGRAM: <CJK> >，这代表按字划分，修改为| <SIGRAM: (<CJK>)+ >

并在其后面加上

{
    if (stream == null) {
				stream  = new IKTokenizer(new StringReader(image.toString()),true);
				//stream = Analyzer.tokenStream("",new StringReader(image.toString()));
				cjkStartOffset = matchedToken.beginColumn;
				try {
					stream.reset();
				} catch (IOException e) {

					e.printStackTrace();
				}
				termAtt = (TermAttribute) stream.addAttribute(TermAttribute.class);
				offAtt = (OffsetAttribute) stream.addAttribute(OffsetAttribute.class);

				try {
					if (stream.incrementToken() == false)
						termAtt = null;
				} catch (IOException e) {
					// TODO Auto-generated catch block
					e.printStackTrace();
				}

			}

			if (termAtt != null && !termAtt.term().equals("")) {

				matchedToken.image = termAtt.term();

				matchedToken.beginColumn = cjkStartOffset + offAtt.startOffset();

				matchedToken.endColumn = cjkStartOffset + offAtt.endOffset();
				
				
				try {
					if (stream.incrementToken() != false)
						input_stream.backup(1);
					else
						termAtt = null;
				} catch (IOException e) {

					e.printStackTrace();
				}
			}

			if (termAtt == null || termAtt.term().equals("")) {

				stream = null;
				cjkStartOffset = 0;
				
			}
}

（4）用javacc工具生成NutchAnalysis.jj的源代码，将生成的所有java源代码全部覆盖到 src/java/org/apache/nutch/analysis包下.
有异常的话抛出就行.

后台爬虫修改：

修改src/java/org/apache/nutch/analysis包下的NutchDocumentAnalyzer，

在private static Analyzer ANCHOR_ANALYZER;后面加上

private static Analyzer MY_ANALYZER;

在ANCHOR_ANALYZER = new AnchorAnalyzer();后面加上

 MY_ANALYZER = new IKAnalyzer();

把 tokenStream修改为：

public TokenStream tokenStream(String fieldName, Reader reader) {
    Analyzer analyzer;
 //注释nutch原本分词器
//if ("anchor".equals(fieldName))
 //analyzer = ANCHOR_ANALYZER;
 // else
//analyzer = CONTENT_ANALYZER;
    analyzer = MY_ANALYZER;
      
    return analyzer.tokenStream(fieldName, reader);
  }