Lucene highlighter高亮顯示

這個功能很是重要，先貼代碼出來：

public class HighlighterTest {
    public static void main(String[] args) throws IOException, InvalidTokenOffsetsException {
        String text = "中華人民共和國 是個好國家啊";
        //設置高亮文本的樣式
        Formatter formatter = new SimpleHTMLFormatter("<span>", "</span>");
        //用於對索引中特定的項進行搜索
        TermQuery query = new TermQuery(new Term("field","國"));
        //經過TokenStream流獲取存儲分詞的各類信息
        TokenStream tokenStream = new StandardAnalyzer().tokenStream("field",new StringReader(text));
        //經過評分後的查詢對象
        QueryScorer scorer = new QueryScorer(query,"field");
        Highlighter highlighter = new Highlighter(formatter,scorer);
//默認狀況下，highlighter內部使用的是SimpleFragmenter分紅片段，若是知足不了需求，能夠用SimpleSpanFragmenter
//        highlighter.setTextFragmenter(new SimpleSpanFragmenter(scorer));

        System.out.println(highlighter.getBestFragment(tokenStream,text));
    }
}

程序中，重要點都作了介紹，至於基礎性的東西，很難講全面，具體能夠參看lucene in action第二版，上面說得相對詳細點，雖說是基於3.0版本的，但大多數東西仍是挺有價值的，實際上，目前還沒發現比這個更好的資料。

上面代碼的運行結果以下：

中華人民共和<span>國</span> 是個好<span>國</span>家啊

若是輸出到HTML頁面，就能夠經過CSS樣式，讓其高亮顯示了。

值得一提的是，android studio處理中文的問題，當我使用utf-8編碼的時，查詢中文會存在找不到的狀況，輸出中文也是亂碼，無論我再怎麼設置file encoding裏面的東西，結果都同樣。因而只能採用GBK，還好android studio能夠單獨修改某個文件的編碼方式，以下：

最下面用紅圈標註的地方，就是當前文件的編碼方式，能夠手動修改。不過StandardAnalyzer這個分詞器，對中文的支持仍是有點問題，好比上面這個地方，用lucene6.0版本的時候，若是查詢條件爲兩個字或者更多的時候就查不出來。爲此，正面用一個長一點的文章在測試詞語的查詢。

public class HighlighterTest {
    public static void main(String[] args) throws Exception {
//        String text = "中華人民共和國 是個好國家啊";
        String text = readFile("d:/content1.txt");
        //設置高亮文本的樣式
        Formatter formatter = new SimpleHTMLFormatter("<span>", "</span>");
        //用於對索引中特定的項進行搜索
        TermQuery query = new TermQuery(new Term("field","聰明"));
        //經過TokenStream流獲取存儲分詞的各類信息
        TokenStream tokenStream = new MyIKAnalyzer().tokenStream("field",new StringReader(text));
        //經過評分後的查詢對象
        QueryScorer scorer = new QueryScorer(query,"field");
        Highlighter highlighter = new Highlighter(formatter,scorer);
//        默認狀況下，highlighter內部使用的是SimpleFragmenter分紅片段，若是知足不了需求，能夠用SimpleSpanFragmenter
//        highlighter.setTextFragmenter(new SimpleSpanFragmenter(scorer));

        System.out.println(highlighter.getBestFragment(tokenStream,text));
    }

    static String readFile(String filename) throws Exception {
        String line = null;
        StringBuilder records = new StringBuilder();
        BufferedReader bufferedReader = new BufferedReader(new FileReader(filename));
        while ((line = bufferedReader.readLine()) != null) {
            records.append(line);
        }
        bufferedReader.close();
        return records.toString();
    }
}

上面的程序中，用readFile方法，讀取content1.txt文件的內容，而後輸入關鍵字「聰明」來查找文件內容，結果則會顯示關鍵字附近的內容，默認狀況下，應該顯示的「聰明」這個關鍵字先後的100個字符，大概至關於搜索預覽的意思。

上面還有一個地方須要注意，那就是分詞器用的是MyIKAnalyzer，由於用標準的分詞器找不到相關的內容。而這個MyIKAnalyzer來源於IKAnalyzer分詞器，可是IKAnalyzer分詞器已經好久沒更新了，最新版本也是2012更新的，因此在6.0版本下會報錯。不過好在，有人會這個，因此再網上找了一個修改後東西，就是從新寫了一個IKAnalyzer類，具體代碼以下：

public class MyIKAnalyzer extends Analyzer{

    @Override
    protected Analyzer.TokenStreamComponents createComponents(String str) {
        Reader reader = null;
        try {
            reader = new StringReader(str);
            MyIKTokenizer it = new MyIKTokenizer(reader);
            return new Analyzer.TokenStreamComponents(it);
        } finally {
            IOUtils.closeWhileHandlingException(reader);
        }
    }
}

 

public class MyIKTokenizer extends Tokenizer {
    // IK分詞器實現
    private IKSegmenter _IKImplement;

    // 詞元文本屬性
    private final CharTermAttribute termAtt;
    // 詞元位移屬性
    private final OffsetAttribute offsetAtt;
    // 詞元分類屬性（該屬性分類參考org.wltea.analyzer.core.Lexeme中的分類常量）
    private final TypeAttribute typeAtt;
    // 記錄最後一個詞元的結束位置
    private int endPosition;

    public MyIKTokenizer(Reader in) {
        this(in, false);
    }

    /**
     * Lucene 4.0 Tokenizer適配器類構造函數
     *
     * @param in
     * @param useSmart
     */
    public MyIKTokenizer(Reader in, boolean useSmart) {
        offsetAtt = addAttribute(OffsetAttribute.class);
        termAtt = addAttribute(CharTermAttribute.class);
        typeAtt = addAttribute(TypeAttribute.class);
        _IKImplement = new IKSegmenter(input, useSmart);
    }

    /*
     * (non-Javadoc)
     *
     * @see org.apache.lucene.analysis.TokenStream#incrementToken()
     */
    public boolean incrementToken() throws IOException {
        // 清除全部的詞元屬性
        clearAttributes();
        Lexeme nextLexeme = _IKImplement.next();
        if (nextLexeme != null) {
            // 將Lexeme轉成Attributes
            // 設置詞元文本
            termAtt.append(nextLexeme.getLexemeText());
            // 設置詞元長度
            termAtt.setLength(nextLexeme.getLength());
            // 設置詞元位移
            offsetAtt.setOffset(nextLexeme.getBeginPosition(),
                    nextLexeme.getEndPosition());
            // 記錄分詞的最後位置
            endPosition = nextLexeme.getEndPosition();
            // 記錄詞元分類
            typeAtt.setType(nextLexeme.getLexemeTypeString());
            // 返會true告知還有下個詞元
            return true;
        }
        // 返會false告知詞元輸出完畢
        return false;
    }

    /*
     * (non-Javadoc)
     *
     * @see org.apache.lucene.analysis.Tokenizer#reset(java.io.Reader)
     */
    public void reset() throws IOException {
        super.reset();
        _IKImplement.reset(input);
    }

    @Override
    public final void end() {
        // set final offset
        int finalOffset = correctOffset(this.endPosition);
        offsetAtt.setOffset(finalOffset, finalOffset);
    }
}

IKAnalyzer分詞器工具包，能夠自行到網上下載，雖然好久沒更新，可是分詞技術應該仍是作得至關不錯的。另外，再多說一句，上面兩個java到底修改了什麼地方呢？IKAnalyzer這個java文件裏面有個方法：

@Override
protected TokenStreamComponents createComponents(String fieldName, final Reader in) {
	Tokenizer _IKTokenizer = new IKTokenizer(in , this.useSmart());
	return new TokenStreamComponents(_IKTokenizer);
}

能夠發現，這個方法上面有個"@override"這個標誌，表示重載父類Analyzer的createComponents這個方法，而如今的6.0版本，這個方法的參數形式已經變了，改爲了：

protected abstract Analyzer.TokenStreamComponents createComponents(String var1);

因此爲適應新版的需求，這個地方必須修改。至於說到MyIKTokenizer這個類，其實只修改了一個地方，那就是：

public IKTokenizer(Reader in , boolean useSmart){
	    super(in);
	    offsetAtt = addAttribute(OffsetAttribute.class);
	    termAtt = addAttribute(CharTermAttribute.class);
	    typeAtt = addAttribute(TypeAttribute.class);
		_IKImplement = new IKSegmenter(input , useSmart);
}

Tokenizer類裏面已經沒得super(in)這種構造方法了，因此把它去掉便可。