Lucene分詞基本概念

Lucene分詞基本概念 Lucene接收純文本，分詞之後寫入索引。 分詞就是將一段文本拆分成多個詞(Token)，併產生與每個詞相關聯的一些屬性(Attribute)的過程。 TokenStream、PositionIncrement和PositionLength Lucene用TokenStream來表示分詞的結果。一般情況下，TokenStream可以看做是一個順序的Token流。 例如，有

>>阅读原文<<