關於Tokenizer與TokenFilter的區別

　 　　TokenStream是一個能在被調用後產生語彙單元流的類，但是 TokenStream 類有兩個不同的類型：Tokenizer 類和 TokenFilter 類。這兩個類都是從抽象類TokenStream類繼承而來。 　　Tokenizer 對象通過Java.io.Reader 對象讀取字符創建語彙單元，而TokenFilter 類則負責處理輸入的語彙單元，然後通過新增、刪除或者修改屬性

>>阅读原文<<