詞的過濾

詞過濾 對於NLP的應用，我們通常先把停用詞、出現頻率很低的詞彙進行過濾；這其實類似於特徵選擇過程。 去掉停用詞 在英文裏，比如"the",'in","theirs"這些都可以作爲停用詞來處理。但是，也要考慮自己的應用場景。 去掉低頻詞 出現頻率特別低的詞彙對分析作用不大，所以一般也會去掉。把停用詞、出現頻率低的詞過濾之後，就可以得到一個詞句。 詞幹提取 stemming went，go，goin

>>阅读原文<<