經典的文本數據預處理流程（轉）

首先對文本進行分詞，因爲可以直接用NLTK的分詞器，中文的可以用結巴分詞 在英文中，往往還需要對單詞進行詞幹提取和詞形歸一化。在詞形歸一的過程中如果結合POS Tag可以更好的進行詞形歸一。 去除停用詞，得到最終的詞列表 本文轉自：http://www.javashuo.com/article/p-qcajvcgz-vs.html

>>阅读原文<<