nltk的介紹和基本的文本預處理

安裝nltk pip install nltk 打開下載器nltk.download() 其中包括各種語料庫，分詞模型等 我們下載brown語料包和punkt模型 下載完後可以導入語料庫 英文分詞 然後對句子進行分詞，使用word_tokennize方法的前提是必須要安裝分詞模型，如punkt 分詞後的結果是列表 from nltk.corpus import brown 中文分詞 import

>>阅读原文<<