nltk的介紹和基本的文本預處理

安裝nltk pip install nltk 打開下載器nltk.download() 其中包括各種語料庫,分詞模型等 我們下載brown語料包和punkt模型 下載完後可以導入語料庫 英文分詞 然後對句子進行分詞,使用word_tokennize方法的前提是必須要安裝分詞模型,如punkt 分詞後的結果是列表 from nltk.corpus import brown 中文分詞 import
相關文章
相關標籤/搜索