中文詞頻統計

中文詞頻統計

1. 下載一長篇中文小說。

2. 從文件讀取待分析文本。

3. 安裝並使用jieba進行中文分詞。

pip install jieba

import jieba

ljieba.lcut(text)

4. 更新詞庫，加入所分析對象的專業詞彙。

jieba.add_word('天罡北斗陣')  #逐個添加

jieba.load_userdict(word_dict)  #詞庫文本文件

參考詞庫下載地址：https://pinyin.sogou.com/dict/

轉換代碼：scel_to_text

5. 生成詞頻統計

from wordcloud import WordCloud
import matplotlib.pyplot as plt
import jieba
txt=open(r'hhh.txt','r',encoding='utf-8').read()
 
s=[line.strip() for line in open('stops_chinese.txt',encoding='utf-8').readlines()]
jieba.load_userdict(s)
 
 
wordcut = jieba.lcut(txt)
 
wdict = {}
 
for word in wordcut:
   if word not in s:
        if len(word)==1:
            continue
        else:
            wdict[word]=wdict.get(word,0)+1
             
wc=list(wdict.items())
wc.sort(key=lambda x:x[1], reverse=True)
 
for i in range(25):
       print(wc[i])
 
cut_text = " ".join(wordcut)
'print(cut_text)'
 
mywc = WordCloud().generate(cut_text)
plt.imshow(mywc)
plt.axis("off")
plt.show()