jieba庫的使用與詞頻統計

一、詞頻統計

（1）詞頻分析是對文章中重要詞彙出現的次數進行統計與分析，是文本

挖掘的重要手段。它是文獻計量學中傳統的和具備表明性的一種內容分析方法，基本原理是經過詞出現頻次多少的變化，來肯定熱點及其變化趨勢。

（2）安裝jieba庫

安裝說明
代碼對 Python 2/3 均兼容

全自動安裝：easy_install jieba 或者 pip install jieba / pip3 install jieba
半自動安裝：先下載 http://pypi.python.org/pypi/jieba/ ，解壓後運行 python setup.py install
手動安裝：將 jieba 目錄放置於當前目錄或者 site-packages 目錄
經過 import jieba 來引用

示例、全自動安裝

在命令行下輸入指令：

pip install jieba

(2) 安裝進程：

 

二、調用庫函數

一、輸入import jieba與使用其中函數

 三、python代碼

#! python3 # -*- coding: utf-8 -*- import os, codecs import jieba from collections import Counter def get_words(txt): seg_list = jieba.cut(txt) #對文本進行分詞 c = Counter() for x in seg_list: #進行詞頻統計 if len(x)>1 and x != '\r\n': c[x] += 1 print('經常使用詞頻度統計結果') for (k,v) in c.most_common(20): #遍歷輸出高頻詞 print('%s%s %s %d' % ('  '*(5-len(k)), k, '*'*int(v/2), v)) if __name__ == '__main__': with codecs.open('夢裏花落知多少.txt', 'r', 'utf8') as f:
 txt = f.read() get_words(txt)

 

•  •顯示效果

 

 四、詞雲

import jieba import wordcloud f = open("夢裏花落知多少.txt","r",encoding = "utf-8") #打開文件 t = f.read() #讀取文件，並存好 f.close() ls = jieba.lcut(t) #對文本分詞 txt = " ".join(ls) #對文本進行標點空格化 w = wordcloud.WordCloud(font_path = "msyh.ttc",width = 1000,height = 700,background_color = "white") #設置詞雲背景，找到字體路徑（不然會亂碼） w.generate(txt) #生成詞雲 w.to_file("govermentwordcloud.png")    #保存詞雲圖

 • 詞雲顯示