（數據科學學習手札71）在Python中製做個性化詞雲圖

時間  2019-11-17
標籤 數據 科學 學習 手札 python 製做 個性化 雲圖 欄目 Python 简体版
原文   原文鏈接

本文對應腳本及數據已上傳至個人Github倉庫https://github.com/CNFeffery/DataScienceStudyNotespython

1、簡介

　　詞雲圖是文本挖掘中用來表徵詞頻的數據可視化圖像，經過它能夠很直觀地展示文本數據中地高頻詞：
git


圖1 詞雲圖示例

　　在Python中有不少可視化框架能夠用來製做詞雲圖，如pyecharts，但這些框架並非專門用於製做詞雲圖的，所以並不支持更加個性化的製圖需求，要想創做出更加美觀個性的詞雲圖，須要用到一些專門繪製詞雲圖的第三方模塊，本文就將針對其中較爲優秀易用的wordcloud以及stylecloud的用法進行介紹和舉例說明。

github

2、利用wordcloud繪製詞雲圖

　　wordcloud是Python中製做詞雲圖比較經典的一個模塊，賦予用戶高度的自由度來創做詞雲圖：
數組


圖2 wordcloud製做詞雲圖示例

2.1 從一個簡單的例子開始

　　這裏咱們使用到來自wordcloud官方文檔中的constitution.txt來做爲可視化的數據素材：
app


圖3 constitution.txt

　　首先咱們讀入數據並將數據清洗成空格分隔的長字符串：echarts

import re

with open('constitution.txt') as c:
    '''抽取文本中的英文部分並小寫化，並將空格做爲分隔拼接爲長字符串'''
    text = ' '.join([word.group().lower() for word in re.finditer('[a-zA-Z]+', c.read())])

'''查看前100個字符'''
text[:500]
圖4 清洗後的片斷文本

　　接着使用wordcloud中用於生成詞雲圖的類WordCloud配合matplotlib，在默認參數設置下生成一張簡單的詞雲圖：框架

from wordcloud import WordCloud
import matplotlib.pyplot as plt
%matplotlib inline

'''從文本中生成詞雲圖'''
wordcloud = WordCloud().generate(text)
plt.figure(figsize=[12, 10])
plt.imshow(wordcloud)
plt.axis('off')
plt.show()

　　生成的詞雲圖:
dom


圖5 默認參數下的詞雲圖

　　畢竟是在默認參數下生成的詞雲圖，既醜陋又模糊，爲了繪製好看的詞雲圖，接下來咱們來對wordcloud繪製詞雲圖的細節內容進行介紹，並不斷地對圖5進行升級改造。函數

2.2 WordCloud

　　做爲wordcloud繪製詞雲圖最核心的類，WordCloud的主要參數及說明以下：佈局

font_path：字符型，用於傳入本地特定字體文件的路徑（ttf或otf文件）從而影響詞雲圖的字體族
width：int型，用於控制詞雲圖畫布寬度，默認爲400
height：int型，用於控制詞雲圖畫布高度，默認爲200
prefer_horizontal：float型，控制全部水平顯示的文字相對於豎直顯示文字的比例，越小則詞雲圖中豎直顯示的文字越多
mask：傳入蒙版圖像矩陣，使得詞雲的分佈與傳入的蒙版圖像一致
contour：float型，當mask不爲None時，contour參數決定了蒙版圖像輪廓線的顯示寬度，默認爲0即不顯示輪廓線
contour_color：設置蒙版輪廓線的顏色，默認爲'black'
scale：當畫布長寬固定時，按照比例進行放大畫布，如scale設置爲1.5，則長和寬都是原來畫布的1.5倍
min_font_size：int型，控制詞雲圖中最小的詞對應的字體大小，默認爲4
max_font_size：int型，控制詞雲圖中最大的詞對應的字體大小，默認爲200
max_words：int型，控制一張畫布中最多繪製的詞個數，默認爲200
stopwords：控制繪圖時忽略的停用詞，即不繪製停用詞中說起的詞，默認爲None，即調用自帶的停用詞表（僅限英文，中文需本身提供並傳入）
background_color：控制詞雲圖背景色，默認爲'black'
mode：當設置爲'RGBA'且background_color設置爲None時，背景色變爲透明，默認爲'RGB'
relative_scaling：float型，控制詞雲圖繪製字的字體大小與對應字詞頻的一致相關性，當設置爲1時徹底相關，當爲0時徹底不相關，默認爲0.5
color_func：傳入自定義調色盤函數，默認爲None
colormap：對應matplotlib中的colormap調色盤，默認爲viridis，這個參數與參數color_func互斥，當color_func有函數傳入時本參數失效
repeat：bool型，控制是否容許一張詞雲圖中出現重複詞，默認爲False即不容許重複詞
random_state：控制隨機數水平，傳入某個固定的數字以後每一次繪圖文字佈局將不會改變

　　瞭解了上述參數的意義以後，首先咱們修改背景色爲白色，增大圖牀的長和寬，加大scale以提高圖片的精細程度，並使得水平顯示的文字儘量多：

'''從文本中生成詞雲圖'''
wordcloud = WordCloud(background_color='white', # 背景色爲白色
                      height=400, # 高度設置爲400
                      width=800, # 寬度設置爲800
                      scale=20, # 長寬拉伸程度設置爲20
                      prefer_horizontal=0.9999).generate(text)
plt.figure(figsize=[8, 4])
plt.imshow(wordcloud)
plt.axis('off')
'''保存到本地'''
plt.savefig('圖6.jpg', dpi=600, bbox_inches='tight', quality=95)
plt.show()
圖6

　　能夠看到相較於圖5，在美觀程度上有了很大的進步，接下來，咱們在圖6的基礎上添加美國本土地圖蒙版：


圖7 美國本土地圖蒙版

　　利用PIL模塊讀取咱們的美國本土地圖蒙版.png文件並轉換爲numpy數組，做爲WordCloud的mask參數傳入：

from PIL import Image
import numpy as np

usa_mask = np.array(Image.open('美國本土地圖蒙版.png'))

'''從文本中生成詞雲圖'''
wordcloud = WordCloud(background_color='white', # 背景色爲白色
                      height=4000, # 高度設置爲400
                      width=8000, # 寬度設置爲800
                      scale=20, # 長寬拉伸程度程度設置爲20
                      prefer_horizontal=0.9999,
                      mask=usa_mask # 添加蒙版
                     ).generate(text)
plt.figure(figsize=[8, 4])
plt.imshow(wordcloud)
plt.axis('off')
'''保存到本地'''
plt.savefig('圖8.jpg', dpi=600, bbox_inches='tight', quality=95)
plt.show()
圖8

　　能夠看到圖8在圖6的基礎上進一步提高了美觀程度，接下來咱們利用wordcloud中用於從圖片中提取調色方案的類ImageColorGenerator來從下面的星條旗美國地圖蒙版中提取色彩方案，進而反饋到詞雲圖上：


圖9 美國地圖蒙版_星條旗色 

from PIL import Image
import numpy as np
from wordcloud import ImageColorGenerator

usa_mask = np.array(Image.open('美國地圖蒙版_星條旗色.png'))
image_colors = ImageColorGenerator(usa_mask)

'''從文本中生成詞雲圖'''
wordcloud = WordCloud(background_color='white', # 背景色爲白色
                      height=400, # 高度設置爲400
                      width=800, # 寬度設置爲800
                      scale=20, # 長寬拉伸程度程度設置爲20
                      prefer_horizontal=0.2, # 調整水平顯示傾向程度爲0.2
                      mask=usa_mask, # 添加蒙版
                      max_words=1000, # 設置最大顯示字數爲1000
                      relative_scaling=0.3, # 設置字體大小與詞頻的關聯程度爲0.3
                      max_font_size=80 # 縮小最大字體爲80
                     ).generate(text)

plt.figure(figsize=[8, 4])
plt.imshow(wordcloud.recolor(color_func=image_colors), alpha=1)
plt.axis('off')
'''保存到本地'''
plt.savefig('圖10.jpg', dpi=600, bbox_inches='tight', quality=95)
plt.show()
圖10

2.3 中文詞雲圖

　　相較於英文文本語料，中文語料處理起來要麻煩一些，咱們須要先進行分詞等預處理才能進行下一步的處理，這裏咱們使用某外賣平臺用戶評論數據，先讀取進來看看：

import pandas as pd
import jieba

'''讀入原始數據'''
raw_comments = pd.read_csv('waimai_10k.csv');raw_comments.head()
圖11

　　接下來咱們利用re、jieba以及pandas中的apply對評論列進行快速清洗：

'''導入停用詞表'''
with open('stopwords.txt') as s:
    stopwords = set([line.replace('\n', '') for line in s])

'''傳入apply的預處理函數，完成中文提取、分詞以及多餘空格剔除'''
def preprocessing(c):
    
    c = [word for word in jieba.cut(' '.join(re.findall('[\u4e00-\u9fa5]+', c))) if word != ' ' and word not in stopwords]

    return ' '.join(c)

'''將全部語料按空格拼接爲一整段文字'''
comments = ' '.join(raw_comments['review'].apply(preprocessing));comments[:500]

　　獲得的結果如圖12：


圖12

　　這時咱們就獲得所需的文本數據，接下來咱們用美團外賣的logo圖片做爲蒙版繪製詞雲圖：


圖13 美團外賣logo蒙版 

from PIL import Image
import numpy as np
from wordcloud import ImageColorGenerator

waimai_mask = np.array(Image.open('美團外賣logo蒙版.png'))
image_colors = ImageColorGenerator(waimai_mask)

'''從文本中生成詞雲圖'''
wordcloud = WordCloud(background_color='white', # 背景色爲白色
                      height=400, # 高度設置爲400
                      width=800, # 寬度設置爲800
                      scale=20, # 長寬拉伸程度程度設置爲20
                      prefer_horizontal=0.2, # 調整水平顯示傾向程度爲0.2
                      mask=waimai_mask, # 添加蒙版
                      max_words=1000, # 設置最大顯示字數爲1000
                      relative_scaling=0.3, # 設置字體大小與詞頻的關聯程度爲0.3
                      max_font_size=80 # 縮小最大字體爲80
                     ).generate(comments)

plt.figure(figsize=[8, 4])
plt.imshow(wordcloud.recolor(color_func=image_colors), alpha=1)
plt.axis('off')
'''保存到本地'''
plt.savefig('圖14.jpg', dpi=600, bbox_inches='tight', quality=95)
plt.show()

　　這時咱們會發現詞雲圖上繪製出的全是亂碼，這是由於matplotlib默認字體是不包含中文的：


圖14 中文亂碼問題

　　這時咱們只須要爲WordCloud傳入font_path參數便可，這裏咱們選擇SimHei字體：

from PIL import Image
import numpy as np
from wordcloud import ImageColorGenerator

waimai_mask = np.array(Image.open('美團外賣logo蒙版.png'))
image_colors = ImageColorGenerator(waimai_mask)

'''從文本中生成詞雲圖'''
wordcloud = WordCloud(font_path='SimHei.ttf', # 定義SimHei字體文件
                      background_color='white', # 背景色爲白色
                      height=400, # 高度設置爲400
                      width=800, # 寬度設置爲800
                      scale=20, # 長寬拉伸程度程度設置爲20
                      prefer_horizontal=0.2, # 調整水平顯示傾向程度爲0.2
                      mask=waimai_mask, # 添加蒙版
                      max_words=1000, # 設置最大顯示字數爲1000
                      relative_scaling=0.3, # 設置字體大小與詞頻的關聯程度爲0.3
                      max_font_size=80 # 縮小最大字體爲80
                     ).generate(comments)

plt.figure(figsize=[8, 4])
plt.imshow(wordcloud.recolor(color_func=image_colors), alpha=1)
plt.axis('off')
'''保存到本地'''
plt.savefig('圖15.jpg', dpi=600, bbox_inches='tight', quality=95)
plt.show()
圖15


3、利用stylecloud繪製詞雲圖

　　stylecloud是一個較爲嶄新的模塊，它基於wordcloud，添加了一系列的嶄新特性譬如漸變顏色等，能夠支持更爲個性化的詞雲圖創做：


圖16 styleword製做詞雲圖示例

3.1 從一個簡單的例子開始

　　這裏咱們沿用上一章節中使用過的處理好的text來繪製詞雲圖：

import stylecloud
from IPython.display import Image # 用於在jupyter lab中顯示本地圖片

'''生成詞雲圖'''
stylecloud.gen_stylecloud(text=text, 
                          size=512,
                          output_name='圖17.png')

'''顯示本地圖片'''
Image(filename='圖17.png')
圖17

　　能夠看出，styleword生成詞雲圖的方式跟wordcloud不一樣，它直接就將原始文本轉換成本地詞雲圖片文件，下面咱們針對其繪製詞雲圖的細節內容進行介紹。

3.2 gen_stylecloud

　　在stylecloud中繪製詞雲圖只須要gen_stylecloud這一個函數便可，其主要參數及說明以下：

text：字符串，格式同WordCloud中的generate()方法中傳入的text
gradient：控制詞雲圖顏色漸變的方向，'horizontal'表示水平方向上漸變，'vertical'表示豎直方向上漸變，默認爲'horizontal'
size：控制輸出圖像文件的分辨率（由於stylecloud默認輸出方形圖片，因此size傳入的單個整數表明長和寬），默認爲512
icon_name：這是stylecloud中的特殊參數，經過傳遞對應icon的名稱，你可使用多達1544個免費圖標來做爲詞雲圖的蒙版，點擊這裏查看你能夠無償使用的圖標蒙版樣式，默認爲'fas fa-flag'
palette：控制調色方案，stylecloud的調色方案調用了palettable，這是一個很是實用的模塊，其內部收集了數量驚人的大量的經典調色方案，默認爲'cartocolors.qualitative.Bold_5'
background_color：字符串，控制詞雲圖底色，可傳入顏色名稱或16進制色彩，默認爲'white'
max_font_size：同wordcloud
max_words：同wordcloud
stopwords：bool型，控制是否開啓去停用詞功能，默認爲True，調用自帶的英文停用詞表
custom_stopwords：傳入自定義的停用詞List，配合stopwords共同使用
output_name：控制輸出詞雲圖文件的文件名，默認爲stylecloud.png
font_path：傳入自定義字體*.ttf文件的路徑
random_state：同wordcloud

　　對上述參數有所瞭解以後，下面咱們在圖17的基礎上進行改良，首先咱們將圖標形狀換成炸彈的樣子，接着將配色方案修改成scientific.diverging.Broc_3：

'''生成詞雲圖'''
stylecloud.gen_stylecloud(text=text, 
                          size=1024,
                          output_name='圖18.png',
                          palette='scientific.diverging.Broc_3', # 設置配色方案
                          icon_name='fas fa-bomb' # 設置圖標樣式
                         )

'''顯示本地圖片'''
Image(filename='圖18.png')
圖18

3.3 繪製中文詞雲圖

　　在wordcloud中繪製中文詞雲圖相似wordcloud只須要注意傳入支持中文的字體文件便可，下面咱們使用一個微博語料數據weibo_senti_100k.csv來舉例：

weibo = pd.read_csv('weibo_senti_100k.csv')
weibo_text = [word for word in jieba.cut(' '.join(re.findall('[\u4e00-\u9fa5]+', ' '.join(weibo['review'].tolist())))) if word != ' ' and word not in stopwords]
weibo_text[:10]
圖19

　　接着咱們將蒙版圖標樣式換成新浪微博，將色彩方案換成colorbrewer.sequential.Reds_3：

'''生成詞雲圖'''
stylecloud.gen_stylecloud(text=text, 
                          size=1024,
                          output_name='圖20.png',
                          palette='colorbrewer.sequential.Reds_3', # 設置配色方案爲https://jiffyclub.github.io/palettable/colorbrewer/sequential/#reds_3
                          icon_name='fab fa-weibo', # 設置圖標樣式
                          gradient='horizontal' # 設置顏色漸變方向爲水平
                         )

'''顯示本地圖片'''
Image(filename='圖20.png')
圖20

　　以上就是本文的所有內容，若有筆誤望指出！

相關文章
相關標籤/搜索
每日一句
    每一个你不满意的现在，都有一个你没有努力的曾经。
本站公眾號
   歡迎關注本站公眾號,獲取更多信息
聯繫我們 最近搜索 最新文章 沪ICP备13005482号-10 MyBatis教程 SQL 教程 MySQL教程 Java 教程 Thymeleaf 教程 Hibernate教程 Spring教程 Redis教程