本文的文字及圖片來源於網絡,僅供學習、交流使用,不具備任何商業用途,版權歸原做者全部,若有問題請及時聯繫咱們以做處理html
如下文章來源於青燈編程 ，做者：清風python
私信回覆「資料」，便可免費領取Python實戰案例講解視頻編程
Python爬取B站視頻，只需一個B站視頻地址，便可任意下載，觀看地址：json
https://www.bilibili.com/video/BV1LX4y1u7VA/
前言
本文的文字及圖片來源於網絡,僅供學習、交流使用,不具備任何商業用途,若有問題請及時聯繫咱們以做處理。網絡
基本開發環境
- Python 3.6
- Pycharm
相關模塊的使用
import jieba import wordcloud import time import requests
目標網頁分析
今天就爬取青燈教育免費公開課的課程評價ide
網站地址：工具
https://ke.qq.com/course/384363?taid=10654594091048299&tuin=8aa5eb27
如何獲取課程評價？
打開開發者工具（F12或者鼠標右鍵點擊檢查），複製評價，在開發者工具當中進行搜索。學習
這個接口數據有10條評價，一頁評價也是10條評論，因此只須要請求這個連接，再經過json數據，字典取值的方式提取評價內容便可。字體
如何實現多頁爬取
第一頁評價數據接口參數網站
第二頁評價數據接口參數
經過對比可得：page參數的變化，對應的是頁碼數。構建for循環便可實現多頁爬取效果。
爬蟲實現代碼
注意點：
headers 參數須要添加 referer 防盜鏈，否則獲取不到數據
import time
import requests
for page in range(0, 23):
time.sleep(1)
url = 'https://ke.qq.com/cgi-bin/comment_new/course_comment_list'
headers = {
'referer': 'https://ke.qq.com/course/384363?taid=10654585501113707&tuin=8aa5eb27',
'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36'
}
params = {
'cid': '384363',
'count': '10',
'page': page,
'filter_rating': '0',
'bkn': '1905043087',
'r': '0.30477140651006174',
}
response = requests.get(url=url, params=params, headers=headers)
html_data = response.json()
result = html_data['result']['items']
for i in result:
comment = i['first_comment']
with open('評價.txt', mode='a', encoding='utf-8') as f:
f.write(comment)
f.write('\n')
print(comment)
詞雲實現代碼
import jieba
import wordcloud
# 讀取文件內容
f = open(r'D:\python\demo\騰訊課堂評價\評價.txt', encoding='utf-8')
txt = f.read()
# jieba 分詞 分割詞彙
txt_list = jieba.lcut(txt)
string = ' '.join(txt_list)
# 詞雲圖設置
wc = wordcloud.WordCloud(
width=1000, # 圖片的寬
height=700, # 圖片的高
background_color='white', # 圖片背景顏色
font_path='msyh.ttc', # 詞雲字體
# mask=py, # 所使用的詞雲圖片
scale=15,
stopwords={'老師'}, # 停用詞
# contour_width=5,
# contour_color='red' # 輪廓顏色
)
# 給詞雲輸入文字
wc.generate(string)
# 詞雲圖保存圖片地址
wc.to_file(r'D:\python\demo\騰訊課堂評價\out.png')
本文同步分享在 博客「松鼠愛吃餅乾」（CSDN）。
若有侵權，請聯繫 support@oschina.cn 刪除。
本文參與「OSC源創計劃」，歡迎正在閱讀的你也加入，一塊兒分享。