使用python對隱祕的角落進行彈幕分析

前言

本文的文字及圖片來源於網絡,僅供學習、交流使用,不具備任何商業用途,版權歸原做者全部,若有問題請及時聯繫咱們以做處理。

最近有部很火的懸疑推理劇：《隱祕的角落》，豆瓣評分9.0，週末閒來無事，在追劇的同時爬取了下該劇第一集的彈幕，咱們經過對彈幕進行分析，製做詞雲，來看看觀衆們對該劇的評價如何。

整篇文章分爲兩部分：1.爬取愛奇藝中該劇第一集的彈幕 2.對爬取出來的彈幕作處理，並製做詞雲。

1.爬取愛奇藝彈幕

相比於其餘視頻網站來講，愛奇藝的彈幕難爬一些，爲啥呢，由於你爬取出來的文件是亂碼的（下邊會貼圖），須要本身再把該文件二進制編碼以後才能用。具體步驟以下：

首先，打開瀏覽器，進入愛奇藝頁面，點開該劇，彈幕打開，而後F12，瀏覽器下方或者右側會彈出一些界面，選擇Network，在我圖上標註的框中輸入「bullet」搜索彈幕相關的文件，爲啥輸入這個搜索呢，由於這個單詞的意思就是彈幕，程序員命名東西通常也是有規律的，還有大多視頻網站的彈幕相關文件都是這個名字哈哈。若是你F12搜索以後無內容，那直接點擊下瀏覽器刷新按鈕便可。下圖中箭頭指的分別是Network、搜索框、彈幕文件名和彈幕內容（你能夠看到，彈幕內容是亂七八糟的亂碼）。還有說明一點，彈幕文件一集不止一個，愛奇藝5分鐘加載一個彈幕文件（爲啥5分鐘，下邊會解釋）。

 

接下來，觀察彈幕文件出現的規律以及彈幕文件地址中的規律，總結爲如下：

https://www.cnblogs.com/java-a/p/13269346.html

彈幕文件連接規律爲
https://cmts.iqiyi.com/bullet/tvid倒數4位的前兩位/tvid最後兩位/tvid_300_x.z；

x的計算方式爲片子總時長除以300秒向上取整，即按每5分鐘一個包。

tvid是啥呢，就是你URL導航欄裏的這塊，x爲啥按5分鐘一個包呢，是由於我F12以後查看兩個相鄰的彈幕文件包，它就是5分鐘加載一個。

 

 

 

 

那第一集總共時長77分鐘，按5分鐘加載一個彈幕文件的話，向上取整，咱們總共要抓取16個（77/5+1）彈幕文件。

抓取代碼爲：

import zlib
import requests
for x in range(16):
    x+=1
    #x是從1到16，16怎麼來的，第一集總共77分鐘，愛奇藝每5分鐘會加載新的彈幕
    #77除以5向上取整
    url='https://cmts.iqiyi.com/bullet/92/00/9000000005439200_300_'+str(x)+'.z'
    bulletold=requests.get(url).content #這步取出來的文件是亂碼的
    bulletnew = bytearray(bulletold)#將上一步的亂碼文件用二進制再編碼下
    xml=zlib.decompress(bulletnew, 15+32).decode('utf-8')
    #把編碼好的文件分別寫入16個xml文件中（相似於txt文件），方便後邊取數據

    with open('./iqiyi'+str(x)+'.xml','a+',encoding='utf-8') as f:
        f.write(xml)
    f.close()

 

抓取出來的xml文件爲下圖，能看出來content字段就是彈幕：

 

將xml文件中的content字段取出來存爲dan_mu.txt文件，方便咱們以後作詞雲:

from xml.dom.minidom import parse
import xml.dom.minidom
for x in range(16):
    x+=1
    DOMTree = xml.dom.minidom.parse(r"C:\Users\dmj\PycharmProjects\test\iqiyi"+str(x)+".xml")
    collection = DOMTree.documentElement
    # 在集合中獲取全部entry數據
    entrys = collection.getElementsByTagName("entry")
    print(entrys)
    for entry in entrys:
        content = entry.getElementsByTagName('content')[0]
        print(content.childNodes[0].data)
        i = content.childNodes[0].data
        with open("dan_mu.txt", mode="a+", encoding="utf-8") as f:
                f.write(i)
                f.write("\n")

 

dan_mu.txt文件大概長這樣：

 

2.製做詞雲

製做詞雲使用python的wordcloud庫和jieba庫，代碼以下：

from wordcloud import WordCloud
import jieba
import matplotlib.pyplot as plt
#讀取彈幕txt文件
with open('./dan_mu.txt',encoding = 'utf-8', mode = 'r')as f:
    myText = f.read()
myText = " ".join(jieba.cut(myText))
list = myText.split(" ")

#清洗無用數據
for i in range(len(list)-1,-1,-1):
    if len(list[i])==1 or list[i]=="這個" or \
            list[i]=="不是" or list[i]=="這麼" \
            or list[i]=="怎麼" or list[i]=="這是"\
            or list[i]=="仍是":
        list.remove(list[i])
#print(list)
myText= " ".join(list)
print(myText)

# 製做詞雲
wordcloud = WordCloud(background_color="white", font_path="simsun.ttf", height=300, width = 400).generate(myText)
# 圖片展現
plt.imshow(wordcloud)
plt.axis("off")
plt.show()
# 將詞雲圖片導出到當前文件夾
wordcloud.to_file("wordCloudMo.png")

 

在此處可能會遇到的問題是，wordcloud這個外部庫你在下載的時候可能會遇到各類花式報錯，如何解決呢，參見下邊這位老哥的方法：

https://blog.csdn.net/qq_42813128/article/details/82020510

詞雲圖結果以下：

 

 

 

從詞雲圖中咱們能夠看到，「真實」，「孩子」，「嚴良」，「普普」，「演技」等詞語出現的頻率很高。「真實」，「演技」，「厲害」等詞語是你們對這部劇的確定；「孩子」指的是這三個主演的小孩；「普普」的演技真的很不錯，你們都猜想她會不會成爲下一個張子楓。