Python 獲取 網易雲音樂熱門評論

     最近在研究文本挖掘相關的內容，所謂巧婦難爲無米之炊，要想進行文本分析，首先獲得有文本吧。獲取文本的方式有不少，好比從網上下載現成的文本文檔，或者經過第三方提供的API進行獲取數據。可是有的時候咱們想要的數據並不能直接獲取，由於並不提供直接的下載渠道或者API供咱們獲取數據。那麼這個時候該怎麼辦呢？有一種比較好的辦法是經過網絡爬蟲，即編寫計算機程序假裝成用戶去得到想要的數據。利用計算機的高效，咱們能夠輕鬆快速地獲取數據。

     那麼該如何寫一個爬蟲呢？有不少種語言均可以寫爬蟲，好比Java，php,python 等，我我的比較喜歡使用python。由於python不只有着內置的功能強大的網絡庫，還有諸多優秀的第三方庫，別人直接造好了輪子，咱們直接拿過來用就能夠了，這爲寫爬蟲帶來了極大的方便。不誇張地說，使用不到10行python代碼其實就能夠寫一個小小的爬蟲，而使用其餘的語言能夠要多寫不少代碼，簡潔易懂正是python的巨大的優點。

    好了廢話很少說，進入今天的正題。最近幾年網易雲音樂火了起來，我本身就是網易雲音樂的用戶，用了幾年了。之前用的是QQ音樂和酷狗，經過我本身的親身經從來看，我以爲網易雲音樂最優特點的就是其精準的歌曲推薦和獨具特點的用戶評論（鄭重聲明！！！這不是軟文，非廣告！！！僅表明我的觀點，非喜勿噴！）。常常一首歌曲下面會有一些被點贊衆多的神評論。加上前些日子網易雲音樂將精選用戶評論搬上了地鐵，網易雲音樂的評論又火了一把。因此我想對網易雲的評論進行分析，發現其中的規律，特別是分析一些熱評具備什麼共同的特色。帶着這個目的，我開始了對網易雲評論的抓取工做。

     python內置了兩個網絡庫urllib和urllib2，可是這兩個庫使用起來不是特別方便，因此在這裏咱們使用一個廣受好評的第三方庫requests。使用requests只用不多的幾行代碼就能夠實現設置代理，模擬登錄等比較複雜的爬蟲工做。若是已經安裝pip的話，直接使用pip install requests 便可安裝。中文文檔地址在此http://docs.python-requests.org/zh_CN/latest/user/quickstart.html，你們有什麼問題能夠自行參考官方文檔，上面會有很是詳細的介紹。至於urllib和urllib2這兩個庫也是比較有用的，之後若是有機會我會再給你們介紹一下。

     在正式開始介紹爬蟲以前，首先來講一下爬蟲的基本工做原理，咱們知道咱們打開瀏覽器訪問某個網址本質上是向服務器發送了必定的請求，服務器在收到咱們的請求以後，會根據咱們的請求返回數據，而後經過瀏覽器將這些數據解析好，呈如今咱們的面前。若是咱們使用代碼的話，就要跳過瀏覽器的這個步驟，直接向服務器發送必定的數據，而後再取回服務器返回的數據，提取出咱們想要的信息。可是問題是，有的時候服務器須要對咱們發送的請求進行校驗，若是它認爲咱們的請求是非法的，就會不返回數據，或者返回錯誤的數據。因此爲了不發生這種狀況，咱們有的時候須要把程序假裝成一個正常的用戶，以便順利獲得服務器的迴應。如何假裝呢？這就要看用戶經過瀏覽器訪問一個網頁與咱們經過程序訪問一個網頁之間的區別。一般來講，咱們經過瀏覽器訪問一個網頁，除了發送訪問的url以外，還會給服務發送額外的信息，好比headers（頭部信息）等，這就至關因而請求的身份證實，服務器看到了這些數據，就會知道咱們是經過正常的瀏覽器訪問的，就會乖乖地返回數據給咱們了。因此咱們程序就得像瀏覽器同樣，在發送請求的時候，帶上這些標誌着咱們身份的信息，這樣就能順利拿到數據。有的時候，咱們必須在登陸狀態下才能獲得一些數據，因此咱們必需要模擬登陸。本質上來講，經過瀏覽器登陸就是post一些表單信息給服務器（包括用戶名，密碼等信息），服務器校驗以後咱們就能夠順利登陸了，利用程序也是同樣，瀏覽器post什麼數據，咱們原樣發送就能夠了。關於模擬登陸，我後面會專門介紹一下。固然事情有的時候也不會這麼順利，由於有些網站設置了反爬措施，好比若是訪問過快，有時候會被封ip（典型的好比豆瓣）。這個時候咱們還得要設置代理服務器，即變動咱們的ip地址，若是一個ip被封了，就換另一個ip，具體怎麼作，這些話題之後慢慢再說。

     最後，再介紹一個我認爲在寫爬蟲過程當中很是有用的一個小技巧。若是你在使用火狐瀏覽器或者chrome的話，也許你會注意到有一個叫做開發者工具（chrome）或者web控制檯（firefox）的地方。這個工具很是有用，由於利用它，咱們能夠清楚地看到在訪問一個網站的過程當中，瀏覽器到底發送了什麼信息，服務器究竟返回了什麼信息，這些信息是咱們寫爬蟲的關鍵所在。下面你就會看到它的巨大用處。

      --------------------------------------------------------------正式開始的分割線------------------------------------------------------------------------

    首先打開網易雲音樂的網頁版，隨便選擇一首歌曲打開它的網頁，這裏我以周杰倫的《晴天》爲例。以下圖1

圖1

         接下來打開web控制檯(chrom的話打開開發者工具，若是是其餘瀏覽器應該也是相似)，以下圖2

圖2

而後這個時候咱們須要點選網絡，清除全部的信息，而後點擊從新發送(至關因而刷新瀏覽器),這樣咱們就能夠直觀看到瀏覽器發送了什麼信息以及服務器迴應了什麼信息。以下圖3

圖3

刷新以後獲得的數據以下圖4所示：

圖4

能夠看到瀏覽器發送了很是多的信息，那麼哪個纔是咱們想要的呢？這裏咱們能夠經過狀態碼作一個初步的判斷，status code（狀態碼）標誌了服務器請求的狀態，這裏狀態碼爲200即表示請求正常，而304則表示不正常（狀態碼種類很是多，若是要想詳細瞭解能夠自行搜索，這裏不說304具體的含義了）。因此咱們通常只用看狀態碼爲200的請求就能夠了，還有就是，咱們能夠經過右邊欄的預覽來粗略觀察服務器返回了什麼信息（或者查看響應）。以下圖5所示：

圖5

經過這兩種方法結合通常咱們就能夠快速找到咱們想要分析的請求。注意圖5中的請求網址一欄便是咱們想要請求的網址，請求的方法有兩種：get和post，還有一個須要重點關注的就是請求頭，裏面包含了user-Agent（客戶端信息），refrence（從何處跳轉過來）等多種信息，通常不管是get仍是post方法咱們都會把頭部信息帶上。頭部信息以下圖6所示：

圖6

另外還須要注意的是：get請求通常就直接把請求的參數以？parameter1=value1&parameter2=value2 等這樣的形式發送了，因此不須要帶上額外的請求參數，而post請求則通常須要帶上額外的參數，而不直接把參數放在url當中，因此有的時候咱們還須要關注參數這一欄。通過仔細尋找，咱們終於找到原來與評論相關的請求在http://music.163.com/weapi/v1/resource/comments/R_SO_4_186016?csrf_token=  這個請求當中，以下圖7所示：

圖7

點開這個請求，咱們發現它是一個post請求，請求的參數有兩個，一個是params，還有一個是encSecKey，這兩個參數的值很是的長，感受應該像是加密過的。以下圖8所示：

圖8

服務器返回的和評論相關的數據爲json格式的，裏面含有很是豐富的信息（好比有關評論者的信息，評論日期，點贊數，評論內容等等），以下圖9所示：（其實hotComments爲熱門評論，comments爲評論數組）

圖9

      至此，咱們已經肯定了方向了，即只須要肯定params和encSecKey這兩個參數值便可，這個問題困擾了我一下午，我弄了好久也沒有搞清楚這兩個參數的加密方式，可是我發現了一個規律，http://music.163.com/weapi/v1/resource/comments/R_SO_4_186016?csrf_token= 中 R_SO_4_後面的數字就是這首歌的id值，而對於不一樣的歌曲的param和encSecKey值，若是把一首歌好比A的這兩個參數值傳給B這首歌，那麼對於相同的頁數，這種參數是通用的，即A的第一頁的兩個參數值傳給其餘任何一首歌的兩個參數，均可以得到相應歌曲的第一頁的評論，對於第二頁，第三頁等也是相似。可是遺憾的是，不一樣的頁數參數是不一樣的，這種辦法只能抓取有限的幾頁（固然抓取評論總數和熱門評論已經足夠了），若是要想抓取所有數據，就必須搞明白這兩個參數值的加密方式。覺得沒有搞明白，昨天晚上我帶着這個問題去知乎搜索了一下，竟然真的被我找到了答案。在這個問題https://www.zhihu.com/question/36081767 下，@平胸小仙女 這位知友詳細說明了如何破解這兩個參數的加密過程，我研究了一下，發現仍是有點小複雜的，按照他寫的方法，我改動了一下，就成功獲得了所有的評論。這裏要對@平胸小仙女（我的主頁 https://www.zhihu.com/people/luocaodan/answers）表示感謝。若是你們對於破解參數加密有興趣的話，能夠去直接參考原帖，地址是：https://www.zhihu.com/question/36081767。

       到此爲止，如何抓取網易雲音樂的評論所有數據就所有講完了。按照慣例，最後上代碼，親測有效：

  1 #!/usr/bin/env python2.7
  2 # -*- coding: utf-8 -*-
  3 # @Time   : 2017/3/28 8:46
  4 # @Author : Lyrichu
  5 # @Email  : 919987476@qq.com
  6 # @File   : NetCloud_spider3.py
  7 '''
  8 @Description:
  9 網易雲音樂評論爬蟲，能夠完整爬取整個評論
 10 部分參考了@平胸小仙女的文章(地址:https://www.zhihu.com/question/36081767)
 11 post加密部分也給出了，能夠參考原帖：
 12 做者：平胸小仙女
 13 連接：https://www.zhihu.com/question/36081767/answer/140287795
 14 來源：知乎
 15 '''
 16 from Crypto.Cipher import AES
 17 import base64
 18 import requests
 19 import json
 20 import codecs
 21 import time
 22 
 23 # 頭部信息
 24 headers = {
 25     'Host':"music.163.com",
 26     'Accept-Language':"zh-CN,zh;q=0.8,en-US;q=0.5,en;q=0.3",
 27     'Accept-Encoding':"gzip, deflate",
 28     'Content-Type':"application/x-www-form-urlencoded",
 29     'Cookie':"_ntes_nnid=754361b04b121e078dee797cdb30e0fd,1486026808627; _ntes_nuid=754361b04b121e078dee797cdb30e0fd; JSESSIONID-WYYY=yfqt9ofhY%5CIYNkXW71TqY5OtSZyjE%2FoswGgtl4dMv3Oa7%5CQ50T%2FVaee%2FMSsCifHE0TGtRMYhSPpr20i%5CRO%2BO%2B9pbbJnrUvGzkibhNqw3Tlgn%5Coil%2FrW7zFZZWSA3K9gD77MPSVH6fnv5hIT8ms70MNB3CxK5r3ecj3tFMlWFbFOZmGw%5C%3A1490677541180; _iuqxldmzr_=32; vjuids=c8ca7976.15a029d006a.0.51373751e63af8; vjlast=1486102528.1490172479.21; __gads=ID=a9eed5e3cae4d252:T=1486102537:S=ALNI_Mb5XX2vlkjsiU5cIy91-ToUDoFxIw; vinfo_n_f_l_n3=411a2def7f75a62e.1.1.1486349441669.1486349607905.1490173828142; P_INFO=m15527594439@163.com|1489375076|1|study|00&99|null&null&null#hub&420100#10#0#0|155439&1|study_client|15527594439@163.com; NTES_CMT_USER_INFO=84794134%7Cm155****4439%7Chttps%3A%2F%2Fsimg.ws.126.net%2Fe%2Fimg5.cache.netease.com%2Ftie%2Fimages%2Fyun%2Fphoto_default_62.png.39x39.100.jpg%7Cfalse%7CbTE1NTI3NTk0NDM5QDE2My5jb20%3D; usertrack=c+5+hljHgU0T1FDmA66MAg==; Province=027; City=027; _ga=GA1.2.1549851014.1489469781; __utma=94650624.1549851014.1489469781.1490664577.1490672820.8; __utmc=94650624; __utmz=94650624.1490661822.6.2.utmcsr=baidu|utmccn=(organic)|utmcmd=organic; playerid=81568911; __utmb=94650624.23.10.1490672820",
 30     'Connection':"keep-alive",
 31     'Referer':'http://music.163.com/'
 32 }
 33 # 設置代理服務器
 34 proxies= {
 35             'http:':'http://121.232.146.184',
 36             'https:':'https://144.255.48.197'
 37         }
 38 
 39 # offset的取值爲:(評論頁數-1)*20,total第一頁爲true，其他頁爲false
 40 # first_param = '{rid:"", offset:"0", total:"true", limit:"20", csrf_token:""}' # 第一個參數
 41 second_param = "010001" # 第二個參數
 42 # 第三個參數
 43 third_param = "00e0b509f6259df8642dbc35662901477df22677ec152b5ff68ace615bb7b725152b3ab17a876aea8a5aa76d2e417629ec4ee341f56135fccf695280104e0312ecbda92557c93870114af6c9d05c4f7f0c3685b7a46bee255932575cce10b424d813cfe4875d3e82047b97ddef52741d546b8e289dc6935b3ece0462db0a22b8e7"
 44 # 第四個參數
 45 forth_param = "0CoJUm6Qyw8W8jud"
 46 
 47 # 獲取參數
 48 def get_params(page): # page爲傳入頁數
 49     iv = "0102030405060708"
 50     first_key = forth_param
 51     second_key = 16 * 'F'
 52     if(page == 1): # 若是爲第一頁
 53         first_param = '{rid:"", offset:"0", total:"true", limit:"20", csrf_token:""}'
 54         h_encText = AES_encrypt(first_param, first_key, iv)
 55     else:
 56         offset = str((page-1)*20)
 57         first_param = '{rid:"", offset:"%s", total:"%s", limit:"20", csrf_token:""}' %(offset,'false')
 58         h_encText = AES_encrypt(first_param, first_key, iv)
 59     h_encText = AES_encrypt(h_encText, second_key, iv)
 60     return h_encText
 61 
 62 # 獲取 encSecKey
 63 def get_encSecKey():
 64     encSecKey = "257348aecb5e556c066de214e531faadd1c55d814f9be95fd06d6bff9f4c7a41f831f6394d5a3fd2e3881736d94a02ca919d952872e7d0a50ebfa1769a7a62d512f5f1ca21aec60bc3819a9c3ffca5eca9a0dba6d6f7249b06f5965ecfff3695b54e1c28f3f624750ed39e7de08fc8493242e26dbc4484a01c76f739e135637c"
 65     return encSecKey
 66 
 67 
 68 # 解密過程
 69 def AES_encrypt(text, key, iv):
 70     pad = 16 - len(text) % 16
 71     text = text + pad * chr(pad)
 72     encryptor = AES.new(key, AES.MODE_CBC, iv)
 73     encrypt_text = encryptor.encrypt(text)
 74     encrypt_text = base64.b64encode(encrypt_text)
 75     return encrypt_text
 76 
 77 # 得到評論json數據
 78 def get_json(url, params, encSecKey):
 79     data = {
 80          "params": params,
 81          "encSecKey": encSecKey
 82     }
 83     response = requests.post(url, headers=headers, data=data,proxies = proxies)
 84     return response.content
 85 
 86 # 抓取熱門評論，返回熱評列表
 87 def get_hot_comments(url):
 88     hot_comments_list = []
 89     hot_comments_list.append(u"用戶ID 用戶暱稱 用戶頭像地址 評論時間 點贊總數 評論內容\n")
 90     params = get_params(1) # 第一頁
 91     encSecKey = get_encSecKey()
 92     json_text = get_json(url,params,encSecKey)
 93     json_dict = json.loads(json_text)
 94     hot_comments = json_dict['hotComments'] # 熱門評論
 95     print("共有%d條熱門評論!" % len(hot_comments))
 96     for item in hot_comments:
 97             comment = item['content'] # 評論內容
 98             likedCount = item['likedCount'] # 點贊總數
 99             comment_time = item['time'] # 評論時間(時間戳)
100             userID = item['user']['userID'] # 評論者id
101             nickname = item['user']['nickname'] # 暱稱
102             avatarUrl = item['user']['avatarUrl'] # 頭像地址
103             comment_info = userID + " " + nickname + " " + avatarUrl + " " + comment_time + " " + likedCount + " " + comment + u"\n"
104             hot_comments_list.append(comment_info)
105     return hot_comments_list
106 
107 # 抓取某一首歌的所有評論
108 def get_all_comments(url):
109     all_comments_list = [] # 存放全部評論
110     all_comments_list.append(u"用戶ID 用戶暱稱 用戶頭像地址 評論時間 點贊總數 評論內容\n") # 頭部信息
111     params = get_params(1)
112     encSecKey = get_encSecKey()
113     json_text = get_json(url,params,encSecKey)
114     json_dict = json.loads(json_text)
115     comments_num = int(json_dict['total'])
116     if(comments_num % 20 == 0):
117         page = comments_num / 20
118     else:
119         page = int(comments_num / 20) + 1
120     print("共有%d頁評論!" % page)
121     for i in range(page):  # 逐頁抓取
122         params = get_params(i+1)
123         encSecKey = get_encSecKey()
124         json_text = get_json(url,params,encSecKey)
125         json_dict = json.loads(json_text)
126         if i == 0:
127             print("共有%d條評論!" % comments_num) # 所有評論總數
128         for item in json_dict['comments']:
129             comment = item['content'] # 評論內容
130             likedCount = item['likedCount'] # 點贊總數
131             comment_time = item['time'] # 評論時間(時間戳)
132             userID = item['user']['userId'] # 評論者id
133             nickname = item['user']['nickname'] # 暱稱
134             avatarUrl = item['user']['avatarUrl'] # 頭像地址
135             comment_info = unicode(userID) + u" " + nickname + u" " + avatarUrl + u" " + unicode(comment_time) + u" " + unicode(likedCount) + u" " + comment + u"\n"
136             all_comments_list.append(comment_info)
137         print("第%d頁抓取完畢!" % (i+1))
138     return all_comments_list
139 
140 
141 # 將評論寫入文本文件
142 def save_to_file(list,filename):
143         with codecs.open(filename,'a',encoding='utf-8') as f:
144             f.writelines(list)
145         print("寫入文件成功!")
146 
147 if __name__ == "__main__":
148     start_time = time.time() # 開始時間
149     url = "http://music.163.com/weapi/v1/resource/comments/R_SO_4_186016/?csrf_token="
150     filename = u"晴天.txt"
151     all_comments_list = get_all_comments(url)
152     save_to_file(all_comments_list,filename)
153     end_time = time.time() #結束時間
154     print("程序耗時%f秒." % (end_time - start_time))

我利用上述代碼跑了一下，抓了兩首周杰倫的熱門歌曲《晴天》（有130多萬評論）和《告白氣球》（有20多萬評論），前者跑了大概有20多分鐘，後者有6600多秒（也就是將近2個小時），截圖以下：

注意我是按照空格來分隔的，每一行分別有用戶ID 用戶暱稱 用戶頭像地址 評論時間 點贊總數 評論內容 這些內容。我將這兩個txt文件上傳到百度雲了，對數據感興趣的同窗能夠直接下載進行文本分析，地址爲：《晴天》（http://pan.baidu.com/s/1boBglfp），《告白氣球》（http://pan.baidu.com/s/1o8O7k1s），或者本身跑一下代碼抓取一下也是能夠的（注意不要開太多線程給網易雲的服務器太大壓力哦~~中間有一段時間服務器返回數據特別慢，不知道是否是限制訪問了，後來又好了）。我後面也許會本身去對評論數據進行可視化分析，敬請期待！