NetCloud——一個網易雲音樂評論抓取和分析的Python庫

  在17的四月份，我曾經寫了一篇關於網易雲音樂爬蟲的文章，還寫了一篇關於評論數據可視化的文章。在這大半年的時間裏，有時會有一些朋友給我發私信詢問一些關於代碼方面的問題。因此我最近抽空乾脆將原來的代碼整理了一下，作成了一個Python模塊NetCloud放在Pypi上了。目前只是對原來的代碼作了一些整理與重構，功能還很不完善，後續打算抽空繼續完善，若是有人用的話可能會長期維護下去。

  目前只須要使用命令pip install NetCloud 便可以完成模塊的安裝，支持Windows與Linux系統，之前代碼是基於python2的，如今支持Python3(我簡單測試了一下python3.6應該也沒問題了),python2下運行應該也基本沒問題,可是考慮到編碼問題，以及Python社區即將在2020年再也不支持2.x的版本，因此強烈建議使用Python3.x運行模塊。代碼github的地址是Netcloud

  關於實現功能以及一些主要接口的說明:

1.主要實現了:

- 對於一首歌曲所有評論的抓取,保存爲csv文件格式

- 對於一個歌手所有熱門評論的抓取，存爲csv文件

- 對於一首歌曲下所有評論用戶基本信息的抓取，包括:用戶主頁url,用戶年齡,聽歌次數,動態次數,用戶所在地區,用戶動態總數等，這些信息也存爲csv文件格式

- 利用所有評論以及熱門評論分詞生成詞雲，統計關鍵詞的頻率

- 利用一首歌曲所有評論用戶的信息，基於pyecharts可視化，包括：用戶所在地區分佈使用geo表示(地圖),用戶年齡的分佈，用戶聽歌數目的分佈，用戶動態的數目分佈，歌曲評論數量關於時間的分佈等等。之前是基於matplotlib來作的，可是隻能生成靜態的圖片，而pyecharts能夠產生基於網頁的交互式的顯示效果，我感受效果可能會更好一點。

- 之前抓取是單線程的，效率較低，如今支持多線程了，能夠極大地提升抓取效率

2.還須要去完善的(Todolist)

- 如何很好的應對反爬。我實驗發現，在開啓多線程的狀況下，抓取一段時間服務器可能會限制抓取(封ip),目前應對的措施主要是開啓代理ip，不過如何找到較高質量的代理ip地址，就只能本身去想辦法了

-目前還不支持模擬登陸網易雲音樂，查看我的信息，聽歌記錄等，不過Python裏應該已經有其餘模塊作到了這一點，並且這個應該也不是特別難，後面有空會加上。

-目前還不支持對於歌單的批量抓取，以及獲取用戶聽歌的詳細記錄，後續考慮增長。若是有這部分數據，能夠深挖更多東西，好比預測用戶聽歌風格，對用戶按聽歌洗喜愛分類，以及作推薦等等。

-目前的分析僅限於簡單的分析統計等等，後續考慮加入更深刻的NLP分析。

3.安裝以及主要的函數接口

- 安裝很簡單，只須要 pip install NetCloud，由於模塊以來於一些第三方庫，因此在安裝這些第三方庫的時候可能會出現問題，能夠參考4的說明

- 快速使用，一個簡單的例子以下：

from NetCloud.NetCloudCrawler import NetCloudCrawl
from NetCloud.NetCloudAnalyse import NetCloudAnalyse

if __name__ == '__main__':
    song_name = "敢愛"
    song_id = 186888
    singer_name = "張國榮"
    singer_id = 6457
    crawler = NetCloudCrawl(song_name,song_id,singer_name,singer_id)
    crawler.generate_all_necessary_files(threads=10)
    analyse = NetCloudAnalyse(song_name,singer_name,song_id,singer_id)
    analyse.generate_all_analyse_files(threads=20)

3.1 上面的10行左右的代碼就完成了對於張國榮的《敢愛》這首歌的所有評論的抓取，張國榮歌曲熱門評論的抓取，以及歌曲用戶基本信息的抓取，並生成了相應的詞雲圖片，以及一些基本的可視化分析。產生的文件結構以下圖所示：

首先生成文件所有都會在songs這個文件夾下，而後對於每一首歌曲會產生以歌手名字命名的文件夾，而後是歌曲名字的文件夾，最後是相應的抓取文件，好比敢愛.csv就是《敢愛》的所有評論文件，敢愛.jpg就是歌曲評論的詞雲圖片,hot_comments.csv是歌手的熱門評論文件，最後全部的可視化結果都存放在plots文件夾下，可視化文件爲html文件須要在瀏覽器打開查看可視化結果。

3.2 模塊主要是兩個類，一個是NetCloudCrawl，用於數據抓取；另外一個是 NetCloudAnalyse用於數據的分析。NetCloudCrawl 的 generate_all_necessary_files函數會生成必要的所有評論文件，熱門評論文件，支持多線程，默認是開啓10個線程抓取。NetCloudAnalyse的 generate_all_analyse_files 顧名思義會產生所有的可視化文件，首先它會抓取用戶的所有信息存入文件，而後產生一系列的可視化分析文件(html格式)，最後會產生評論的詞雲文件。基本上調用這兩個函數就能夠輕鬆使用NetCloud的主要功能了。

3.3 若是你想自定義抓取，或者不想使用提供的可視化函數接口，也可使用模塊的其餘基本函數完成抓取和分析，模塊的主要函數接口調用格式說明以下：

NetCloudCrawl類

- AES_encrypt(text,key,iv) 這個函數用於網易雲API的解密，基本用不到，不用管

- get_params(page) 得到必要的解密參數

- get_all_comments() 獲取所有評論

- get_hot_comments() 獲取熱門評論

- get_json(url,params, encSecKey) 獲取網易API json文件

- threading_save_all_comments_to_file(threads = 10) 使用多線程將所有評論文件存入文件，默認是10個線程

- save_pages_comments(begin_page,end_page) 將 begin_page到end_page頁的評論存入文件，主要是供 threading_save_all_comments_to_file 函數調用

- save_to_file(comments_list,filename) 將評論信息列表 comments_list 存入filename 文件

- save_all_comments_to_file() 單線程按順序保存所有評論文件

- get_singer_hot_songs_ids(singer_url) 獲得歌手所有熱門歌曲id列表,singer_url爲歌手信息頁url

- save_singer_all_hot_comments_to_file() 將歌手的所有熱門評論存入文件

- generate_all_necessary_files(threads = 10) 生成所有必要的文件，包括歌手的所有熱門評論文件，以及歌曲的所有評論文件

- _test 開頭的均爲測試函數，請不要調用

NetCloudAnalyse類

- load_comments_csv() 加載所有評論文件爲dataframe格式(pandas)

- save_users_info_to_file() 保存歌曲評論下所有用戶(已去重)的信息到文件(單線程)

- threading_save_users_info_to_file(threads = 10) 採用多線程保存用戶信息到文件,默認是10個線程

- save_users_info(users_url,total) 供 threading_save_users_info_to_file調用的中間函數，不用管

- count_comments_lines() 統計所有評論文件的行數

- from_timestamp_to_date(time_stamp,format = "%Y-%m-%d %H:%M:%S") 將時間戳轉日期的函數,默認格式是: 年-月-日 時:分:秒

- load_users_url() 返回所有評論用戶主頁url列表，用於後續用戶信息抓取

- load_users_info_csv() 從用戶信息csv文件加載用戶信息dataframe

- draw_wordcloud(full_comments = True) 繪製評論關鍵詞的詞雲,full_comments = True 表示繪製 所有評論，False 表示繪製熱門評論

- core_visual_analyse() 核心的對於評論用戶信息的可視化分析，產生的html文件有12個，說明以下：

1. age_count_bar.html 年齡分佈(bar 爲 柱狀圖表示，下同)

2. agree_count_bar.html 贊同數分佈

3. comments_keywords_bar.html 評論關鍵字分佈(已去除停用詞)

4. comments_year_month_bar.html 評論數量按年月的分佈

5. comments_year_month_day_bar.html 評論數量按年月日的分佈

6. description_keywords_bar.html 用戶簡介關鍵詞分佈

7. events_count_bar.html 用戶動態數目分佈

8. fans_count_bar.html 用戶粉絲數量分佈

9. follow_count_bar.html 用戶關注者數量分佈

10. listening_songs_count_bar.html 用戶聽歌數量分佈

11. users_city_geo.html 用戶所在地區分佈，使用地圖可視化表示

12. users_location_bar.html 用戶所在地區分佈，使用柱狀圖表示

一些可視化實際的效果圖以下：

- load_stopwords() 加載停用詞列表

- load_all_cities() 加載中國所有城市名稱列表

- generate_all_analyse_files(threads = 10) 生成所有的分析文件，包括評論關鍵字詞雲以及評論用戶信息的可視化，默認線程數爲10

- _test 開頭的爲測試文件，請不要調用

--------------------------------------------更新(2018/03/17,新增NetCloudLogin類)------------------------------------------------

- 初始化,NetCloudLogin(phone,password,email = None,rememberLogin = True) 初始化必要的參數有兩個,phone表示傳入登陸的電話號碼,password表示密碼,也可使用email登陸,可是不保證必定能夠登陸成功,建議使用

電話號碼登陸,rememberLogin = True表示記住登陸狀態

- login()函數,用於登陸,返回一個Response object,這個Response 對象主要有:

1. content 屬性,返回響應內容

2. heders屬性,返回響應的headers

3. status_code屬性,返回響應的狀態碼,好比200表示ok,404表明表示沒法找到文件,400表示無效請求等等

4.ok屬性,是一個布爾值,表示返回狀態是否正常

5.error屬性,返回的錯誤信息,若是沒有異常,值爲None

6.json()方法,解析返回的內容爲json格式

- get_user_play_list(uid,offset=0,limit=1000):獲取用戶的播放歌單,uid 爲用戶id,offset表示開始位置,limit表示限制條數(下面的offset和limit參數含義相同,再也不贅述),返回Response對象,可使用json()方法解析

- get_self_play_list(offset=0,limit=1000):獲取本身的播放歌單,返回Response對象

- get_user_dj(uid, offset=0, limit=30):獲取用戶的dj信息,返回Response對象

- get_self_dj(offset=0, limit=30): 獲取本身的dj,返回Response對象

- search(keyword,type_=1, offset=0, limit=30):搜索歌手，歌曲,用戶或者歌單,keyword表示搜索的關鍵字,type_表示搜索的類型,1:表示歌曲,100:表示歌手,1000表示歌單,1002表示用戶,返回Response對象

- get_user_follows(uid, offset=0, limit=30):獲取用戶關注列表,返回Response對象

- get_self_follows(offset=0, limit=30):獲取自身關注列表,返回Response對象

- get_user_fans(uid, offset=0, limit=30):獲取用戶粉絲列表,返回Response對象

- get_self_fans(offset=0, limit=30):獲取自身粉絲列表,返回Response對象

- get_user_event(uid):獲取用戶動態,uid爲用戶id,返回Response對象

- get_self_event(): 獲取自身動態

- get_user_record(uid, type_=0):獲取用戶播放記錄,uid爲用戶id,type_取值能夠爲0或者１,0表示所有記錄,1表示最近一週的記錄(這個須要首先登陸)

- get_self_record(type_ = 0):獲取自身的播放記錄

- get_friends_event():獲取關注的人的動態,返回Response對象

- get_top_playlist_highquality(cat='所有', offset=0, limit=20):獲取高質量的歌單,cat表示類別,能夠傳入'所有','歐美','華語'等,返回Response對象

- get_play_list_detail(id, limit=20):獲取歌單的詳細信息,id表示歌單id,返回Response對象

- get_music_download_url(ids=[]):經過id獲取音樂的下載連接,傳入的爲歌曲的id列表,返回對應歌曲的下載連接Response對象

- get_lyric(id):經過歌曲id獲取歌曲歌詞,返回Response對象

- get_music_comments(id, offset=0, limit=20):經過歌曲id獲取歌曲評論信息,返回Response對象

- get_album_comments(id, offset=0, limit=20):經過專輯id獲取專輯評論信息,返回Response對象

- get_songs_detail(ids):經過歌曲id列表獲取歌曲詳細信息,ids表示歌曲id列表,返回Response對象

- get_self_fm():得到自身的私人fm信息,返回Response對象

pretty_ 開頭的系列函數能夠以友好的形式向屏幕打印出你須要的信息

- pretty_print_self_info(): 打印自身信息

- pretty_print_user_play_list(uid,offset = 0,limit = 1000):打印用戶的歌單信息

- pretty_print_self_play_list(offset = 0,limit = 1000): 打印自身的歌單信息

- pretty_print_search_song(search_song_name,offset = 0,limit = 30):打印搜索歌曲的返回結果,search_song_name爲搜索的歌曲關鍵字

- pretty_print_search_singer(search_singer_name,offset = 0,limit = 30):打印搜索歌手的返回結果,search_singer_name爲搜索的歌手關鍵字

- pretty_print_search_play_list(keyword,offset = 0,limit = 30):打印搜索歌單的返回結果,keyword爲搜索的歌單關鍵字

- pretty_print_search_user(keyword,offset = 0,limit = 30):打印搜索用戶的返回結果,keyword爲搜索的用戶關鍵字

- pretty_print_user_follows(uid,offset = 0,limit = 30):打印用戶關注列表

- pretty_print_user_fans(uid,offset = 0,limit = 30):打印用戶粉絲列表

- pretty_print_self_fans(offset = 0,limit = 30):打印自身粉絲列表

- get_download_urls_by_ids(ids_list):經過傳入歌曲id列表獲得歌曲下載連接列表,ids_list爲歌曲id列表,返回歌曲下載連接列表

- get_songs_name_list_by_ids_list(ids_list):經過歌曲id列表獲得歌曲名字列表

- download_play_list_songs(play_list_id,save_root_dir = "."):下載歌單中的歌曲到本地,play_list_id爲傳入歌單id,save_root_dir爲歌曲保存的根目錄,默認爲當前目錄

- get_singer_id_by_name(singer_name):經過歌手名字獲得歌手id,singer_name爲歌手名字

- get_song_id_by_name(song_name):經過歌曲名字獲得歌曲id,song_name爲歌曲名字

- get_lyrics_list_by_id(song_id):經過歌曲id獲得歌詞列表

- get_lyrics_list_by_name(song_name):經過歌曲名字獲得歌詞列表

- download_singer_hot_songs_by_name(singer_name,save_root_dir = "."):經過傳入歌手名字，下載歌手的熱門歌曲到本地,singer_name爲歌手名字,save_root_dir爲歌曲保存的根目錄,默認爲當前目錄

_test 開頭的爲測試函數，請不要調用。

一個簡單的使用例子以下:

from NetCloud.NetCloudLogin import NetCloudLogin
phone = 'xxxxxxxxxxx'
password = 'xxx'
email = None
rememberLogin = True
login = NetCloudLogin(phone = phone,password = password,email = email,rememberLogin = rememberLogin)
login.pretty_print_self_info()
獲得結果爲:
Hello,Lyrichu!
Here is your personal info:
avatarUrl:http://p1.music.126.net/OkEDo-a_rHCC1zEDbg7dYg==/8003345140341032.jpg
signature:熱愛生活，熱愛音樂！
nickname:Lyrichu
userName:0_mxxxxxxxxxxx@163.com
province_id:420000
birthday:1995-02-12
description:
gender:male
userId:xxxxxxxx
cellphone:xxxxxxxxxxx
email:xxxxxxxxxxx@163.com

4. 一些可能會出現的問題

4.1 在pip install NetCloud 的過程當中，若是是在Windows下，wordcloud 以及 pycrypto 模塊也許會安裝失敗，此時能夠去python非官方第三方庫下載下載對應pyhton版本的預編譯wheel文件，而後手動pip安裝便可。另外,numpy 須要 numpy+mkl形式的庫，也能夠在這個網站下載。

4.2 因爲我沒有測試徹底，並且代碼水平有限，所以代碼確定存在一些意想不到的bug，若是您對這個模塊感興趣，在使用的過程當中出現任何問題或者有任何建議，歡迎給我留言，固然最好的方式是去github提issue,地址是NetCloud，同時歡迎star 和fork，謝謝支持。