QQ音樂評論爬取

有態度地學習

去年夏天，好像於我而言，重要的事就是畢業來臨，今後踏上了搬磚之路，從學校到職場，之間身份的轉變，讓我又多了一份責任。固然還有一段感情經歷，如今回頭去看，只能說且行且珍惜，或許之後未必能再碰見！

本次爬取的是QQ音樂的評論信息，做爲一名基本不看評論的人，真的羞愧難當。不過音樂嘛，聽聽就不錯啦，哪有閒情雅緻去看，又或是去評，畢竟文化水平有限，想一想就腦瓜疼。

經過此次爬取，學習了數據庫MySQL，由於以前都是在windows上操做，而這回須要在Mac上操做，因此就在Mac上安裝了MySQL以及MySQL的管理工具Sequel Pro，最後也是安裝成功，數據庫鏈接也沒有問題。

接下來建立數據庫，表格及主鍵信息。

import pymysql
# 建立數據庫
db = pymysql.connect(host='127.0.0.1', user='root', password='774110919', port=3306)
cursor = db.cursor()
cursor.execute("CREATE DATABASE QQ_Music DEFAULT CHARACTER SET utf8mb4")
db.close()

import pymysql
# 建立表格, 設置主鍵
db = pymysql.connect(host='127.0.0.1', user='root', password='774110919', port=3306, db='QQ_Music')
cursor = db.cursor()
sql = 'CREATE TABLE IF NOT EXISTS comments (nike VARCHAR(255) NOT NULL, comment VARCHAR(255) NOT NULL, praisenum INT NOT NULL, comment_id VARCHAR(255) NOT NULL, time VARCHAR(255) NOT NULL, PRIMARY KEY (comment))'
cursor.execute(sql)
db.close()

針對QQ音樂中去年夏天的網頁進行分析，查看了全部評論的尾頁，發現時間縮水了，由於熱評中有一條評論的時間7月12號，而全部評論最後一頁的時間倒是7月16號。很明顯，全部評論並非貨真價實的全部評論，不知這算不算QQ音樂的BUG。

還有一個就是直接點擊最後一頁的時候，並不能直接返回真正的信息，須要從最後一頁往前翻，到了真正的信息頁時，而後再日後翻，才能獲得最後一頁的真正信息。

一樣是Ajax請求，確認網址後，分析一下請求頭，發現主要是三個參數發生變化：jsoncallback
pagenum
lasthotcommentid

pagenum不難理解，就是頁數。jsoncallback通過實驗後，發現並不會影響請求，因此設置時無需改動，lasthotcommentid的值對應的是上一頁最後一個評論者的ID，因此須要隨時改動。

即改變pagenum，lasthotcommentid的值，就可成功實現請求。

爬取代碼以下：

import re
import json
import time
import pymysql
import requests

URL = 'https://c.y.qq.com/base/fcgi-bin/fcg_global_comment_h5.fcg?'

HEADERS = {
    'user-agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36'
}

PARAMS = {
    'g_tk': '5381',
    'jsonpCallback': 'jsoncallback4823183319594757',
    'loginUin': '0',
    'hostUin': '0',
    'format': 'jsonp',
    'inCharset': 'utf8',
    'outCharset': 'GB2312',
    'notice': '0',
    'platform': 'yqq',
    'needNewCode': '0',
    'cid': '205360772',
    'reqtype': '2',
    'biztype': '1',
    'topid': '213910991',
    'cmd': '8',
    'needmusiccrit': '0',
    'pagenum': '0',
    'pagesize': '25',
    'lasthotcommentid': '',
    'callback': 'jsoncallback4823183319594757',
    'domain': 'qq.com',
    'ct': '24',
    'cv': '101010',
}

LAST_COMMENT_ID = ''

db = pymysql.connect(host='127.0.0.1', user='root', password='774110919', port=3306,  db='QQ_Music', charset='utf8mb4')
cursor = db.cursor()

def get_html(url, headers, params=None, tries=3):
    try:
        response = requests.get(url=url, headers=headers, params=params)
        response.raise_for_status()
        response.encoding = 'utf-8'
    except requests.HTTPError:
        print("connect failed")
        if tries > 0:
            print("reconnect...")
            last_url = url
            get_html(last_url, headers, tries-1)
        else:
            print("3 times failure")
            return None
    return response

def paras_html(html):
    data = {}
    content = json.loads(html[29:-3])
    for item in content['comment']['commentlist']:
        data["nike"] = item.get("nick")
        data["comment"] = re.sub(r"\\n", " ", item.get("rootcommentcontent"))
        data["comment"] = (re.sub(r"\n", " ", data["comment"]))[0:255]
        data["praisenum"] = item.get("praisenum")
        data["comment_id"] = item.get("commentid")
        data["time"] = time.strftime("%Y-%m-%d %H:%M:%S", time.localtime(int(item.get("time"))))
        yield data

def to_mysql(data):
    table = 'comments'
    keys = ', '.join(data.keys())
    values = ', '.join(['%s'] * len(data))
    sql = 'INSERT INTO {table}({keys}) VALUES ({values}) ON DUPLICATE KEY UPDATE'.format(table=table, keys=keys, values=values)
    update = ','.join([" {key} = %s".format(key=key) for key in data])
    sql += update
    try:
        if cursor.execute(sql, tuple(data.values())*2):
            print('Successful')
    except:
        print('Failed')
        db.rollback()
    db.commit()

def main():
    first_Links = []
    three_Links = []
    count = 0
    global LAST_COMMENT_ID
    for page in range(1045):
        if page % 5 == 0:
            time.sleep(2)
        PARAMS['lastcommentid'] = LAST_COMMENT_ID
        PARAMS['pagenum'] = page
        if first_Links:
            if count >= 3:
                three_Links.append(first_Links.pop())
                continue
            count += 1
            response = get_html(first_Links.pop(), HEADERS)
        else:
            count = 0
            response = get_html(URL, HEADERS, PARAMS)
        if response:
            try:
                for item in paras_html(response.text):
                    to_mysql(item)
                    print("Successful", response.url)
                    LAST_COMMENT_ID = item['comment_id']
            except TypeError:
                print(response.url)
                first_Links.append(response.url)
    cursor.close()
    db.close()
    print(three_Links)

if __name__ == '__main__':
    main()

最後成功獲取評論信息

這裏有一個問題，由於請求頭是一直變化的，因此可能會錯過一些評論頁，致使評論獲取不徹底，這裏只需多運行幾回代碼，或者在主程序加個循環便可，注意要設置下延遲，以後基本上能獲取大部分的評論。