用 Python 爬取網易嚴選妹子內衣信息，探究妹紙們的偏好

時間 2019-11-06

標籤 python 網易內衣信息探究偏好欄目 Python 简体版

原文原文鏈接

今天繼續來分析爬蟲數據分析文章，一塊兒來看看網易嚴選商品評論的獲取和分析。git

警告：本教程僅用做學習交流，請勿用做商業盈利，違者後果自負！如本文有侵犯任何組織集團公司的隱私或利益，請告知聯繫蘿蔔刪除！！！聲明：這是一篇超級嚴肅的技術文，超！級！嚴！肅！請本着學習交流的態度閱讀，謝謝！程序員

網易商品評論爬取

分析網頁

評論分析

進入到網易精選官網，搜索「文胸」後，先隨便點進一個商品。github

在商品頁面，打開 Chrome 的控制檯，切換至 Network 頁，再把商品頁面切換到評價標籤下，選擇一個評論文字，如「薄款、穿着溫馨、滿意」，在 Network 中搜索。

能夠發現，評論文字是經過 listByItemByTag.json 傳遞過來的，點擊進入該請求，並拷貝出該請求的 URL：

you.163.com/xhr/comment…mongodb

將該 URL 放入 Postman 中，逐個嘗試 url query params，最後可以發現，只需保留 itemId 和 page 兩個請求參數便可。

請求返回的是一個 JSON 格式的數據，下面就是分析該 JSON 數據了。

不難發現，全部的評論數據都存儲在 commentList 中，咱們只需保存該數據便可。數據庫

下面就是如何獲取 itemId 的信息了，這個是產品的 ID，咱們回到網易精選首頁，繼續分析。json

產品 ID 獲取

當咱們在搜索框中輸入關鍵字進行搜索的時候，一樣可以發如今 Network 中有不少請求，此時能夠觀察各個請求，經過請求文件的名稱（此處須要一些經驗，守規矩的程序員都不會亂起名字），咱們能夠定位到搜索時展現搜索結果的請求。bash

搜索通常都是 search，因此咱們就鎖定了這個 search.json 的請求。一樣把請求 URL 拷貝到 Postman 中，逐個驗證傳參，最後保留 page 和 keyword 兩個參數便可。

該請求返回的數據較多，仍是須要耐心的分析數據，也可以發現，在 result->data->directly->searcherResult->result 下面的 id 值，即爲咱們要獲取的產品 ID。

以上，咱們基本完成了前期的分析工做，下面開始代碼的編寫。app

編寫代碼

獲取產品 ID

def search_keyword(keyword):
    uri = 'https://you.163.com/xhr/search/search.json'
    query = {
        "keyword": keyword,
        "page": 1
    }
    try:
        res = requests.get(uri, params=query).json()
        result = res['data']['directly']['searcherResult']['result']
        product_id = []
        for r in result:
            product_id.append(r['id'])
        return product_id
    except:
        raise
複製代碼

我這裏是獲取了 page 爲 1 的產品 ID，下面就是經過產品 ID 來獲取不一樣產品下的評論信息。ide

經過前面的分析，咱們能夠知道，評論信息都是以下形式的，對這種形式的信息，咱們能夠很方便地存儲進入 MongoDB，而後再慢慢分析數據裏的內容。學習

{
                "skuInfo": [
                    "顏色:膚色",
                    "杯碼:75B"
                ],
                "frontUserName": "1****8",
                "frontUserAvatar": "https://yanxuan.nosdn.127.net/f8f20a77db47b8c66c531c14c8b38ee7.jpg",
                "content": "質量好，穿着舒服",
                "createTime": 1555546727635,
                "picList": [
                    "https://yanxuan.nosdn.127.net/742f28186d805571e4b3f28faa412941.jpg"
                ],
                "commentReplyVO": null,
                "memberLevel": 4,
                "appendCommentVO": null,
                "star": 5,
                "itemId": 1680205
            }
複製代碼

對於 MongoDB，咱們既能夠本身搭建，也可使用網上免費的服務。在這裏我介紹一個免費的 MongoDB 服務網站：mlab，使用很簡單，就不過多介紹使用過程了。

數據庫有了，下面就是把數據保存進去了。

def details(product_id):
    url = 'https://you.163.com/xhr/comment/listByItemByTag.json'
    try:
        C_list = []
        for i in range(1, 100):
            query = {
                "itemId": product_id,
                "page": i,
            }
            res = requests.get(url, params=query).json()
            if not res['data']['commentList']:
                break
            print("爬取第 %s 頁評論" % i)
            commentList = res['data']['commentList']
            C_list.append(commentList)
            time.sleep(1)
            # save to mongoDB
            try:
                mongo_collection.insert_many(commentList)
            except:
                continue
        return C_list
    except:
        raise
複製代碼