Python爬蟲 - 百度指數簡單抓取

前言

此次要爬的網站是百度指數

正文

1、分析

打開網站百度指數，呈現出來是這樣的

若是搜索的話就須要登錄了，若是沒有什麼特別頻繁的請求的話，直接登錄複製Cookie就完事了

這裏以 酷安 爲例搜索

這一欄是選擇時間範圍的，拖拽它能將範圍選擇更廣

我將其拖拽至2011，調試窗口能夠看到請求，是個GET請求，參數有四個，除了 area 其餘的都很好理解

切換到 Preview 預覽窗口，經過分析，我的認爲比較可疑的幾個Key有這些：uniqid、all、pc、wise、data

其中data能夠看到應該是加密了的，all是表示所有數據，pc是指pc端，wise是移動端，這些能夠在js文件裏找到；首先先搞清楚這個像加密了的data是怎麼解密的；咱們如今知道這個數據是json格式，那麼它處理確定要從中取出這些data，因此，從新刷新一下網頁，目的是爲了讓全部js都能加載出來，而後利用搜索功能從中找。搜索過程就不上圖了，我是搜索 decrypt找到的；首先，我用decrypt找到了一個js文件，其中有一個名爲decrypt的方法

這個js文件中有不少decrypt的搜索結果，在不知道多少行處找到了一個名爲 fetchThrendIndexLive 的方法，這個方法用我工地英語翻譯爲 獲取趨勢指數

這裏調用了名爲decrypt的方法，是否是上面那個我不知道

此次我不打算用charles的替換js文件功能了，直接用瀏覽器的調試功能+console就好了 右鍵js的請求， Open in Sources panel

直接在這裏下斷點，而後刷新頁面

在這停頓後能夠看到兩個參數的內容

想要知道這兩個參數是什麼很簡單，回到Network看請求裏的json；其中e參數是data，t參數不太清楚是什麼。

for循環裏第一步是先將t字符串按單個字符分割，返回的列表保存在n變量裏；
而後將e也按單字符分割，保存到i變量裏 a是一個字典，r是一個列表

從右邊的 Scope 中能夠看到

以t的字符長度遍歷，a中key爲t遍歷的字符，a中value爲：從t中按索引取的值，其中索引爲：t的字符長度除2後加上當前遍歷的索引（a[n[o] = n[n.length/2 + o])

這裏始終沒有用到i，也就是咱們能獲取到的data，這個i在第二個循環中才被用到； 第二個循環是遍歷e，結果保存在r列表裏，這裏的遍歷很容易就看得懂。。我就不分析了，本身都頭暈，直接用python抄一遍就好了；

最後是將r列表裏的內容合併爲一個字符串而後返回；

2、整理思路

解密方法對應python代碼爲：

def decrypt(t,e):
    n = list(t)
    i = list(e)
    a = {}
    result = []
    ln = int(len(n)/2)
    start = n[ln:]
    end = n[:ln]
    for j,k in zip(start, end):
        a.update({k: j})
    for j in e:
        result.append(a.get(j))
    return ''.join(result)
複製代碼

徹底照搬。。可能有寫地方能夠簡化，但我懶得去處理了，最後返回的是這個玩意兒

python運行結果

到這可能都以爲已經解決了，可你不知道t這個參數是什麼，怎麼來的，這裏我就不帶各位分析了，你麼能夠本身嘗試分析分析，我直接說結果，以前我就指出了幾個可疑的東西，其中uniqid在獲取t參數須要用到，這個t實際上是叫ptbk，獲取這個ptbk的url：index.baidu.com/Interface/p… 有一個參數uniqid，GET請求，返回json內容

獲取uniqid和data的url：index.baidu.com/api/SearchA… （若是要指定日期只須要在word後面追加&startDate=、&endDate=就行）

因此能夠明確一下思路：
一、經過url獲取uniqid和data
二、經過uniqid獲取ptbk
三、經過ptbk和data解密

解密後的東西就是咱們要的

3、代碼部分

完整代碼：

import requests
import sys
import time

word_url = 'http://index.baidu.com/api/SearchApi/thumbnail?area=0&word={}'
COOKIES = ''

def decrypt(t,e):
    n = list(t)
    i = list(e)
    a = {}
    result = []
    ln = int(len(n)/2)
    start = n[ln:]
    end = n[:ln]
    for j,k in zip(start, end):
        a.update({k: j})
    for j in e:
        result.append(a.get(j))
    return ''.join(result)
    
    
def get_index_home(keyword):
    headers = {
        'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.90 Safari/537.36',
        'Cookie': COOKIES
    }
    resp = requests.get(word_url.format(keyword), headers=headers)
    j = resp.json()
    uniqid = j.get('data').get('uniqid')
    return get_ptbk(uniqid)
    

def get_ptbk(uniqid):
    url = 'http://index.baidu.com/Interface/ptbk?uniqid={}'
    ptbk_headers = {
        'Accept': 'application/json, text/plain, */*',
        'Accept-Encoding': 'gzip, deflate',
        'Accept-Language': 'zh-CN,zh;q=0.9',
        'Cache-Control': 'no-cache',
        'Cookie': COOKIES,
        'DNT': '1',
        'Host': 'index.baidu.com',
        'Pragma': 'no-cache',
        'Proxy-Connection': 'keep-alive',
        'Referer': 'http://index.baidu.com/v2/main/index.html',
        'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.90 Safari/537.36',
        'X-Requested-With': 'XMLHttpRequest',
    }
    resp = requests.get(url.format(uniqid), headers=ptbk_headers)
    if resp.status_code != 200:
        print('獲取uniqid失敗')
        sys.exit(1)
    return resp.json().get('data')
    

def get_index_data(keyword, start='2011-01-03', end='2019-08-05'):
    url = f'http://index.baidu.com/api/SearchApi/index?word={keyword}&area=0&startDate={start}&endDate={end}'
    headers = {
        'Accept': 'application/json, text/plain, */*',
        'Accept-Encoding': 'gzip, deflate',
        'Accept-Language': 'zh-CN,zh;q=0.9',
        'Cache-Control': 'no-cache',
        'Cookie': COOKIES,
        'DNT': '1',
        'Host': 'index.baidu.com',
        'Pragma': 'no-cache',
        'Proxy-Connection': 'keep-alive',
        'Referer': 'http://index.baidu.com/v2/main/index.html',
        'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.90 Safari/537.36',
        'X-Requested-With': 'XMLHttpRequest',
    }
    resp = requests.get(url, headers=headers)
    if resp.status_code != 200:
        print('獲取指數失敗')
        sys.exit(1)
    data = resp.json().get('data').get('userIndexes')[0]
    uniqid = data.get('uniqid')
    ptbk = get_index_home(uniqid)
    while ptbk is None or ptbk == '':
        ptbk = get_index_home(uniqid)
    all_data = data.get('all').get('data')
    result = decrypt(ptbk, all_data)
    result = result.split(',')
    print(result)
    

if __name__ == '__main__':
    get_index_data('酷安')
複製代碼

輸出

END

轉載請註明出處