Python爬蟲使用瀏覽器的cookies：browsercookie

不少用Python的人可能都寫過網絡爬蟲，自動化獲取網絡數據確實是一件使人愉悅的事情，而Python很好的幫助咱們達到這種愉悅。然而，爬蟲常常要碰到各類登陸、驗證的阻撓，讓人灰心喪氣（網站：每天碰到各類各樣的爬蟲抓咱們網站，也很讓人灰心喪氣～）。爬蟲和反爬蟲就是一個貓和老鼠的遊戲，道高一尺魔高一丈，二者反覆糾纏。

因爲http協議的無狀態性，登陸驗證都是經過傳遞cookies來實現的。經過瀏覽器登陸一次，登陸信息的cookie是就會被瀏覽器保存下來。下次再打開該網站時，瀏覽器自動帶上保存的cookies，只有cookies還未過時，對於網站來講你就仍是登陸狀態的。

browsercookie模塊就是這樣一個從瀏覽器提取保存的cookies的工具。它是一個頗有用的爬蟲工具，經過加載你瀏覽器的cookies到一個cookiejar對象裏面，讓你輕鬆下載須要登陸的網頁內容。

安裝

pip install browsercookie

在Windows系統中，內置的sqlite模塊在加載FireFox數據庫時會拋出錯誤。須要更新sqlite的版本：
pip install pysqlite

使用方法

下面是從網頁提取標題的例子：

>>> import re
>>> get_title = lambda html: re.findall('<title>(.*?)</title>', html, flags=re.DOTALL)[0].strip()

下面是未登陸情況下下載獲得的標題：

>>> import urllib2
>>> url = 'https://bitbucket.org/'
>>> public_html = urllib2.urlopen(url).read()
>>> get_title(public_html)
'Git and Mercurial code management for teams'

接下來使用browsercookie從登陸過Bitbucket的FireFox裏面獲取cookie再下載：

>>> import browsercookie
>>> cj = browsercookie.firefox()
>>> opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cj))
>>> login_html = opener.open(url).read()
>>> get_title(login_html)
'richardpenman / home — Bitbucket'

上面是Python2的代碼，再試試 Python3:

>>> import urllib.request
>>> public_html = urllib.request.urlopen(url).read()
>>> opener = urllib.request.build_opener(urllib.request.HTTPCookieProcessor(cj))

你能夠看到你的用戶名出如今title裏面了，說明browsercookie模塊成功從FireFox加載了cookies。

下面是使用requests的例子，此次咱們從Chrome裏面加載cookies，固然你須要事先用Chrome登陸Bitbucket：

>>> import requests
>>> cj = browsercookie.chrome()
>>> r = requests.get(url, cookies=cj)
>>> get_title(r.content)
'richardpenman / home — Bitbucket'

若是你不知道或不關心那個瀏覽器有你須要的cookies，你能夠這樣操做：

>>> cj = browsercookie.load()
>>> r = requests.get(url, cookies=cj)
>>> get_title(r.content)
'richardpenman / home — Bitbucket'

支持

目前，該模塊支持如下平臺：

Chrome: Linux, OSX, Windows
Firefox: Linux, OSX, Windows

目前該模塊測試過的瀏覽器版本還不是不少，你使用過程當中可能會遇到問題，能夠向做者提交問題：

https://bitbucket.org/richard...

文章來源於：猿人學網站的python教程。

版權申明:若沒有特殊說明，文章皆是猿人學原創，沒有猿人學受權，請勿以任何形式轉載。