Python爬蟲入門六之Cookie的使用

你們好哈，上一節咱們研究了一下爬蟲的異常處理問題，那麼接下來咱們一塊兒來看一下Cookie的使用。

爲何要使用Cookie呢？

Cookie，指某些網站爲了辨別用戶身份、進行session跟蹤而儲存在用戶本地終端上的數據（一般通過加密）

好比說有些網站須要登陸後才能訪問某個頁面，在登陸以前，你想抓取某個頁面內容是不容許的。那麼咱們能夠利用Urllib2庫保存咱們登陸的Cookie，而後再抓取其餘頁面就達到目的了。

在此以前呢，咱們必須先介紹一個opener的概念。

1.Opener

當你獲取一個URL你使用一個opener(一個urllib2.OpenerDirector的實例)。在前面，咱們都是使用的默認的opener，也就是urlopen。它是一個特殊的opener，能夠理解成opener的一個特殊實例，傳入的參數僅僅是url，data，timeout。

若是咱們須要用到Cookie，只用這個opener是不能達到目的的，因此咱們須要建立更通常的opener來實現對Cookie的設置。

2.Cookielib

cookielib模塊的主要做用是提供可存儲cookie的對象，以便於與urllib2模塊配合使用來訪問Internet資源。Cookielib模塊很是強大，咱們能夠利用本模塊的CookieJar類的對象來捕獲cookie並在後續鏈接請求時從新發送，好比能夠實現模擬登陸功能。該模塊主要的對象有CookieJar、FileCookieJar、MozillaCookieJar、LWPCookieJar。

它們的關係：CookieJar —-派生—->FileCookieJar  —-派生—–>MozillaCookieJar和LWPCookieJar

1）獲取Cookie保存到變量

首先，咱們先利用CookieJar對象實現獲取cookie的功能，存儲到變量中，先來感覺一下

 

1 2 3 4 5 6 7 8 9 10 11 12 13

import urllib2 import cookielib #聲明一個CookieJar對象實例來保存cookie cookie = cookielib.CookieJar() #利用urllib2庫的HTTPCookieProcessor對象來建立cookie處理器 handler=urllib2.HTTPCookieProcessor(cookie) #經過handler來構建opener opener = urllib2.build_opener(handler) #此處的open方法同urllib2的urlopen方法，也能夠傳入request response = opener.open('http://www.baidu.com') for item in cookie:     print 'Name = '+item.name     print 'Value = '+item.value

咱們使用以上方法將cookie保存到變量中，而後打印出了cookie中的值，運行結果以下

 

1 2 3 4 5 6 7 8 9 10

Name = BAIDUID Value = B07B663B645729F11F659C02AAE65B4C:FG=1 Name = BAIDUPSID Value = B07B663B645729F11F659C02AAE65B4C Name = H_PS_PSSID Value = 12527_11076_1438_10633 Name = BDSVRTM Value = 0 Name = BD_HOME Value = 0

 

2）保存Cookie到文件

在上面的方法中，咱們將cookie保存到了cookie這個變量中，若是咱們想將cookie保存到文件中該怎麼作呢？這時，咱們就要用到

FileCookieJar這個對象了，在這裏咱們使用它的子類MozillaCookieJar來實現Cookie的保存

 

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15

import cookielib import urllib2   #設置保存cookie的文件，同級目錄下的cookie.txt filename = 'cookie.txt' #聲明一個MozillaCookieJar對象實例來保存cookie，以後寫入文件 cookie = cookielib.MozillaCookieJar(filename) #利用urllib2庫的HTTPCookieProcessor對象來建立cookie處理器 handler = urllib2.HTTPCookieProcessor(cookie) #經過handler來構建opener opener = urllib2.build_opener(handler) #建立一個請求，原理同urllib2的urlopen response = opener.open("http://www.baidu.com") #保存cookie到文件 cookie.save(ignore_discard=True, ignore_expires=True)

關於最後save方法的兩個參數在此說明一下：

官方解釋以下：

ignore_discard: save even cookies set to be discarded. 

ignore_expires: save even cookies that have expiredThe file is overwritten if it already exists

因而可知，ignore_discard的意思是即便cookies將被丟棄也將它保存下來，ignore_expires的意思是若是在該文件中cookies已經存在，則覆蓋原文件寫入，在這裏，咱們將這兩個所有設置爲True。運行以後，cookies將被保存到cookie.txt文件中，咱們查看一下內容，附圖以下

 3）從文件中獲取Cookie並訪問

那麼咱們已經作到把Cookie保存到文件中了，若是之後想使用，能夠利用下面的方法來讀取cookie並訪問網站，感覺一下

 

1 2 3 4 5 6 7 8 9 10 11 12 13

import cookielib import urllib2   #建立MozillaCookieJar實例對象 cookie = cookielib.MozillaCookieJar() #從文件中讀取cookie內容到變量 cookie.load('cookie.txt', ignore_discard=True, ignore_expires=True) #建立請求的request req = urllib2.Request("http://www.baidu.com") #利用urllib2的build_opener方法建立一個opener opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cookie)) response = opener.open(req) print response.read()

設想，若是咱們的 cookie.txt 文件中保存的是某我的登陸百度的cookie，那麼咱們提取出這個cookie文件內容，就能夠用以上方法模擬這我的的帳號登陸百度。

 4）利用cookie模擬網站登陸

下面咱們以咱們學校的教育系統爲例，利用cookie實現模擬登陸，並將cookie信息保存到文本文件中，來感覺一下cookie大法吧！

注意：密碼我改了啊，別偷偷登陸本宮的選課系統 o(╯□╰)o

 

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23

import urllib import urllib2 import cookielib   filename = 'cookie.txt' #聲明一個MozillaCookieJar對象實例來保存cookie，以後寫入文件 cookie = cookielib.MozillaCookieJar(filename) opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cookie)) postdata = urllib.urlencode({             'stuid':'201200131012',             'pwd':'23342321'         }) #登陸教務系統的URL loginUrl = 'http://jwxt.sdu.edu.cn:7890/pls/wwwbks/bks_login2.login' #模擬登陸，並把cookie保存到變量 result = opener.open(loginUrl,postdata) #保存cookie到cookie.txt中 cookie.save(ignore_discard=True, ignore_expires=True) #利用cookie請求訪問另外一個網址，此網址是成績查詢網址 gradeUrl = 'http://jwxt.sdu.edu.cn:7890/pls/wwwbks/bkscjcx.curscopre' #請求訪問成績查詢網址 result = opener.open(gradeUrl) print result.read()

以上程序的原理以下

建立一個帶有cookie的opener，在訪問登陸的URL時，將登陸後的cookie保存下來，而後利用這個cookie來訪問其餘網址。

如登陸以後才能查看的成績查詢呀，本學期課表呀等等網址，模擬登陸就這麼實現啦，是否是很酷炫？

好，小夥伴們要加油哦！咱們如今能夠順利獲取網站信息了，接下來就是把網站裏面有效內容提取出來，下一節咱們去會會正則表達式！

轉載：靜覓 » Python爬蟲入門六之Cookie的使用