urllib與urllib2的學習總結

先囉嗦一句，我使用的版本是python2.7，沒有使用3.X的緣由是我以爲2.7的擴展比較多，且較以前的版本變化不大，使用順手。3.X簡直就是革命性的變化，用的蹩手。3.x的版本urllib與urllib2已經合併爲一個urllib庫，學着比較清晰些，2.7的版本呢urllib與urllib2各有各的做用，下面我把本身學習官方文檔和其餘資料的總結寫下，方便之後使用。

　　urllib與urllib2並非能夠代替的，只能說2是一個補充吧。先來看看他們倆的區別，有一篇文章把urllib與urllib2的關係說的很明白《difference between urllib and urllib2》，意思以下。

　　Python的urllib和urllib2模塊都作與請求URL相關的操做，但他們提供不一樣的功能。他們兩個最顯着的差別以下：

• 　　urllib2能夠接受一個Request對象，並以此能夠來設置一個URL的headers，可是urllib只接收一個URL。這意味着，你不能假裝你的用戶代理字符串等。
• 　　urllib模塊能夠提供進行urlencode的方法，該方法用於GET查詢字符串的生成，urllib2的不具備這樣的功能。這就是urllib與urllib2常常在一塊兒使用的緣由。

　　

　　這兩點對於用過urllib與urllib2的人來講比較好理解，可是對於沒用過的仍是不能有好的理解，下面參考官方的文檔，把本身對urllib與urllib2的學習內容總結以下。

　　A.urllib2概述

　　urllib2模塊定義的函數和類用來獲取URL（主要是HTTP的），他提供一些複雜的接口用於處理： 基本認證，重定向，Cookies等。

　　urllib2支持許多的「URL schemes」（由URL中的「：」以前的字符串肯定 - 例如「FTP」的URL方案如「ftp://python.org/」），且他還支持其相關的網絡協議（如FTP，HTTP）。咱們則重點關注HTTP。

　　在簡單的狀況下，咱們會使用urllib2模塊的最經常使用的方法urlopen。但只要打開HTTP URL時遇到錯誤或異常的狀況下，就須要一些HTTP傳輸協議的知識。咱們沒有必要掌握HTTP RFC2616。這是一個最全面和最權威的技術文檔，且不易於閱讀。在使用urllib2時會用到HTTP RFC2616相關的知識，瞭解便可。

　　B.經常使用方法和類

　　1) urllib2.urlopen(url[, data][, timeout])

　　urlopen方法是urllib2模塊最經常使用也最簡單的方法，它打開URL網址，url參數能夠是一個字符串url或者是一個Request對象。URL沒什麼可說的，Request對象和data在request類中說明，定義都是同樣的。

　　對於可選的參數timeout，阻塞操做以秒爲單位，如嘗試鏈接（若是沒有指定，將使用設置的全局默認timeout值）。實際上這僅適用於HTTP，HTTPS和FTP鏈接。

　　先看只包含URL的請求例子：

import urllib2
response = urllib2.urlopen('http://python.org/')
html = response.read()

urlopen方法也可經過創建了一個Request對象來明確指明想要獲取的url。調用urlopen函數對請求的url返回一個response對象。這個response相似於一個file對象，因此用.read()函數能夠操做這個response對象，關於urlopen函數的返回值的使用，咱們下面再詳細說。

import urllib2
req = urllib2.Request('http://python.org/')
response = urllib2.urlopen(req)
the_page = response.read()

　　這裏用到了urllib2.Request類，對於上例，咱們只經過了URL實例化了Request類的對象，其實Request類還有其餘的參數。

　　2) class urllib2.Request(url[, data][, headers][, origin_req_host][, unverifiable])

　　Request類是一個抽象的URL請求。5個參數的說明以下

　　URL——是一個字符串，其中包含一個有效的URL。

　　data——是一個字符串，指定額外的數據發送到服務器，若是沒有data須要發送能夠爲「None」。目前使用data的HTTP請求是惟一的。當請求含有data參數時，HTTP的請求爲POST，而不是GET。數據應該是緩存在一個標準的application/x-www-form-urlencoded格式中。urllib.urlencode()函數用映射或2元組，返回一個這種格式的字符串。通俗的說就是若是想向一個URL發送數據（一般這些數據是表明一些CGI腳本或者其餘的web應用）。對於HTTP來講這動做叫Post。例如在網上填的form（表單）時，瀏覽器會POST表單的內容，這些數據須要被以標準的格式編碼（encode），而後做爲一個數據參數傳送給Request對象。Encoding是在urlib模塊中完成的，而不是在urlib2中完成的。下面是個例子：

import urllib
import urllib2
url = 'http://www.someserver.com/cgi-bin/register.cgi'
values = {'name' : 'Michael Foord',
          'location' : 'Northampton',
          'language' : 'Python' }
data = urllib.urlencode(values)
req = urllib2.Request(url, data)
response = urllib2.urlopen(req)
the_page = response.read()

　　headers——是字典類型，頭字典能夠做爲參數在request時直接傳入，也能夠把每一個鍵和值做爲參數調用add_header()方法來添加。做爲辨別瀏覽器身份的User-Agent header是常常被用來惡搞和假裝的，由於一些HTTP服務只容許某些請求來自常見的瀏覽器而不是腳本，或是針對不一樣的瀏覽器返回不一樣的版本。例如，Mozilla Firefox瀏覽器被識別爲「Mozilla/5.0 (X11; U; Linux i686) Gecko/20071127 Firefox/2.0.0.11」。默認狀況下，urlib2把本身識別爲Python-urllib/x.y（這裏的xy是python發行版的主要或次要的版本號，如在Python 2.6中，urllib2的默認用戶代理字符串是「Python-urllib/2.6。下面的例子和上面的區別就是在請求時加了一個headers，模仿IE瀏覽器提交請求。

import urllib
import urllib2
url = 'http://www.someserver.com/cgi-bin/register.cgi'
user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'
values = {'name' : 'Michael Foord',
          'location' : 'Northampton',
          'language' : 'Python' }
headers = { 'User-Agent' : user_agent }
data = urllib.urlencode(values)
req = urllib2.Request(url, data, headers)
response = urllib2.urlopen(req)
the_page = response.read()

　　標準的headers組成是(Content-Length, Content-Type and Host)，只有在Request對象調用urlopen()（上面的例子也屬於這個狀況）或者OpenerDirector.open()時加入。兩種狀況的例子以下：

　　使用headers參數構造Request對象，如上例在生成Request對象時已經初始化header，而下例是Request對象調用add_header(key, val)方法附加header（Request對象的方法下面再介紹）：

import urllib2
req = urllib2.Request('http://www.example.com/')
req.add_header('Referer', 'http://www.python.org/')
r = urllib2.urlopen(req)

　　OpenerDirector爲每個Request自動加上一個User-Agent header，因此第二種方法以下（urllib2.build_opener會返回一個OpenerDirector對象，關於urllib2.build_opener類下面再說）：

import urllib2
opener = urllib2.build_opener()
opener.addheaders = [('User-agent', 'Mozilla/5.0')]
opener.open('http://www.example.com/')

　　最後兩個參數僅僅是對正確操做第三方HTTP cookies 感興趣，不多用到：

　　origin_req_host——是RFC2965定義的源交互的request-host。默認的取值是cookielib.request_host(self)。這是由用戶發起的原始請求的主機名或IP地址。例如，若是請求的是一個HTML文檔中的圖像，這應該是包含該圖像的頁面請求的request-host。

　　unverifiable ——表明請求是不是沒法驗證的，它也是由RFC2965定義的。默認值爲false。一個沒法驗證的請求是，其用戶的URL沒有足夠的權限來被接受。例如，若是請求的是在HTML文檔中的圖像，可是用戶沒有自動抓取圖像的權限，unverifiable的值就應該是true。

　　3) urllib2.install_opener(opener)和urllib2.build_opener([handler, ...])　

　　install_opener和build_opener這兩個方法一般都是在一塊兒用,也有時候build_opener單獨使用來獲得OpenerDirector對象。　　

　　install_opener實例化會獲得OpenerDirector 對象用來賦予全局變量opener。若是想用這個opener來調用urlopen，那麼就必須實例化獲得OpenerDirector；這樣就能夠簡單的調用OpenerDirector.open()來代替urlopen()。

　　build_opener實例化也會獲得OpenerDirector對象，其中參數handlers能夠被BaseHandler或他的子類實例化。子類中能夠經過如下實例化：ProxyHandler (若是檢測代理設置用), UnknownHandler, HTTPHandler, HTTPDefaultErrorHandler, HTTPRedirectHandler, FTPHandler, FileHandler, HTTPErrorProcessor。

import urllib2
req = urllib2.Request('http://www.python.org/')
opener=urllib2.build_opener()
urllib2.install_opener(opener)
f = opener.open(req)

　　如上使用 urllib2.install_opener()設置 urllib2 的全局 opener。這樣後面的使用會很方便，但不能作更細粒度的控制，好比想在程序中使用兩個不一樣的 Proxy 設置等。比較好的作法是不使用 install_opener 去更改全局的設置，而只是直接調用 opener的open 方法代替全局的 urlopen 方法。

　　說到這Opener和Handler之間的操做聽起來有點暈。整理下思路就清楚了。當獲取一個URL時，可使用一個opener（一個urllib2.OpenerDirector實例對象，能夠由build_opener實例化生成）。正常狀況下程序一直經過urlopen使用默認的opener（也就是說當你使用urlopen方法時，是在隱式的使用默認的opener對象），但也能夠建立自定義的openers（經過操做器handlers建立的opener實例）。全部的重活和麻煩都交給這些handlers來作。每個handler知道如何以一種特定的協議（http，ftp等等）打開url，或者如何處理打開url發生的HTTP重定向，或者包含的HTTP cookie。建立openers時若是想要安裝特別的handlers來實現獲取url（如獲取一個處理cookie的opener，或者一個不處理重定向的opener）的話，先實例一個OpenerDirector對象，而後屢次調用.add_handler(some_handler_instance)來建立一個opener。或者，你能夠用build_opener，這是一個很方便的建立opener對象的函數，它只有一個函數調用。build_opener默認會加入許多handlers，它提供了一個快速的方法添加更多東西和使默認的handler失效。
　　install_opener如上所述也能用於建立一個opener對象，可是這個對象是（全局）默認的opener。這意味着調用urlopen將會用到你剛建立的opener。也就是說上面的代碼能夠等同於下面這段。這段代碼最終仍是使用的默認opener。通常狀況下咱們用build_opener爲的是生成自定義opener，沒有必要調用install_opener，除非是爲了方便。

import urllib2
req = urllib2.Request('http://www.python.org/')
opener=urllib2.build_opener()
urllib2.install_opener(opener)
f = urllib2.urlopen(req)

 　　C.異常處理

　　當咱們調用urllib2.urlopen的時候不會老是這麼順利，就像瀏覽器打開url時有時也會報錯，因此就須要咱們有應對異常的處理。
　　說到異常，咱們先來了解返回的response對象的幾個經常使用的方法：

　　geturl() — 返回檢索的URL資源，這個是返回的真正url，一般是用來鑑定是否重定向的，以下面代碼4行url若是等於「http://www.python.org/ 」說明沒有被重定向。

　　info() — 返回頁面的原信息就像一個字段的對象， 如headers，它以mimetools.Message實例爲格式(能夠參考HTTP Headers說明)。

　　getcode() — 返回響應的HTTP狀態代碼，運行下面代碼能夠獲得code=200，具體各個code表明的意思請參見文後附錄。

　　import urllib2
　　req = urllib2.Request('http://www.python.org/')
　　response=urllib2.urlopen(req)
　　url=response.geturl()
　　info=response.info()
　　code=response.getcode()

　　當不能處理一個response時，urlopen拋出一個URLError（對於python APIs，內建異常如，ValueError, TypeError 等也會被拋出。）

　　HTTPError是HTTP URL在特別的狀況下被拋出的URLError的一個子類。下面就詳細說說URLError和HTTPError。

　　URLError——handlers當運行出現問題時（一般是由於沒有網絡鏈接也就是沒有路由到指定的服務器，或在指定的服務器不存在），拋出這個異常.它是IOError的子類.這個拋出的異常包括一個‘reason’ 屬性,他包含一個錯誤編碼和一個錯誤文字描述。以下面代碼，request請求的是一個沒法訪問的地址，捕獲到異常後咱們打印reason對象能夠看到錯誤編碼和文字描述。

    import urllib2
    req = urllib2.Request('http://www.python11.org/')
     try:
         response=urllib2.urlopen(req)
     except urllib2.URLError,e:
         print e.reason
         print e.reason[0]
         print e.reason[1]

運行結果：

　　HTTPError——HTTPError是URLError的子類。每一個來自服務器HTTP的response都包含「status code」. 有時status code不能處理這個request. 默認的處理程序將處理這些異常的responses。例如，urllib2發現response的URL與你請求的URL不一樣時也就是發生了重定向時，會自動處理。對於不能處理的請求, urlopen將拋出HTTPError異常. 典型的錯誤包含‘404’ (沒有找到頁面), ‘403’ (禁止請求),‘401’ (須要驗證)等。它包含2個重要的屬性reason和code。

　　當一個錯誤被拋出的時候，服務器返回一個HTTP錯誤代碼和一個錯誤頁。你可使用返回的HTTP錯誤示例。這意味着它不但具備code和reason屬性，並且同時具備read，geturl，和info等方法，以下代碼和運行結果。

import urllib2
req = urllib2.Request('http://www.python.org/fish.html')
try:
    response=urllib2.urlopen(req)
except urllib2.HTTPError,e:
    print e.code
    print e.reason
    print e.geturl()
    print e.read()

運行結果:

   若是咱們想同時處理HTTPError和URLError，由於HTTPError是URLError的子類，因此應該把捕獲HTTPError放在URLError前面，如否則URLError也會捕獲一個HTTPError錯誤，代碼參考以下：

import urllib2
req = urllib2.Request('http://www.python.org/fish.html')
try:
    response=urllib2.urlopen(req)
except urllib2.HTTPError,e:
    print 'The server couldn\'t fulfill the request.'
    print 'Error code: ',e.code
    print 'Error reason: ',e.reason   
except urllib2.URLError,e:
    print 'We failed to reach a server.'
    print 'Reason: ', e.reason
else:
    # everything is fine
    response.read()

這樣捕獲兩個異常看着不爽，並且HTTPError仍是URLError的子類，咱們能夠把代碼改進以下：

import urllib2
req = urllib2.Request('http://www.python.org/fish.html')
try:
    response=urllib2.urlopen(req)
except urllib2.URLError as e:
    if hasattr(e, 'reason'):
        #HTTPError and URLError all have reason attribute.
        print 'We failed to reach a server.'
        print 'Reason: ', e.reason
    elif hasattr(e, 'code'):
        #Only HTTPError has code attribute.
        print 'The server couldn\'t fulfill the request.'
        print 'Error code: ', e.code
else:
    # everything is fine
    response.read()

關於錯誤編碼由於處理程序默認的處理重定向（錯誤碼範圍在300內），錯誤碼在100-299範圍內的表示請求成功，因此一般會看到的錯誤代碼都是在400-599的範圍內。具體錯誤碼的說明看附錄。

　　寫到這上面屢次提到了重定向，也說了重定向是如何判斷的，而且程序對於重定向時默認處理的。如何禁止程序自動重定向呢，咱們能夠自定義HTTPRedirectHandler 類，代碼參考以下：

class SmartRedirectHandler(urllib2.HTTPRedirectHandler):
    def http_error_301(self, req, fp, code, msg, headers):
        result = urllib2.HTTPRedirectHandler.http_error_301(self, req, fp, code, msg, headers)
        return result

    def http_error_302(self, req, fp, code, msg, headers):
        result = urllib2.HTTPRedirectHandler.http_error_302(self, req, fp, code, msg, headers)
        return result

附錄：   

# Table mapping response codes to messages; entries have the
# form {code: (shortmessage, longmessage)}.
responses = {
    100: ('Continue', 'Request received, please continue'),
    101: ('Switching Protocols',
          'Switching to new protocol; obey Upgrade header'),

    200: ('OK', 'Request fulfilled, document follows'),
    201: ('Created', 'Document created, URL follows'),
    202: ('Accepted',
          'Request accepted, processing continues off-line'),
    203: ('Non-Authoritative Information', 'Request fulfilled from cache'),
    204: ('No Content', 'Request fulfilled, nothing follows'),
    205: ('Reset Content', 'Clear input form for further input.'),
    206: ('Partial Content', 'Partial content follows.'),

    300: ('Multiple Choices',
          'Object has several resources -- see URI list'),
    301: ('Moved Permanently', 'Object moved permanently -- see URI list'),
    302: ('Found', 'Object moved temporarily -- see URI list'),
    303: ('See Other', 'Object moved -- see Method and URL list'),
    304: ('Not Modified',
          'Document has not changed since given time'),
    305: ('Use Proxy',
          'You must use proxy specified in Location to access this '
          'resource.'),
    307: ('Temporary Redirect',
          'Object moved temporarily -- see URI list'),

    400: ('Bad Request',
          'Bad request syntax or unsupported method'),
    401: ('Unauthorized',
          'No permission -- see authorization schemes'),
    402: ('Payment Required',
          'No payment -- see charging schemes'),
    403: ('Forbidden',
          'Request forbidden -- authorization will not help'),
    404: ('Not Found', 'Nothing matches the given URI'),
    405: ('Method Not Allowed',
          'Specified method is invalid for this server.'),
    406: ('Not Acceptable', 'URI not available in preferred format.'),
    407: ('Proxy Authentication Required', 'You must authenticate with '
          'this proxy before proceeding.'),
    408: ('Request Timeout', 'Request timed out; try again later.'),
    409: ('Conflict', 'Request conflict.'),
    410: ('Gone',
          'URI no longer exists and has been permanently removed.'),
    411: ('Length Required', 'Client must specify Content-Length.'),
    412: ('Precondition Failed', 'Precondition in headers is false.'),
    413: ('Request Entity Too Large', 'Entity is too large.'),
    414: ('Request-URI Too Long', 'URI is too long.'),
    415: ('Unsupported Media Type', 'Entity body in unsupported format.'),
    416: ('Requested Range Not Satisfiable',
          'Cannot satisfy request range.'),
    417: ('Expectation Failed',
          'Expect condition could not be satisfied.'),

    500: ('Internal Server Error', 'Server got itself in trouble'),
    501: ('Not Implemented',
          'Server does not support this operation'),
    502: ('Bad Gateway', 'Invalid responses from another server/proxy.'),
    503: ('Service Unavailable',
          'The server cannot process the request due to a high load'),
    504: ('Gateway Timeout',
          'The gateway server did not receive a timely response'),
    505: ('HTTP Version Not Supported', 'Cannot fulfill request.'),
    }