urllib2是Python的一個獲取URLs(Uniform Resource Locators)的組件。他以urlopen函數的形式提供了一個很是簡單的接口，這是具備利用不一樣協議獲取URLs的能力，他一樣提供了一個比較複雜的接口來處理通常狀況，例如：基礎驗證，cookies,代理和其餘。它們經過handlers和openers的對象提供。html
urllib2支持獲取不一樣格式的URLs(在URL的":"前定義的字串,例如："ftp"是"ftp:python.ort/"的前綴),它們利用它們相關網絡協議(例如FTP,HTTP)進行獲取。這篇教程關注最普遍的應用--HTTP。python
對於簡單的應用，urlopen是很是容易使用的。但當你在打開HTTP的URLs時遇到錯誤或異常，你將須要一些超文本傳輸協議(HTTP)的理解。瀏覽器
最權威的HTTP文檔固然是RFC 2616(http://rfc.net/rfc2616.html)。這是一個技術文檔，因此並不易於閱讀。這篇HOWTO教程的目的是展示如何使用urllib2,bash
並提供足夠的HTTP細節來幫助你理解。他並非urllib2的文檔說明，而是起一個輔助做用。服務器
最簡單的使用urllib2cookie
代碼實例：網絡
|
1
2
3
|
import
urllib2
response
=
urllib2.urlopen(
'http://python.org/'
)
html
=
response.read()
|
urllib2的不少應用就是那麼簡單(記住，除了"http:",URL一樣可使用"ftp:","file:"等等來替代)。但這篇文章是教授HTTP的更復雜的應用。app
HTTP是基於請求和應答機制的--客戶端提出請求，服務端提供應答。urllib2用一個Request對象來映射你提出的HTTP請求,在它最簡單的使用形式中你將用你要請求的地址建立一個Request對象，經過調用urlopen並傳入Request對象，將返回一個相關請求response對象，這個應答對象如同一個文件對象，因此你能夠在Response中調用.read()。socket
|
1
2
3
4
|
import
urllib2
req
=
urllib2.Request(
'http://www.python.com'
)
response
=
urllib2.urlopen(req)
the_page
=
response.read()
|
記得urllib2使用相同的接口處理全部的URL頭。例如你能夠像下面那樣建立一個ftp請求。函數
req = urllib2.Request('ftp://example.com/')
在HTTP請求時，容許你作額外的兩件事。首先是你可以發送data表單數據，其次你可以傳送額外的關於數據或發送自己的信息("metadata")到服務器，此數據做爲HTTP的"headers"來發送。
接下來讓咱們看看這些如何發送的吧。
有時候你但願發送一些數據到URL(一般URL與CGI[通用網關接口]腳本，或其餘WEB應用程序掛接)。在HTTP中,這個常用熟知的POST請求發送。這個一般在你提交一個HTML表單時由你的瀏覽器來作。
並非全部的POSTs都來源於表單，你可以使用POST提交任意的數據到你本身的程序。通常的HTML表單，data須要編碼成標準形式。而後作爲data參數傳到Request對象。編碼工做使用urllib的函數而非urllib2。
代碼實例：
|
1
2
3
4
5
6
7
8
9
10
|
import
urllib
import
urllib2
url
=
'http://www.python.com'
values
=
{
'name'
:
'Michael Foord'
,
'location'
:
'pythontab'
,
'language'
:
'Python'
}
data
=
urllib.urlencode(values)
req
=
urllib2.Request(url, data)
response
=
urllib2.urlopen(req)
the_page
=
response.read()
|
記住有時須要別的編碼(例如從HTML上傳文件--看http://www.w3.org/TR/REC-html40/interact/forms.html#h-17.13 HTML Specification, Form Submission的詳細說明)。
如ugoni沒有傳送data參數，urllib2使用GET方式的請求。GET和POST請求的不一樣之處是POST請求一般有"反作用"，它們會因爲某種途徑改變系統狀態(例如提交成堆垃圾到你的門口)。
儘管HTTP標準說的很清楚POSTs一般會產生反作用，GET請求不會產生反作用，但沒有什麼能夠阻止GET請求產生反作用，一樣POST請求也可能不產生反作用。Data一樣能夠經過在Get請求的URL自己上面編碼來傳送。
代碼實例：
|
1
2
3
4
5
6
7
8
9
10
11
12
|
>>>
import
urllib2
>>>
import
urllib
>>> data
=
{}
>>> data[
'name'
]
=
'Somebody Here'
>>> data[
'location'
]
=
'pythontab'
>>> data[
'language'
]
=
'Python'
>>> url_values
=
urllib.urlencode(data)
>>>
print
url_values
name
=
blueelwang
+
Here&language
=
Python&location
=
pythontab
>>> url
=
'http://www.python.com'
>>> full_url
=
url
+
'?'
+
url_values
>>> data
=
urllib2.
open
(full_url)
|
咱們將在這裏討論特定的HTTP頭，來講明怎樣添加headers到你的HTTP請求。
有一些站點不喜歡被程序（非人爲訪問）訪問，或者發送不一樣版本的內容到不一樣的瀏覽器。默認的urllib2把本身做爲「Python-urllib/x.y」(x和y是Python主版本和次版本號,例如Python-urllib/2.5)，這個身份可能會讓站點迷惑，或者乾脆不工做。瀏覽器確認本身身份是經過User-Agent頭，當你建立了一個請求對象，你能夠給他一個包含頭數據的字典。下面的例子發送跟上面同樣的內容，但把自身
模擬成Internet Explorer。
|
1
2
3
4
5
6
7
8
9
10
11
12
13
|
import
urllib
import
urllib2
url
=
'http://www.python.com'
user_agent
=
'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'
values
=
{
'name'
:
'Michael Foord'
,
'location'
:
'pythontab'
,
'language'
:
'Python'
}
headers
=
{
'User-Agent'
: user_agent }
data
=
urllib.urlencode(values)
req
=
urllib2.Request(url, data, headers)
response
=
urllib2.urlopen(req)
the_page
=
response.read()
|
response應答對象一樣有兩個頗有用的方法。看下面的節info and geturl，咱們將看到當發生錯誤時會發生什麼。
當urlopen不可以處理一個response時，產生urlError（不過一般的Python APIs異常如ValueError,TypeError等也會同時產生）。
HTTPError是urlError的子類，一般在特定HTTP URLs中產生。
一般，URLError在沒有網絡鏈接(沒有路由到特定服務器),或者服務器不存在的狀況下產生。這種狀況下，異常一樣會帶有"reason"屬性，它是一個tuple，包含了一個錯誤號和一個錯誤信息。
例如
|
1
2
3
4
5
|
>>> req
=
urllib2.Request(
'http://www.python.com'
)
>>>
try
: urllib2.urlopen(req)
>>>
except
URLError, e:
>>>
print
e.reason
>>>
|
(4, 'getaddrinfo failed')
服務器上每個HTTP 應答對象response包含一個數字"狀態碼"。有時狀態碼指出服務器沒法完成請求。默認的處理器會爲你處理一部分這種應答(例如:假如response是一個"重定向"，須要客戶端從別的地址獲取文檔，urllib2將爲你處理)。其餘不能處理的，urlopen會產生一個HTTPError。典型的錯誤包含"404"(頁面沒法找到)，"403"(請求禁止)，和"401"(帶驗證請求)。
請看RFC 2616 第十節有全部的HTTP錯誤碼
HTTPError實例產生後會有一個整型'code'屬性，是服務器發送的相關錯誤號。
由於默認的處理器處理了重定向(300之外號碼)，而且100-299範圍的號碼指示成功，因此你只能看到400-599的錯誤號碼。
BaseHTTPServer.BaseHTTPRequestHandler.response是一個頗有用的應答號碼字典，顯示了RFC 2616使用的全部的應答號。這裏爲了方便從新展現該字典。
當一個錯誤號產生後，服務器返回一個HTTP錯誤號，和一個錯誤頁面。你可使用HTTPError實例做爲頁面返回的應答對象response。這表示和錯誤屬性同樣，它一樣包含了read,geturl,和info方法。
|
1
2
3
4
5
6
7
|
>>> req
=
urllib2.Request(
'http://www.python.org/fish.html'
)
>>>
try
:
>>> urllib2.urlopen(req)
>>>
except
URLError, e:
>>>
print
e.code
>>>
print
e.read()
>>>
|
|
1
2
3
4
|
404
Error 404: File Not Found
...... etc...
|
爲了方便，代碼被複制到了這裏：
# Table mapping response codes to messages; entries have the
# form {code: (shortmessage, longmessage)}. responses = { 100: ('Continue', 'Request received, please continue'), 101: ('Switching Protocols', 'Switching to new protocol; obey Upgrade header'), 200: ('OK', 'Request fulfilled, document follows'), 201: ('Created', 'Document created, URL follows'), 202: ('Accepted', 'Request accepted, processing continues off-line'), 203: ('Non-Authoritative Information', 'Request fulfilled from cache'), 204: ('No Content', 'Request fulfilled, nothing follows'), 205: ('Reset Content', 'Clear input form for further input.'), 206: ('Partial Content', 'Partial content follows.'), 300: ('Multiple Choices', 'Object has several resources -- see URI list'), 301: ('Moved Permanently', 'Object moved permanently -- see URI list'), 302: ('Found', 'Object moved temporarily -- see URI list'), 303: ('See Other', 'Object moved -- see Method and URL list'), 304: ('Not Modified', 'Document has not changed since given time'), 305: ('Use Proxy', 'You must use proxy specified in Location to access this ' 'resource.'), 307: ('Temporary Redirect', 'Object moved temporarily -- see URI list'), 400: ('Bad Request', 'Bad request syntax or unsupported method'), 401: ('Unauthorized', 'No permission -- see authorization schemes'), 402: ('Payment Required', 'No payment -- see charging schemes'), 403: ('Forbidden', 'Request forbidden -- authorization will not help'), 404: ('Not Found', 'Nothing matches the given URI'), 405: ('Method Not Allowed', 'Specified method is invalid for this server.'), 406: ('Not Acceptable', 'URI not available in preferred format.'), 407: ('Proxy Authentication Required', 'You must authenticate with ' 'this proxy before proceeding.'), 408: ('Request Timeout', 'Request timed out; try again later.'), 409: ('Conflict', 'Request conflict.'), 410: ('Gone', 'URI no longer exists and has been permanently removed.'), 411: ('Length Required', 'Client must specify Content-Length.'), 412: ('Precondition Failed', 'Precondition in headers is false.'), 413: ('Request Entity Too Large', 'Entity is too large.'), 414