python requests模塊詳解

requests是python的一個HTTP客戶端庫，跟urllib，urllib2相似，那爲何要用requests而不用urllib2呢？官方文檔中是這樣說明的： 

python的標準庫urllib2提供了大部分須要的HTTP功能，可是API太逆天了，一個簡單的功能就須要一大堆代碼。 

我也看了下requests的文檔，確實很簡單，適合我這種懶人。下面就是一些簡單指南。 

插播個好消息！剛看到requests有了中文翻譯版，建議英文很差的看看，內容也比個人博客好多了，具體連接是：http://cn.python-requests.org/en/latest/(不過是v1.1.0版，另抱歉，以前貼錯連接了)。 

1. 安裝 

安裝很簡單，我是win系統，就在這裏下載了安裝包（網頁中download the zipball處連接），而後$ python setup.py install就裝好了。 
固然，有easy_install或pip的朋友能夠直接使用：easy_install requests或者pip install requests來安裝。 
至於linux用戶，這個頁面還有其餘安裝方法。 

      注：

      若是是linux系統，  python -m pip  install  requests 或者  python setup.py install就能夠安裝了
測試：在IDLE中輸入import requests，若是沒提示錯誤，那說明已經安裝成功了！ 

2. 小試牛刀

import  requests r= requests.get('https://www.baidu.com/s') print(r.status_code) print(r.headers['content-type']) print(r.encoding) print(r.text)

是否是很簡單？比urllib2和urllib簡單直觀的多？！那請接着看快速指南吧。

3. 快速指南 

3.1 發送請求 

發送請求很簡單的，首先要導入requests模塊： 

>>>import requests

接下來讓咱們獲取一個網頁，例如我我的博客的首頁： 

>>>r = requests.get('http://www.sharejs.com') 
接下來，咱們就可使用這個r的各類方法和函數了。 
另外，HTTP請求還有不少類型，好比POST,PUT,DELETE,HEAD,OPTIONS。也均可以用一樣的方式

由於目前我還沒用到這些，因此沒有深刻研究。 

>>> r = requests.post("http://httpbin.org/post")
>>> r = requests.put("http://httpbin.org/put")
>>> r = requests.delete("http://httpbin.org/delete")
>>> r = requests.head("http://httpbin.org/get")
>>> r = requests.options("http://httpbin.org/get")

3.2 在URLs中傳遞參數 

有時候咱們須要在URL中傳遞參數，好比在採集百度搜索結果時，咱們wd參數（搜索詞）和rn參數（搜素結果數量），

你能夠手工組成URL，requests也提供了一種看起來很NB的方法： 

import requests
r = requests.get('http://ip.taobao.com/service/getIpInfo.php?ip=122.88.60.28')
print(r.json()['data']['country'])

u'http://www.baidu.com/s?rn=100&wd=%E5%BC%A0%E4%BA%9A%E6%A5%A0' 

上面wd=的亂碼就是「張亞楠」的轉碼形式。（好像參數按照首字母進行了排序。） 

3.3 獲取響應內容 

能夠經過r.text來獲取網頁的內容。 

 print(r.url)
用r.content 或者r.print 來替換urllib2.urlopen(url)read()

>>>

文檔裏說，requests會自動將內容轉碼。大多數unicode字體都會無縫轉碼。但我在cygwin下使用時 總是出現UnicodeEncodeError錯誤，鬱悶。卻是在python的IDLE中徹底正常。

另外，還能夠經過r.content來獲取頁面內容。 

import requests
r = requests.get('http://ip.taobao.com/service/getIpInfo.php?ip=122.88.60.28')
print(r.content)

>>> r.content

文檔中說r.content是以字節的方式去顯示，因此在IDLE中以b開頭。但我在cygwin中用起來並無， 下載網頁正好。因此就替代了urllib2的urllib2.urlopen(url).read()功能。（基本上是我用的最多的一 個功能。）

3.4 獲取網頁編碼 

可使用r.encoding來獲取網頁編碼。 

import requests
r = requests.get('
print(r.status_code)

>>> r.encoding

當你發送請求時，requests會根據HTTP頭部來猜想網頁編碼，當你使用r.text時，requests就會使用這個編碼。固然你

還能夠修改requests的編碼形式。 

像上面的例子，對encoding修改後就直接會用修改後的編碼去獲取網頁內容。 

3.5 json 

像urllib和urllib2，若是用到json，就要引入新模塊，如json和simplejson，但在requests中已經有了內置的函數，r.json()。就拿查詢IP的API來講： 

>>>

r = requests.get('http://ip.taobao.com/service/getIpInfo.php?ip=122.88.60.28')
print(r.json()['data']['country'])

3.6 網頁狀態碼 

>>

咱們能夠用r.status_code來檢查網頁的狀態碼。 

>>>r.status_code

import  requests
def get_status(url):
    r = requests.get(url, allow_redirects=False)
    return r.status_code


print(get_status('http://www.zhidaow.com'))
# 200
print(get_status('http://www.zhidaow.com/hi404/'))
# 404
print(get_status('http://mengtiankong.com'))
# 301
print(get_status('http://www.baidu.com/link?url=QeTRFOS7TuUQRppa0wlTJJr6FfIYI1DJprJukx4Qy0XnsDO_s9baoO8u1wvjxgqN'))
# 302
print(get_status('http://www.huiya56.com/com8.intre.asp?46981.html'))
# 500

這裏能看出他是使用了302跳轉。也許有人認爲這樣能夠經過判斷和正則來獲取跳轉的狀態碼了，其實 還有個更簡單的方法：

前兩個例子很正常，能正常打開的返回200，不能正常打開的返回404。但第三個就有點奇怪了，那個 是百度搜索結果中的302跳轉地址，但狀態碼顯示是200，接下來我用了一招讓他原形畢露：

只要加上一個參數allow_redirects，禁止了跳轉，就直接出現跳轉的狀態碼了，好用吧？我也利用這個在最後一掌作了

個簡單的獲取網頁狀態碼的小應用，原理就是這個。 

>>> r.headers

3.7 響應頭內容 

能夠經過r.headers來獲取響應頭內容。 

{

import requests
# r = requests.get('http://www.zhidaow.com')
#
# print(r.request.headers)
#自定義請求頭部
r = requests.get('http://www.baidu.com')
print(r.request.headers['User-Agent'])
# print(r.request.headers)
# python-requests/1.2.3 CPython/2.7.3 Windows/XP

headers = {'User-Agent': 'alexkh'}
r = requests.get('http://www.zhidaow.com', headers=headers)
print(r.request.headers['User-Agent'])

.

能夠看到是以字典的形式返回了所有內容，咱們也能夠訪問部份內容。

)

3.8 設置超時時間

咱們能夠經過timeout屬性設置超時時間，一旦超過這個時間還沒得到響應內容，就會提示錯誤。 

Traceback (most recent call last):

3.9 代理訪問

採集時爲避免被封IP，常常會使用代理。requests也有相應的proxies屬性。

import  requests
proxies  = {
    "http" : "http://10.6.0.1:80",
    "https" : "http://10.6.0.100:80"
}
r = requests.get("http://www.zhidaow.com", proxies=proxies)
print(r.headers)

3.10 請求頭內容

若是代理須要帳戶和密碼，則需這樣：

proxies = {
    "http": "http://user:pass@10.10.1.10:3128/",
}

請求頭內容能夠用r.request.headers來獲取。  r = requests.get('http://www.baidu.com') print(r.request.headers['User-Agent']) # print(r.request.headers) # python-requests/1.2.3 CPython/2.7.3 Windows/XP headers = {'User-Agent': 'alexkh'} r = requests.get('http://www.zhidaow.com', headers=headers) print(r.request.headers['User-Agent'])

{3.11 自定義請求頭部

假裝請求頭部是採集時常常用的，咱們能夠用這個方法來隱藏： 

header}

3.12 持久鏈接keep-alive

requests的keep-alive是基於urllib3，同一會話內的持久鏈接徹底是自動的。同一會話內的全部請求都會自動使用恰當的鏈接。 

也就是說，你無需任何設置，requests會自動實現keep-alive。 

4. 簡單應用 

4.1 獲取網頁返回碼 

import  requests
def get_status(url):
    r = requests.get(url, allow_redirects=False)
    return r.status_code
print(get_status('http://www.zhidaow.com'))
# 200
print(get_status('http://www.zhidaow.com/hi404/'))
# 404
print(get_status('http://mengtiankong.com'))
# 301
print(get_status('http://www.baidu.com/link?url=QeTRFOS7TuUQRppa0wlTJJr6FfIYI1DJprJukx4Qy0XnsDO_s9baoO8u1wvjxgqN'))
# 302
print(get_status('http://www.huiya56.com/com8.intre.asp?46981.html'))
# 500

一、官方文檔 

後記

requests的具體安裝過程請看：http://docs.python-requests.org/en/latest/user/install.html#install 
requests的官方指南文檔：http://docs.python-requests.org/en/latest/user/quickstart.html 
requests的高級指南文檔：http://docs.python-requests.org/en/latest/user/advanced.html#advanced 
二、本文內容部分翻譯自官方文檔，部分本身概括。 
三、大多數用的IDLE格式，累死了，下次直接用編輯器格式，這樣更符合個人習慣。 
四、仍是那句話，有問題留言或email。