【轉】Python 第三方 http 庫-Requests 學習

原文地址：http://www.itwhy.org/%E8%BD%AF%E4%BB%B6%E5%B7%A5%E7%A8%8B/python/python-%E7%AC%AC%E4%B8%89%E6%96%B9-http-%E5%BA%93-requests-%E5%AD%A6%E4%B9%A0.html

Requests 是用Python語言編寫，基於 urllib，採用 Apache2 Licensed 開源協議的 HTTP 庫。它比 urllib 更加方便，能夠節約咱們大量的工做，徹底知足 HTTP 測試需求。Requests 的哲學是以 PEP 20 的習語爲中心開發的，因此它比 urllib 更加 Pythoner。更重要的一點是它支持 Python3 哦！

• Beautiful is better than ugly.(美麗優於醜陋)
• Explicit is better than implicit.(清楚優於含糊)
• Simple is better than complex.(簡單優於複雜)
• Complex is better than complicated.(複雜優於繁瑣)
• Readability counts.(重要的是可讀性)

 

1、安裝 Requests

經過pip安裝

Code example:

1	$ pip install requests

或者，下載代碼後安裝：

Code example:

1 2 3

$ git clone git: //github .com /kennethreitz/requests .git $ cd requests $ python setup.py install

再懶一點，經過IDE安裝吧，如pycharm！

2、發送請求與傳遞參數

先來一個簡單的例子吧！讓你瞭解下其威力：

Code example:

1 2 3 4 5 6 7

import requests   r = requests.get(url = 'http://www.itwhy.org' )    # 最基本的GET請求 print (r.status_code)    # 獲取返回狀態 r = requests.get(url = 'http://dict.baidu.com/s' , params = { 'wd' : 'python' })   #帶參數的GET請求 print (r.url) print (r.text)   #打印解碼後的返回數據

很簡單吧！不但GET方法簡單，其餘方法都是統一的接口樣式哦！

requests.get(‘https://github.com/timeline.json’) #GET請求
requests.post(「http://httpbin.org/post」) #POST請求
requests.put(「http://httpbin.org/put」) #PUT請求
requests.delete(「http://httpbin.org/delete」) #DELETE請求
requests.head(「http://httpbin.org/get」) #HEAD請求
requests.options(「http://httpbin.org/get」) #OPTIONS請求

PS：以上的HTTP方法，對於WEB系統通常只支持 GET 和 POST，有一些還支持 HEAD 方法。
帶參數的請求實例：

Code example:

1 2 3

import requests requests.get( 'http://www.dict.baidu.com/s' , params = { 'wd' : 'python' })    #GET參數實例 requests.post( 'http://www.itwhy.org/wp-comments-post.php' , data = { 'comment' : '測試POST' })    #POST參數實例

POST發送JSON數據：

Code example:

1 2 3 4 5

import requests import json   r = requests.post( 'https://api.github.com/some/endpoint' , data = json.dumps({ 'some' : 'data' })) print (r.json())

定製header：

Code example:

1 2 3 4 5 6 7 8 9

import requests import json   data = { 'some' : 'data' } headers = { 'content-type' : 'application/json' ,             'User-Agent' : 'Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:22.0) Gecko/20100101 Firefox/22.0' }   r = requests.post( 'https://api.github.com/some/endpoint' , data = data, headers = headers) print (r.text)

3、Response對象

使用requests方法後，會返回一個response對象，其存儲了服務器響應的內容，如上實例中已經提到的 r.text、r.status_code……
獲取文本方式的響應體實例：當你訪問 r.text 之時，會使用其響應的文本編碼進行解碼，而且你能夠修改其編碼讓 r.text 使用自定義的編碼進行解碼。

Code example:

1 2 3 4

r = requests.get( 'http://www.itwhy.org' ) print (r.text, '\n{}\n' . format ( '*' * 79 ), r.encoding) r.encoding = 'GBK' print (r.text, '\n{}\n' . format ( '*' * 79 ), r.encoding)

其餘響應：

r.status_code #響應狀態碼
r.raw #返回原始響應體，也就是 urllib 的 response 對象，使用 r.raw.read() 讀取
r.content #字節方式的響應體，會自動爲你解碼 gzip 和 deflate 壓縮
r.text #字符串方式的響應體，會自動根據響應頭部的字符編碼進行解碼
r.headers #以字典對象存儲服務器響應頭，可是這個字典比較特殊，字典鍵不區分大小寫，若鍵不存在則返回None
#*特殊方法*#
r.json() #Requests中內置的JSON解碼器
r.raise_for_status() #失敗請求(非200響應)拋出異常

案例之一：

Code example:

1 2 3 4 5 6 7 8 9 10 11

import requests   URL = 'http://ip.taobao.com/service/getIpInfo.php'  # 淘寶IP地址庫API try :      r = requests.get(URL, params = { 'ip' : '8.8.8.8' }, timeout = 1 )      r.raise_for_status()    # 若是響應狀態碼不是 200，就主動拋出異常 except requests.RequestException as e:      print (e) else :      result = r.json()      print ( type (result), result, sep = '\n' )

4、上傳文件

使用 Requests 模塊，上傳文件也是如此簡單的，文件的類型會自動進行處理：

Code example:

1 2 3 4 5 6 7 8

import requests   url = 'http://127.0.0.1:5000/upload' files = { 'file' : open ( '/home/lyb/sjzl.mpg' , 'rb' )} #files = {'file': ('report.jpg', open('/home/lyb/sjzl.mpg', 'rb'))}     #顯式的設置文件名   r = requests.post(url, files = files) print (r.text)

更加方便的是，你能夠把字符串當着文件進行上傳：

Code example:

1 2 3 4 5 6 7

import requests   url = 'http://127.0.0.1:5000/upload' files = { 'file' : ( 'test.txt' , b 'Hello Requests.' )}     #必需顯式的設置文件名   r = requests.post(url, files = files) print (r.text)

5、身份驗證

基自己份認證(HTTP Basic Auth):

Code example:

1 2 3 4 5 6

import requests from requests.auth import HTTPBasicAuth   r = requests.get( 'https://httpbin.org/hidden-basic-auth/user/passwd' , auth = HTTPBasicAuth( 'user' , 'passwd' )) # r = requests.get('https://httpbin.org/hidden-basic-auth/user/passwd', auth=('user', 'passwd'))    # 簡寫 print (r.json())

另外一種很是流行的HTTP身份認證形式是摘要式身份認證，Requests對它的支持也是開箱便可用的:

Code example:

1	requests.get(URL, auth = HTTPDigestAuth( 'user' , 'pass' ))

6、Cookies與會話對象

若是某個響應中包含一些Cookie，你能夠快速訪問它們：

Code example:

1 2 3 4 5

import requests   r = requests.get( 'http://www.google.com.hk/' ) print (r.cookies[ 'NID' ]) print ( tuple (r.cookies))

要想發送你的cookies到服務器，可使用 cookies 參數：

Code example:

1 2 3 4 5 6 7

import requests   url = 'http://httpbin.org/cookies' cookies = { 'testCookies_1' : 'Hello_Python3' , 'testCookies_2' : 'Hello_Requests' } # 在Cookie Version 0中規定空格、方括號、圓括號、等於號、逗號、雙引號、斜槓、問號、@，冒號，分號等特殊符號都不能做爲Cookie的內容。 r = requests.get(url, cookies = cookies) print (r.json())

會話對象讓你可以跨請求保持某些參數，最方便的是在同一個Session實例發出的全部請求之間保持cookies，且這些都是自動處理的，甚是方便。
下面就來一個真正的實例，以下是快盤簽到腳本：

Code example:

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20

import requests   headers = { 'Accept' : 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8' ,             'Accept-Encoding' : 'gzip, deflate, compress' ,             'Accept-Language' : 'en-us;q=0.5,en;q=0.3' ,             'Cache-Control' : 'max-age=0' ,             'Connection' : 'keep-alive' ,             'User-Agent' : 'Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:22.0) Gecko/20100101 Firefox/22.0' }   s = requests.Session() s.headers.update(headers) # s.auth = ('superuser', '123') s.get( 'https://www.kuaipan.cn/account_login.htm' )   _URL = 'http://www.kuaipan.cn/index.php' s.post(_URL, params = { 'ac' : 'account' , 'op' : 'login' },         data = { 'username' : '****@foxmail.com' , 'userpwd' : '********' , 'isajax' : 'yes' }) r = s.get(_URL, params = { 'ac' : 'zone' , 'op' : 'taskdetail' }) print (r.json()) s.get(_URL, params = { 'ac' : 'common' , 'op' : 'usersign' })

7、超時與異常

timeout 僅對鏈接過程有效，與響應體的下載無關。

Code example:

1 2 3 4

>>> requests.get( 'http://github.com' , timeout = 0.001 ) Traceback (most recent call last):    File "<stdin>" , line 1 , in <module> requests.exceptions.Timeout: HTTPConnectionPool(host = 'github.com' , port = 80 ): Request timed out. (timeout = 0.001 )

全部Requests顯式拋出的異常都繼承自 requests.exceptions.RequestException：ConnectionError、HTTPError、Timeout、TooManyRedirects。

更多高級功能請訪問官方網站手冊：http://cn.python-requests.org/en/latest/