咱們已經講解了Python內置的urllib模塊，用於訪問網絡資源。可是，它用起來比較麻煩，並且，缺乏不少實用的高級功能。html
更好的方案是使用requests。它是一個Python第三方庫，處理URL資源特別方便。python
安裝requests
若是安裝了Anaconda，requests就已經可用了。不然，須要在命令行下經過pip安裝：sql
$ pip install requests
若是遇到Permission denied安裝失敗，請加上sudo重試。json
使用requests
要經過GET訪問一個頁面，只須要幾行代碼：api
>>> import requests
>>> r = requests.get('https://www.douban.com/') # 豆瓣首頁
>>> r.status_code
200
>>> r.text
r.text
'<!DOCTYPE HTML>\n<html>\n<head>\n<meta name="description" content="提供圖書、電影、音樂唱片的推薦、評論和...'
對於帶參數的URL，傳入一個dict做爲params參數：ruby
>>> r = requests.get('https://www.douban.com/search', params={'q': 'python', 'cat': '1001'}) >>> r.url # 實際請求的URL 'https://www.douban.com/search?q=python&cat=1001'
requests自動檢測編碼，可使用encoding屬性查看：cookie
>>> r.encoding 'utf-8'
不管響應是文本仍是二進制內容，咱們均可以用content屬性得到bytes對象：網絡
>>> r.content
b'<!DOCTYPE html>\n<html>\n<head>\n<meta http-equiv="Content-Type" content="text/html; charset=utf-8">\n...'
requests的方便之處還在於，對於特定類型的響應，例如JSON，能夠直接獲取：app
>>> r = requests.get('https://query.yahooapis.com/v1/public/yql?q=select%20*%20from%20weather.forecast%20where%20woeid%20%3D%202151330&format=json') >>> r.json() {'query': {'count': 1, 'created': '2017-11-17T07:14:12Z', ...
須要傳入HTTP Header時，咱們傳入一個dict做爲headers參數：post
>>> r = requests.get('https://www.douban.com/', headers={'User-Agent': 'Mozilla/5.0 (iPhone; CPU iPhone OS 11_0 like Mac OS X) AppleWebKit'})
>>> r.text
'<!DOCTYPE html>\n<html>\n<head>\n<meta charset="UTF-8">\n <title>豆瓣(手機版)</title>...'
要發送POST請求，只須要把get()方法變成post()，而後傳入data參數做爲POST請求的數據：
>>> r = requests.post('https://accounts.douban.com/login', data={'form_email': 'abc@example.com', 'form_password': '123456'})
requests默認使用application/x-www-form-urlencoded對POST數據編碼。若是要傳遞JSON數據，能夠直接傳入json參數：
params = {'key': 'value'} r = requests.post(url, json=params) # 內部自動序列化爲JSON
相似的，上傳文件須要更復雜的編碼格式，可是requests把它簡化成files參數：
>>> upload_files = {'file': open('report.xls', 'rb')} >>> r = requests.post(url, files=upload_files)
在讀取文件時，注意務必使用'rb'即二進制模式讀取，這樣獲取的bytes長度纔是文件的長度。
把post()方法替換爲put()，delete()等，就能夠以PUT或DELETE方式請求資源。
除了能輕鬆獲取響應內容外，requests對獲取HTTP響應的其餘信息也很是簡單。例如，獲取響應頭：
>>> r.headers
{Content-Type': 'text/html; charset=utf-8', 'Transfer-Encoding': 'chunked', 'Content-Encoding': 'gzip', ...} >>> r.headers['Content-Type'] 'text/html; charset=utf-8'
requests對Cookie作了特殊處理，使得咱們沒必要解析Cookie就能夠輕鬆獲取指定的Cookie：
>>> r.cookies['ts'] 'example_cookie_12345'
要在請求中傳入Cookie，只需準備一個dict傳入cookies參數：
>>> cs = {'token': '12345', 'status': 'working'} >>> r = requests.get(url, cookies=cs)
最後，要指定超時，傳入以秒爲單位的timeout參數：
>>> r = requests.get(url, timeout=2.5) # 2.5秒後超時