爬蟲入門之Requests模塊學習(四)

1 Requests模塊解析

Requests 惟一的一個非轉基因的 Python HTTP 庫，人類能夠安全享用

Requests 繼承了urllib2的全部特性。Requests支持HTTP鏈接保持和鏈接池，支持使用cookie保持會話，支持文件上傳，支持自動肯定響應內容的編碼，支持國際化的 URL 和 POST 數據自動編碼。

requests 的底層實現其實就是 urllib3 
Requests的文檔很是完備，中文文檔也至關不錯。Requests能徹底知足當前網絡的需求，支持Python 2.6—3.5，並且能在PyPy下完美運行。

開源地址：https://github.com/kennethreitz/requests

中文文檔 API：http://docs.python-requests.org/zh_CN/latest/index.html

安裝

pip install requests

2 requests之get與post

(1) 基本的GET請求

response = requests.get("http://www.baidu.com/")
response = requests.request("get", "http://www.baidu.com/")

 

(2) 添加headers 和查詢參數

若是想添加 headers，能夠傳入headers參數來增長請求頭中的headers信息。若是要將參數放在url中傳遞，能夠利用params參數。

import requests

kw = {'wd':'長城'}
headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.99 Safari/537.36"}
# params 接收一個字典或者字符串的查詢參數，字典類型自動轉換爲url編碼，不須要urlencode()
response = requests.get("http://www.baidu.com/s?", params = kw, headers = headers)
# 查看響應內容，response.text 返回的是Unicode格式的數據
print response.text
# 查看響應內容，response.content返回的字節流數據
print respones.content
# 查看完整url地址
print response.url
# 查看響應頭部字符編碼
print response.encoding
# 查看響應碼
print response.status_code

#輸出
......  太多省略
......
'http://www.baidu.com/s?wd=%E9%95%BF%E5%9F%8E'
'utf-8'
200

使用response.text 時，Requests 會基於 HTTP 響應的文本編碼自動解碼響應內容，大多數 Unicode 字符集都能被無縫地解碼。

使用response.content 時，返回的是服務器響應數據的原始二進制字節流，能夠用來保存圖片等二進制文件。

(3) 基本之POST請求

response = requests.post("http://www.baidu.com/", data = data)

(4) 傳入data數據 
對於 POST 請求來講，咱們通常須要爲它增長一些參數。那麼最基本的傳參方法能夠利用data這個參數.

import requests

def youdaoAPI(kw):
    '''   :param kw:   翻譯的內容:return:'''
    # translate_o 去掉_o  這屬於其反爬措施
    url = "http://fanyi.youdao.com/translate?smartresult=dict&smartresult=rule"
    response = requests.post(url, data=kw, headers=header)
    res = response.content
    tgt = json.loads(res)
    print(tgt["translateResult"])

if __name__ == '__main__':

    kw = input("請輸入你想翻譯的內容：")
    timet = int(time.time() * 1000)
    data = {
        "i": kw,
        "from": "AUTO",
        "to": "AUTO",
        "smartresult": "dict",
        "client": "fanyideskweb",
        "salt": timet,
        "sign": "f66461b42fe9edb6d88230788fb33cfb",
        "doctype": "json",
        "version": "2.1",
        "keyfrom": "fanyi.web",
        "action ": "FY_BY_REALTIME",
        "typoResult ": "false",
    }
    youdaoAPI(data)

3 json文件數據

(1) json方法

print(response.json())  #所以json數據很好爬取

#輸出
{"type":"EN2ZH_CN","errorCode":0,"elapsedTime":2,"translateResult":[[{"src":"i love python","tgt":"我喜歡python"}]],"smartResult":{"type":1,"entries":["","肆文","高德納"]}}
{u'errorCode': 0, u'elapsedTime': 0, u'translateResult': [[{u'src': u'i love python', u'tgt': u'\u6211\u559c\u6b22python'}]], u'smartResult': {u'type': 1, u'entries': [u'', u'\u8086\u6587', u'\u9ad8\u5fb7\u7eb3']}, u'type': u'EN2ZH_CN'}

obj = json.loads()
json.dumps(obj,ensure_ascii = False)

(2) 代理設置

若是須要使用代理，你能夠經過爲任意請求方法提供proxies參數來配置單個請求：

import requests
# 根據協議類型，選擇不一樣的代理
proxies = {
  "http": "http://12.34.56.79:9527",
  "https": "http://12.34.56.79:9527",
}
response = requests.get("http://www.baidu.com", proxies = proxies)  #添加代理參數
print(response.text)
# 帶密碼代理
httpProxy = {"https": "http://User1:123456@10.3.132.6:808"}

(3) web客戶端驗證 
若是是Web客戶端驗證，須要添加 auth = (帳戶名, 密碼)

import requests
auth=('test', '123456') #用戶名與密碼
response = requests.get('http://192.168.199.107', auth = auth)
print(response.text)

4 cookies與session

(1) cookies

若是一個響應中包含了cookie，那麼咱們能夠利用 cookies參數拿到：

import requests

response = requests.get("http://www.baidu.com/")
# 7. 返回CookieJar對象:
cookiejar = response.cookies
# 8. 將CookieJar轉爲字典：
cookiedict = requests.utils.dict_from_cookiejar(cookiejar)

print(cookiejar)
print(cookiedict)

運行結果：

<RequestsCookieJar[<Cookie BDORZ=27315 for .baidu.com/>]>
{'BDORZ': '27315'}

(2) session

在 requests 裏，session對象是一個很是經常使用的對象，這個對象表明一次用戶會話：從客戶端瀏覽器鏈接服務器開始，到客戶端瀏覽器與服務器斷開。

會話能讓咱們在跨請求時候保持某些參數，好比在同一個 Session 實例發出的全部請求之間保持 cookie 。

實現人人網登陸

import requests

# 1. 建立session對象，能夠保存Cookie值
ssion = requests.session()

# 2. 處理 headers
headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.99 Safari/537.36"}

# 3. 須要登陸的用戶名和密碼
data = {"email":"mr_mao_hacker@163.com", "password":"alarmchime"}  

# 4. 發送附帶用戶名和密碼的請求，並獲取登陸後的Cookie值，保存在ssion裏
ssion.post("http://www.renren.com/PLogin.do", data = data)

# 5. ssion包含用戶登陸後的Cookie值，能夠直接訪問那些登陸後才能夠訪問的頁面
response = ssion.get("http://www.renren.com/410043129/profile")

# 6. 打印響應內容
print(response.text)
處理HTTPS請求 SSL證書驗證
Requests也能夠爲HTTPS請求驗證SSL證書：

#要想檢查某個主機的SSL證書，你可使用 verify 參數（也能夠不寫）
import requests
response = requests.get("https://www.baidu.com/", verify=True)

# 也能夠省略不寫
# response = requests.get("https://www.baidu.com/")
print r.text

若是SSL證書驗證不經過，或者不信任服務器的安全證書，則會報出SSLError，聽說 12306 證書是本身作的： 
來測試一下：

import requests
response = requests.get("https://www.12306.cn/mormhweb/")
print response.text
#果真:
SSLError: ("bad handshake: Error([('SSL routines', 'ssl3_get_server_certificate', 'certificate verify failed')],)",)

若是咱們想跳過 12306 的證書驗證，把 verify 設置爲 False 就能夠正常請求了。
import requests
response = requests.get("https://www.12306.cn/mormhweb/",verify=False)
print response.text

5 正則複習

#單字修飾符
.   匹配任意字符，除了換行符
[] 用來表示一組字符,單獨列出：[abc] 匹配 'a'，'b'或'c'
\d  匹配任意數字，等價於 [0-9].
\D 匹配任意非數字
\w 匹配字母數字及下劃線
\W  匹配非字母數字及下劃線
\s 匹配任意空白字符，等價於 [\t\n\r\f].
\S 匹配任意非空字符

#數量修飾符
*  匹配0個或多個的表達式
+ 匹配1個或多個的表達式
? 匹配0個或1個由前面的正則表達式定義的片斷，非貪婪方式
{m} 前面字符出現m次
{m,} 前面字符出現至少m次
{m,n} 前面字符出現m~n次

#邊界修飾符
^  以...開始
$  以...結尾
eg.  
'^abc' 匹配以abc開頭
‘abc$'  匹配以abc結尾

#分組修飾符
() 匹配括號內的表達式，也表示一個組
\1  \2  匹配第一、2個分組的內容

#貪婪模式  : 儘量多的匹配
#模式修飾符
re.S  單行模式
re.M  多行模式
re.I 忽略大小寫

#re.complie()
compile 函數用於編譯正則表達式，生成一個正則表達式Pattern對象

#findall()
在字符串中找到正則表達式所匹配的全部子串，並返回一個列表，若是沒有找到匹配的，則返回空列表。

6 設置User Agent的方法

1.在建立Request對象的時候，填入headers參數(包含User Agent信息)，這個Headers參數要求爲字典；

2.在建立Request對象的時候不添加headers參數，在建立完成以後，使用add_header()的方法，添加headers

#方法一
from urllib import request

if __name__ == "__main__":
    url = 'http://www.csdn.net/'
    head = {}
    #寫入User Agent信息
    head['User-Agent'] = 'Mozilla/5.0 (Linux; Android 4.1.1; Nexus 7 Build/JRO03D) AppleWebKit/535.19 (KHTML, like Gecko) Chrome/18.0.1025.166  Safari/535.19'
    #建立Request對象
    req = request.Request(url, headers=head)
    #傳入建立好的Request對象
    response = request.urlopen(req)
    #讀取響應信息並解碼
    html = response.read().decode('utf-8')
    #打印信息
    print(html)

#方法二    
from urllib import request
if __name__ == "__main__":
    #以CSDN爲例，CSDN不更改User Agent是沒法訪問的
    url = 'http://www.csdn.net/'
    #建立Request對象
    req = request.Request(url)
    #傳入headers
    req.add_header('User-Agent', 'Mozilla/5.0 (Linux; Android 4.1.1; Nexus 7 Build/JRO03D) AppleWebKit/535.19 (KHTML, like Gecko) Chrome/18.0.1025.166  Safari/535.19')
    #傳入建立好的Request對象
    response = request.urlopen(req)
    #讀取響應信息並解碼
    html = response.read().decode('utf-8')
    #打印信息
    print(html)

7 設置ip代理

(1)調用urlib.request.ProxyHandler()，proxies參數爲一個字典。

(2)建立Opener(相似於urlopen，這個代開方式是咱們本身定製的)

(3)安裝Opener

from urllib import request

if __name__ == "__main__":
    #訪問網址
    url = 'http://www.whatismyip.com.tw/'
    #這是代理IP
    proxy = {'http':'106.46.136.112:808'}
    #建立ProxyHandler
    proxy_support = request.ProxyHandler(proxy)
    #建立Opener
    opener = request.build_opener(proxy_support)
    #添加User Angent
    opener.addheaders = [('User-Agent','Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.2924.87 Safari/537.36')]
    #安裝OPener
    request.install_opener(opener)
    #使用本身安裝好的Opener
    response = request.urlopen(url)
    #讀取相應信息並解碼
    html = response.read().decode("utf-8")
    #打印信息
    print(html)

更多精彩文章關注微信公衆號【python社區營】