爬蟲中urllib庫

一.urllib庫

　　urllib是Python自帶的一個用於爬蟲的庫，其主要做用就是能夠經過代碼模擬瀏覽器發送請求。其常被用到的子模塊在Python3中的爲urllib.request和urllib.parse，在Python2中是urllib和urllib2。

通常是用urllib 庫 爬取圖片比較方便, requests 庫 封裝的比 urllib庫好多了 

二.由易到難的爬蟲程序：

　　1.爬取百度首頁面全部數據值

#!/usr/bin/env python 
# -*- coding:utf-8 -*-
#導包
import urllib.request
import urllib.parse
if __name__ == "__main__":
    #指定爬取的網頁url
    url = 'http://www.baidu.com/'
    #經過urlopen函數向指定的url發起請求，返回響應對象
    reponse = urllib.request.urlopen(url=url)
    #經過調用響應對象中的read函數，返回響應回客戶端的數據值（爬取到的數據）
    data = reponse.read()#返回的數據爲byte類型，並不是字符串
    print(data)#打印顯示爬取到的數據值。

#補充說明
urlopen函數原型：urllib.request.urlopen(url, data=None, timeout=<object object at 0x10af327d0>, *, cafile=None, capath=None, cadefault=False, context=None)

在上述案例中咱們只使用了該函數中的第一個參數url。在平常開發中，咱們能用的只有url和data這兩個參數。

url參數：指定向哪一個url發起請求
data參數：能夠將post請求中攜帶的參數封裝成字典的形式傳遞給該參數（暫時不須要理解，後期會講）

urlopen函數返回的響應對象，相關函數調用介紹：
response.headers()：獲取響應頭信息
response.getcode()：獲取響應狀態碼
response.geturl()：獲取請求的url
response.read()：獲取響應中的數據值（字節類型）

2.將爬取到百度新聞首頁的數據值寫入文件進行存儲

#!/usr/bin/env python 
# -*- coding:utf-8 -*-
import urllib.request
import urllib.parse
if __name__ == "__main__":
    url = 'http://news.baidu.com/'
    reponse = urllib.request.urlopen(url=url)
    #decode()做用是將響應中字節（byte）類型的數據值轉成字符串類型
    data = reponse.read().decode()
    #使用IO操做將data表示的數據值以'w'權限的方式寫入到news.html文件中
    with open('./news.html','w') as fp:
        fp.write(data)
    print('寫入文件完畢')

3.爬取網絡上某張圖片數據，且存儲到本地

#!/usr/bin/env python 
# -*- coding:utf-8 -*-
import urllib.request
import urllib.parse
#以下兩行代碼表示忽略https證書，由於下面請求的url爲https協議的請求，若是請求不是https則該兩行代碼可不用。
import ssl
ssl._create_default_https_context = ssl._create_unverified_context

if __name__ == "__main__":
    #url是https協議的
    url = 'https://timgsa.baidu.com/timg?image&quality=80&size=b9999_10000&sec=1536918978042&di=172c5a4583ca1d17a1a49dba2914cfb9&imgtype=0&src=http%3A%2F%2Fimgsrc.baidu.com%2Fimgad%2Fpic%2Fitem%2F0dd7912397dda144f04b5d9cb9b7d0a20cf48659.jpg'
    reponse = urllib.request.urlopen(url=url)
    data = reponse.read()#由於爬取的是圖片數據值(二進制數據)，則無需使用decode進行類型轉換。
    with open('./money.jpg','wb') as fp:
        fp.write(data)
    print('寫入文件完畢')

4.url的特性：url必須爲ASCII編碼的數據值。因此咱們在爬蟲代碼中編寫url時，若是url中存在非ASCII編碼的數據值，則必須對其進行ASCII編碼後，該url方可被使用。

案例：

爬取使用百度根據指定詞條搜索到的頁面數據（例如爬取詞條爲‘周杰倫’的頁面數據）

#!/usr/bin/env python 
# -*- coding:utf-8 -*-
import urllib.request
import urllib.parse

if __name__ == "__main__":
    #原始url中存在非ASCII編碼的值，則該url沒法被使用。
    #url = 'http://www.baidu.com/s?ie=utf-8&kw=周杰倫'
    #處理url中存在的非ASCII數據值
    url = 'http://www.baidu.com/s?'
    #將帶有非ASCII的數據封裝到字典中，url中非ASCII的數據每每都是'?'後面鍵值形式的請求參數
    param = {
        'ie':'utf-8',
        'wd':'周杰倫'
    }
    #使用parse子模塊中的urlencode函數將封裝好的字典中存在的非ASCII的數值進行ASCII編碼
    param = urllib.parse.urlencode(param)
    #將編碼後的數據和url進行整合拼接成一個完整可用的url
    url = url + param
    print(url)
    response = urllib.request.urlopen(url=url)
    data = response.read()
    with open('./周杰倫.html','wb') as fp:
        fp.write(data)
    print('寫入文件完畢')

　5.經過自定義請求對象，用於假裝爬蟲程序請求的身份。

　　　　以前在講解http經常使用請求頭信息時，咱們講解過User-Agent參數，簡稱爲UA，該參數的做用是用於代表本次請求載體的身份標識。若是咱們經過瀏覽器發起的請求，則該請求的載體爲當前瀏覽器，則UA參數的值代表的是當前瀏覽器的身份標識表示的一串數據。若是咱們使用爬蟲程序發起的一個請求，則該請求的載體爲爬蟲程序，那麼該請求的UA爲爬蟲程序的身份標識表示的一串數據。有些網站會經過辨別請求的UA來判別該請求的載體是否爲爬蟲程序，若是爲爬蟲程序，則不會給該請求返回響應，那麼咱們的爬蟲程序則也沒法經過請求爬取到該網站中的數據值，這也是反爬蟲的一種初級技術手段。那麼爲了防止該問題的出現，則咱們能夠給爬蟲程序的UA進行假裝，假裝成某款瀏覽器的身份標識。

　　　　上述案例中，咱們是經過request模塊中的urlopen發起的請求，該請求對象爲urllib中內置的默認請求對象，咱們沒法對其進行UA進行更改操做。urllib還爲咱們提供了一種自定義請求對象的方式，咱們能夠經過自定義請求對象的方式，給該請求對象中的UA進行假裝（更改）操做。

#!/usr/bin/env python 
# -*- coding:utf-8 -*-
import urllib.request
import urllib.parse

import ssl
ssl._create_default_https_context = ssl._create_unverified_context

if __name__ == "__main__":
    #原始url中存在非ASCII編碼的值，則該url沒法被使用。
    #url = 'http://www.baidu.com/s?ie=utf-8&kw=周杰倫'
    #處理url中存在的非ASCII數據值
    url = 'http://www.baidu.com/s?'
    #將帶有非ASCII的數據封裝到字典中，url中非ASCII的數據每每都是'?'後面鍵值形式的請求參數
    param = {
        'ie':'utf-8',
        'wd':'周杰倫'
    }
    #使用parse子模塊中的urlencode函數將封裝好的字典中存在的非ASCII的數值進行ASCII編碼
    param = urllib.parse.urlencode(param)
    #將編碼後的數據和url進行整合拼接成一個完整可用的url
    url = url + param
    #將瀏覽器的UA數據獲取，封裝到一個字典中。該UA值能夠經過抓包工具或者瀏覽器自帶的開發者工具中獲取某請求，從中獲取UA的值
    headers={
        'User-Agent' : 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36'
    }
    #自定義一個請求對象
    #參數：url爲請求的url。headers爲UA的值。data爲post請求的請求參數（後面講）
    request = urllib.request.Request(url=url,headers=headers)

    #發送咱們自定義的請求（該請求的UA已經進行了假裝）
    response = urllib.request.urlopen(request)

    data=response.read()

    with open('./周杰倫.html','wb') as fp:
        fp.write(data)
    print('寫入數據完畢')