爬蟲——urllib.request包

1、引用包

　　import urllib.request

2、經常使用方法

　　（1）urllib.request.urlretrieve(網址，本地文件存儲地址)：直接下載網頁到本地

　　　　urllib.request.urlretrieve("http://www.baidu.com","D:\1.html")

　　（2）urllib.request.urlcleanup()：清理緩存

　　（3）查看網頁基本內容

　　　　file = urllib.request.urlopen("http://www.baidu.com")

　　　　print(file.info()) #查看網頁信息

　　　　print(file.code())#查看網頁狀態碼

　　　　print(file.geturl())#獲取當前網頁的url

　　（4）設置網頁超時時間

　　　　urllib.request.urlopen("http"//www.baidu.com",timeout=1)

　　　　timeout就是網頁的超時時間設定

3、POST請求

import urllib.request
import urllib.parse 
post_url = "http://www.baidu.com"
post_data = urllib.parse.urlencode{
    "username":"username"
    "password":"password"
    }.encode("utf-8")

req = urllib.request.Request(post_url,post_data) 

4、異常處理

import urllib.request
import urllib.error

try:
    urllib.request.urlopen("http://www.baidu.com")
except urllib.error.URLError as e:
    if hasattr(e,"code"):
        print(e.code)
    if hasattr(e,"reason"):
        print(e.reason)