Python 爬蟲從入門到進階之路（三）

以前的文章咱們作了一個簡單的例子爬取了百度首頁的 html，本篇文章咱們再來看一下 Get 和 Post 請求。

在說 Get 和 Post 請求以前，咱們先來看一下 url 的編碼和解碼，咱們在瀏覽器的連接裏若是輸入有中文的話，如：https://www.baidu.com/s?wd=貼吧，那麼瀏覽器會自動爲咱們編碼成：https://www.baidu.com/s?wd=%E8%B4%B4%E5%90%A7，在 Python2.x 中咱們須要使用 urllib 模塊的 urlencode 方法，但咱們在以前的文章已經說過以後的內容以 Python3.x 爲主，因此咱們就說一下 Python3.x 中的編碼和解碼。

在 Python3.x 中，咱們須要引入 urllib.parse 模塊，以下：

1 import urllib.parse
2 data= {"kw":"貼吧"}
3 # 經過 urlencode() 方法，將字典鍵值對按URL編碼轉換，從而能被web服務器接受。
4 data = urllib.parse.urlencode(data)
5 print(data)  # kw=%E8%B4%B4%E5%90%A7
6 # 經過 unquote() 方法，把 URL編碼字符串，轉換回原先字符串。
7 data = urllib.parse.unquote(data)
8 print(data)  # kw=貼吧

下面咱們來看一下 Get 請求

GET請求通常用於咱們向服務器獲取數據，好比說，咱們用百度搜索 貼吧，結果以下

在其中咱們能夠看到在請求部分裏，http://www.baidu.com/s? 以後出現一個長長的字符串，其中就包含咱們要查詢的關鍵詞 貼吧，因而咱們能夠嘗試用默認的 Get 方式來發送請求。

 1 import urllib.request
 2 import urllib.parse
 3 import ssl
 4 
 5 # 取消代理驗證
 6 ssl._create_default_https_context = ssl._create_unverified_context
 7 
 8 # url 地址
 9 url = "http://www.baidu.com/s"
10 word = {"wd": "貼吧"}
11 word = urllib.parse.urlencode(word)  # 轉換成url編碼格式（字符串）
12 url = url + "?" + word  # url首個分隔符就是 ?
13 
14 # User-Agent
15 headers = {"User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.103 Safari/537.36"}
16 
17 # url 做爲Request()方法的參數，構造並返回一個Request對象
18 request = urllib.request.Request(url, headers=headers)
19 
20 # Request對象做爲urlopen()方法的參數，發送給服務器並接收響應
21 response = urllib.request.urlopen(request)
22 
23 # 類文件對象支持 文件對象的操做方法，如read()方法讀取文件所有內容，返回字符串
24 html = response.read().decode("utf-8")
25 
26 # 打印字符串
27 print(html)

咱們在請求頁面的時候將咱們要傳的值直接經過轉碼拼接在 url 地址後面，而後就能夠獲取到咱們想要的內容了，最終結果以下：

經過開發者工具看頁面的 HTML 和咱們獲得的結果是徹底一致的。

 

接下來咱們看一下 post 請求，先來看一個 post 請求接口：https://movie.douban.com/j/chart/top_list?type=11&interval_id=100:90&start=0&limit=10，該接口爲豆瓣的一個電影列表接口，爲 post 請求，url 問號後面的爲請求參數，結果以下：

若是咱們要使用 urllib 的 post 請求，則要在 Request 第二個參數加入咱們想要的參數，以下：

 1 import urllib.request
 2 import urllib.parse
 3 import ssl
 4 
 5 # 取消代理驗證
 6 ssl._create_default_https_context = ssl._create_unverified_context
 7 
 8 # User-Agent
 9 headers = {"User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.103 Safari/537.36"}
10 # post 請求參數
11 data = {
12     "type": "11",
13     "interval_id": "100:90",
14     "start": "0",
15     "limit": "10"
16 }
17 data = urllib.parse.urlencode(data).encode("utf-8")
18 
19 # url 做爲Request()方法的參數，構造並返回一個Request對象
20 request = urllib.request.Request("https://movie.douban.com/j/chart/top_list?", data=data, headers=headers)
21 
22 # Request對象做爲urlopen()方法的參數，發送給服務器並接收響應
23 response = urllib.request.urlopen(request)
24 
25 # 類文件對象支持 文件對象的操做方法，如read()方法讀取文件所有內容，返回字符串
26 html = response.read().decode("utf-8")
27 
28 # 打印字符串
29 print(html)

urllib 默認的是 get 請求，urllib.request.Request() 裏第一個參數爲 url 地址，第二個參數爲請求報頭 headers，請求包頭能夠不寫。

urllib 默認的是 get 請求，urllib.request.Request() 裏第一個參數爲 url 地址，第二個參數爲請求數據 data，第三個參數爲請求報頭 headers，請求包頭能夠不寫。

最終結果以下：

和咱們在頁面請求的結果是同樣的。

爲何有時候POST也能在URL內看到數據？

• GET方式是直接以連接形式訪問，連接中包含了全部的參數，服務器端用Request.QueryString獲取變量的值。若是包含了密碼的話是一種不安全的選擇，不過你能夠直觀地看到本身提交了什麼內容。

• POST則不會在網址上顯示全部的參數，服務器端用Request.Form獲取提交的數據，在Form提交的時候。可是HTML代碼裏若是不指定 method 屬性，則默認爲GET請求，Form中提交的數據將會附加在url以後，以?分開與url分開。

• 表單數據能夠做爲 URL 字段（method="get"）或者 HTTP POST （method="post"）的方式來發送。