requests模塊發送POST請求

在HTTP協議中，post提交的數據必須放在消息主體中，可是協議中並無規定必須使用什麼編碼方式，從而致使了 提交方式 的不一樣。服務端根據請求頭中的 Content-Type 字段來獲知請求中的消息主體是用何種方式進行編碼，再對消息主體進行解析。

具體的編碼方式包括以下：

- application/x-www-form-urlencoded  # 以form表單形式提交數據，最多見也是你們最熟悉的 
- application/json  # 以json串提交數據。 
- multipart/form-data  # 上傳文件

 

下面使用requests來發送上述三種編碼的POST請求。

1.提交Form表單

requests提交Form表單,通常存在於網站的登陸，用來提交用戶名和密碼。以 http://httpbin.org/post 爲例，在requests中，以form表單形式發送post請求，只須要將請求的參數構形成一個字典，而後傳給requests.post()的data參數便可。

代碼以下：

url = 'http://httpbin.org/post'
d = {'key1': 'value1', 'key2': 'value2'}
r = requests.post(url, data=d)  # requests.post() 中利用 data 屬性
print r.text

輸出效果以下：

{ "args":{}, "data":"", "files":{}, "form":{"key1":"value1","key2":"value2"}, "headers":{"Accept":"*/*","Accept-Encoding":"gzip, deflate", "Connection":"close", "Content-Length":"23", "Content-Type":"application/x-www-form-urlencoded", "Host":"httpbin.org", "User-Agent":"python-requests/2.12.3"}, "json":null, "origin":"113.140.11.122", "url":"http://httpbin.org/post" }

httpbin.org 網站能夠顯示你提交請求的內容，輸出的」Content-Type」:」application/x-www-form-urlencoded」,證實這是提交Form的方式。

 

2.提交json串

對於提交json串，主要是用於發送ajax請求中，動態加載數據。以拼多多網站爲例，加載商品的方式爲ajax，商品的內容在響應中。

下面把請求頭和請求實體列舉一下：

錯誤寫法：

import requests

url = "http://jinbao.pinduoduo.com/network/api/common/goodsList"
data ={"pageSize":60,"pageNumber":1,"withCoupon":0,"sortType":0}
headers = {
    'Content-Type':'application/json; charset=UTF-8',
    'Host':'jinbao.pinduoduo.com',
    'Origin':'http://jinbao.pinduoduo.com',
    'Referer':'http://jinbao.pinduoduo.com/',
    'User-Agent':'Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.181 Mobile Safari/537.36',
    'Accept': 'application/json, text/javascript, */*; q=0.01',
    }
r = requests.post(url=url,data =data,headers=headers)
print(r.text)

打印的內容以下：

{"success":false,"errorCode":4000000,"errorMsg":"System Error","result":null}

即便寫上了 'Content-Type':'application/json; charset=UTF-8' ，返回依然出錯了，緣由就在於 你的請求實體的格式錯了，服務端沒法解碼。

 

正確寫法1：

正確代碼是把data進行json編碼，再發送。代碼以下：

r = requests.post(url=url,data=json.dumps(data),headers=headers)  # 利用 json 對 字典序列化

這個時候再看一下打印內容,已經正確返回商品內容了

正確寫法2：

處理將data主動編碼爲json發送以外，requests還提供了一個json參數，自動使用json方式發送，並且在請求頭中也不用顯示聲明 'Content-Type':'application/json; charset=UTF-8'。
完整代碼以下：

import requests

url = "http://jinbao.pinduoduo.com/network/api/common/goodsList"
data ={"pageSize":60,"pageNumber":1,"withCoupon":0,"sortType":0}
headers = {
    'Host':'jinbao.pinduoduo.com',
    'Origin':'http://jinbao.pinduoduo.com',
    'Referer':'http://jinbao.pinduoduo.com/',
    'User-Agent':'Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.181 Mobile Safari/537.36',
}
r = requests.post(url=url,json =data,headers=headers)  # 直接把字典傳給 requests.post() 的 json 參數
print(r.text)

 

3.上傳文件：

上傳文件在爬蟲中使用的不多，不過仍是使用requests講解一下使用方式。Content-Type類型爲multipart/form-data，以multipart形式發送post請求，只需將一文件傳給  requests.post() 的  files參數  便可。仍是以  http://httpbin.org/post 爲例，代碼以下：

url = 'http://httpbin.org/post'
files = {'file': open('upload.txt', 'rb')}
r = requests.post(url, files=files  # 文件傳給 requests.post() 的 files 參數
print(r.text)

 

參考連接： https://blog.csdn.net/qiye_/article/details/80380955