爬蟲之Scarpy.Request

一 .Request

1.request

Scarpy中的HTTP請求對象

1.1.Requse的構造

#咱們ctrl+左鍵能夠看到Scarpy.Request的代碼
class Request(object_ref):

    def __init__(self, url, callback=None, method='GET', headers=None, body=None,
                 cookies=None, meta=None, encoding='utf-8', priority=0,
                 dont_filter=False, errback=None, flags=None):

 其中咱們能夠看出描述他的有這幾個因素
1.url:請求頁面的地址(必須有這個參數)
2.callback:頁面解析參數,(默認調用Spider的parse的方法)
3.method:http的請求方法,默認爲'GET'
4.header:請求頭部字典,NONE是不發生送給COOKIES
5.body:請求正文,bytes或者str數據類型
6.cookies:COOKIES信息字典
7meta:(我無法理解)
8.encoding:編碼方式
9.priority:請求優先級,默認值爲0
10.dont_filter:默認狀況下是False對同一url發送屢次請求不過會被過濾,對於變換的網頁咱們最好改爲Ture防止被過濾
11.errback:請求時發送錯誤進行回調
12.flags:(不清楚)

1.2經常使用的幾個參數

• url
• method
• headers
• body
• meta