如何玩耍scrapy的中間件?下面教你玩

使用下載器中間件時必須激活這個中間件,方法是在settings.py文件中設置DOWNLOADER_MIDDLEWARES這個字典,格式相似以下html

DOWNLOADER_MIDDLEWARES = {
'scrapy_test.middlewares.ScrapyTestDownloaderMiddleware': 543,
}

不想深究下去的就重點記住這個吧:數字越小,越靠近引擎,數字越大越靠近下載器,因此數字越小的,processrequest()優先處理;數字越大的,process_response()優先處理scrapy

 

轉載連接(詳細的看這個):https://www.lagou.com/lgeduarticle/35939.htmlssr

相關文章
相關標籤/搜索