scrapy middlewares process_request/response不同返回值的分析

  最近學習scrapy爬蟲框架,領略到中間件的強大作用,隨機設置UA、設置代理、對接selenium等,但是對於process_request以及process_response的返回值和他們的作用不是很理解,網上的解釋也十分籠統,如下截屏: 今天我做了一個相關的測試,詳細看看不同返回值scrapy是如何處理的。 主函數如下: process_request - 返回None 代碼如下: 結果如
相關文章
相關標籤/搜索