scrapy多個爬蟲公用一些中間件、pipelines

使用python3 請求頭headers：user-agent、代理ip，這些放在一個工程項目裏，有的爬蟲是需要中間件的或者根據反爬添加相應的條件，那這樣的情況下怎麼辦？ 1.中間件處理默認帶上請求頭，不帶啓用ip代理功能 spiders文件夾下的爬蟲類添加屬性 中間件處理 這樣不管爬蟲那邊有沒有添加屬性，middlewares裏就是會默認 2.有些情況下請求頭會帶上cookie、referer，

>>阅读原文<<