Python爬蟲從入門到放棄（二十三）之 Scrapy的中間件Downloader Middleware實現User-Agent隨機切換...

總架構理解Middleware 通過scrapy官網最新的架構圖來理解： 這個圖較之前的圖順序更加清晰，從圖中我們可以看出，在spiders和ENGINE提及ENGINE和DOWNLOADER之間都可以設置中間件，兩者是雙向的，並且是可以設置多層. 關於Downloader Middleware我在http://www.cnblogs.com/zhaof/p/7198407.html   這篇博客

>>阅读原文<<