scrapy_redis分佈式爬蟲總結

一，scrapy_redis分佈式爬蟲圖解 二、scrapy-redis實現scrapy分佈式爬取分析的原理 scrapy-redis原理: 1.spider解析下載器下載下來的response,返回item或者是links 2.item或者links經過spidermiddleware的process_spider_out()方法，交給engine。 3.engine將item交給itempip

>>阅读原文<<