scrapy分佈式Spider源碼分析及實現過程

分佈式框架scrapy_redis實現了一套完整的組件，其中也實現了spider，RedisSpider是在繼承原scrapy的Spider的基礎上略有改動，初始URL不在從start_urls列表中讀取，而是從redis起始隊列中讀取。 scrapy_redis源碼在scrapy.redis.spider中，不僅實現了RedisSpider（分佈式爬蟲）還實現了RedisCrawlSpider（

>>阅读原文<<