基於scrapy_redis部署scrapy分佈式爬蟲

1使用命令行下載包 scrapy_redis 使用pycharm打開項目,找到settings文件,配置scrapy項目使用的調度器及過濾器 這個讓scrapy不使用自己的調度器，使用scrapy_redis重寫的調度器 SCHEDULER = "scrapy_redis.scheduler.Scheduler" 這個是讓scrapy使用scrapy_redis重寫的去重方法，運用redis的去重

>>阅读原文<<