scrapy 斷點續爬 在setting中的配置項

在scrapy_redis中,若是須要斷點續爬,咱們須要在setting配置文件中,添加以下配置: #----1 設置重複過濾器的模塊web DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter" #----2 設置調取器，scrap_redis中的調度器具有與數據庫交互的功能redis SCHEDULER = "scrapy_redi

>>阅读原文<<