python scrapy d 去重

1. scrapy對request的URL去重 yield scrapy.Request(url, self.parse, dont_filter=False) 注意這個參數：dont_filter=False安全 2. Jobs: 暫停，恢復爬蟲 啓用一個爬蟲的持久化，運行如下命令:bash scrapy crawl somespider -s JOBDIR=crawls/somespider-

>>阅读原文<<