Scrapy之dupefilters(去重)以及源碼分析/depth

  避免重複訪問 　　scrapy默認使用 scrapy.dupefilter.RFPDupeFilter 進行去重，相關配置有：　 1 DUPEFILTER_CLASS = 'scrapy.dupefilter.RFPDupeFilter' 2 DUPEFILTER_DEBUG = False 3 JOBDIR = "保存記錄的日誌路徑，如：/root/" # 最終路徑爲 /root/requ

>>阅读原文<<