scrapy+redis實現url去重和斷續重連（增量爬取）

自定義過濾器： import hashlib from redis import StrictRedis from scrapy.dupefilters import RFPDupeFilter import os import redis from w3lib.url import canonicalize_url class URLRedisFilter(RFPDupeFilter):

>>阅读原文<<