Bloom Filter替換Scrapy-Redis集合去重

Bloom Filter替換Scrapy-Redis集合去重 Scrapy-Redis源碼解析傳送門 Scrapy-Redis在dupefilter.py文件中主要使用Redis集合來保存Request的指紋，提供重複過濾。web dupefilter.py文件修改 修改其中的request_seen()方法。redis def request_seen(self, request):

>>阅读原文<<