scrapy通過自定義類給爬取的url去重

之前我們是通過在parse函數裏設置集合來解決url去重的問題。 首先先在根目錄中建立一個新的duplication的py文件，在from scrapy.dupefilter import RFPDupeFilter，在RFPDupeFilter源碼中把BaseDupeFilter類複製到新建的duolication中。 class RepeatFilter(object): def __

>>阅读原文<<