scrapy利用redis實現url去重與增量爬取

引言 以前數據採集時有2個需求就是url去重與數據的增量爬去（只可以請求增長的url，否則會增長被爬網站的服務器負荷）,最開始的想法是指用redis的set實現url去重，但在後面開發中無心的解決了增量爬去的類容。下面貼上主要代碼。python 具體實現步驟 將每次爬去的連接存入redis（pipeline.py） class InsertRedis(object): def __init

>>阅读原文<<