爬蟲---scrapy-redis

scrapy redis 簡介 Scrapy-redis 是爲了更方便地實現 Scrapy 分佈式爬取，而提供了一些以 redis 爲基礎的 組件(僅有組件)。主體還是是 redis 和 scrapy 兩個庫，Scrapy-redis 像膠水一樣，把這 兩個插件粘結了起來。 特點：         能實現分佈式爬取         可實現去重         持續性爬取，可實現增量式爬蟲    

>>阅读原文<<