scrapy-redis詳解

scrapy是一個工業化的爬蟲框架，應用廣泛，功能強大，scrapy-redis作爲scrapy功能的增加，主要多的功能是讓scrapy支持了分佈式，增加了持續去重，增加了斷點續爬，增量爬取等功能。最近學習了scrapy-redis的去重方式的源碼，這裏做一個簡單的總結。 這個圖片是scrapy-redis的源碼的文件結構。從名字中就可以看出大概的作用。connection,從名字中就可以看出來這

>>阅读原文<<