scrapy分佈式爬蟲

scrapy_redis scrapy是一個通用的爬蟲框架，可是不支持分佈式，scrapy_redis是爲了更方便的實現scrapy分佈式爬取，而提供了一些以redis爲基礎的組件（僅有組件）。html scrapy_redis工做原理： 調度器將再也不負責Url的調度，而是將url上傳給scrapy_redis組件，由組件負責組織、去重 redis組件會經過指紋（key)來進行去重操做，而且把請

>>阅读原文<<