使用 scrapy-redis實現分佈式爬蟲

Scrapy 和 scrapy-redis的區別 Scrapy 是一個通用的爬蟲框架，可是不支持分佈式，Scrapy-redis是爲了更方便地實現Scrapy分佈式爬取，而提供了一些以redis爲基礎的組件(僅有組件)。css pip install scrapy-redishtml Scrapy-redis提供了下面四種組件（components）：(四種組件意味着這四個模塊都要作相應的修改)p

>>阅读原文<<