scrapy-redis 介紹

1.介紹 scrapy是一個爬蟲框架，但是不支持分佈式。scrapy-redis在scrapy的基礎上，更方便地實現了分佈式。 scrapy-redis提供了下面四種組件（component）：（四種組件意味着scrapy的四個模塊都要修改） Scheduler Duplication Filter Item Pipeline Base Spider Schedular: 改造了python本來的

>>阅读原文<<