分佈式爬蟲架構設計

1.基於scrarpy-redis及celery設計分佈式架構爬蟲 Scrapy-redis Queue替換爲Redis對列 Scrapy-redis 分佈式架構圖 scrapy-redis改進型 這裏值得說明的是:可以基於Celery構建分佈消息任務隊列爬蟲Master作爲Producer任務生產者，Slaves作爲Workers執行者,實現爬蟲任務精確、靈活調度

>>阅读原文<<