Redis-Scrapy分佈式爬蟲

Scrapy-Redis分佈式策略： Scrapy_redis在scrapy的基礎上實現了更多，更強大的功能，具體體現在： reqeust去重，爬蟲持久化，和輕鬆實現分佈式   假設有四臺電腦：Windows 10、Mac OS X、Ubuntu 16.04、CentOS 7.2，任意一臺電腦都可以作爲 Master端 或 Slaver端，比如： Master端(核心服務器) ：使用 Window

>>阅读原文<<