Python:從零搭建Redis-Scrapy分佈式爬蟲

  Scrapy-Redis分佈式策略： 假設有四臺電腦：Windows 10、Mac OS X、Ubuntu 16.04、CentOS 7.2，任意一臺電腦都可以作爲 Master端 或 Slaver端，比如： Master端(核心服務器) ：使用 Windows 10，搭建一個Redis數據庫，不負責爬取，只負責url指紋判重、Request的分配，以及數據的存儲 Slaver端(爬蟲程序執行

>>阅读原文<<