Python學習之Scrapy分佈式爬蟲構建

Master端（核心服務器）：使用Windows 10，搭建一個Redis數據庫，不負責爬取，只負責url指紋判重，請求的分配，以及數據的存儲 Slaver端（爬蟲程序執行端）：使用Mac OS X，Ubuntu 18.04負責執行爬蟲程序，運行過程當中提交新的url RedisSpider類不須要寫allowd_domains和start_urls：web scrapy-redis的在將從構造方

>>阅读原文<<