Scrapy - redis 分佈式爬取淘寶商品數據

      上一篇文章我們用Scrapy單機爬取淘寶商品數據，由於CPU、IO和帶寬等多重限制，單主機爬蟲在爬取大量數據時可用性、穩定性和性能都不是很高。爲了提高爬取效率、防止被網站反爬蟲策略限制IP等各方面原因我們採取Scrapy分佈式爬蟲。 Scrapy分佈式原理        打造Scrapy分佈式爬蟲的關鍵是調度，因爲需要將單機關聯起來，我們採用的方式是消息隊列。 單機架構，只在本機維護一

>>阅读原文<<