Scrapy_redis分佈式部署爬蟲

Scrapy_redis分佈式部署爬蟲 對於接觸完過scrapy框架的同學，下一步就是部署分佈式爬蟲，讓爬取的速率大大提高。既然要用Scrapy_redis部署爬蟲，那就要安裝scrapy_redis第三方庫。下面就是開始教程。 一.使用安裝命令 pip install scrapy_redis 二.既然是分佈式部署，scrapy項目裏的相關文件就要進行配置，例子如下: 1…使用pycharm打開

>>阅读原文<<