基於scrapy_redis部署的scrapy分佈式爬蟲

1. 首先使用命令行工具下載工具包 scrapy_redis （如果使用的是虛擬環境，先進入到虛擬環境） scrapy-redis：一個三方的基於redis的分佈式爬蟲框架，配合scrapy使用，讓爬蟲具有了分佈式爬取的功能 github地址： https://github.com/darkrho/scrapy-redis 2.打開項目配置settings 找到settings文件,配置scrap

>>阅读原文<<