基於Scrapy_redis部署scrapy分佈式爬蟲

1. 使用命令行工具下載工具包 scrapy_redis pip install scrapy_redis 2. 使用pycharm打開項目, 找到settings文件, 配置scrapy項目使用的調度器以及過濾器 3. 修改spider爬蟲文件 4. 如果連接的遠程服務, 例如MYSQL,Redis等, 需要將遠程服務連接開啓, 保證在其他主機上能連接成功 5. 配置遠程連接的MySQL及red

>>阅读原文<<