基於Scrapy_redis部署scrapy分佈式爬蟲

1.使用命令行工具下載工具包 scrapy_redis 2.使用pycharm打開項目,找到settings文件,配置scrapy項目使用的調度器及過濾器 3.修改spider爬蟲文件 4.如果連接的有遠程服務,例如MySQL,Redis等,需要將遠程服務連接開啓,保證在其他主機上能夠成功連接 5.配置遠程連接的MySQL及redis地址 分佈式用到的代碼應該是同一套代碼 1） 先把項目配置爲分佈

>>阅读原文<<