基於scrapy_redis部署scrapy分佈式爬蟲

1.使用cmd命令窗口下載工具包 scrapy_redis  2.使用PyCharm打開你的scrapy爬蟲項目，找到settings.py文件，配置scrapy爬蟲項目使用的調度器及過濾器 3.修改spiders目錄下的爬蟲文件  4.如果你的scrapy爬蟲項目連接的有遠程服務，例如MySql數據庫，Redis數據庫等，需要將遠程服務連接開啓，保證在其他的主機上能夠成功連接。 mysql數據庫

>>阅读原文<<