基於scrapy_redis的分佈式爬蟲

1.安裝scrapy_redis包,打開cmd工具,執行命令pip install scrapy_redis。 2.準備好一個沒有BUG,沒有報錯的爬蟲項目。 3.打開該項目,找到settings文件,配置scrapy項目使用的調度器及過濾器 4. 修改spider爬蟲文件 5. 如果連接的有遠程服務,例如MySQL,Redis等,需要將遠程服務連接開啓,保證在其他主機上能夠成功連接 6.配置遠程

>>阅读原文<<