scrapy-redis分佈式爬蟲的配置

1.啓動Redis 在CMD中cd進入存放Redis.exe的文件夾，並運行:python redis-server.exe 2.爬蟲代碼的寫法 安裝web pip install scrapy-redis 不用分佈式的話爬蟲代碼是繼承自scrapy.Spider這個父類。這是Scrapy裏面最基本的一個爬蟲類，只能實現基本的爬蟲功能，使用分步式須要把它替換掉，從而實現更高級的功能。 下面是爬蟲代

>>阅读原文<<