分佈式配置

一.settings文件配置

ITEM_PIPELINES = { 'scrapy_redis.pipelines.RedisPipeline': 400 }
 # 增長了一個去重容器類的配置, 做用使用Redis的set集合來存儲請求的指紋數據, 從而實現請求去重的持久化
DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter"

# 使用scrapy-redis組件本身的調度器
SCHEDULER = "scrapy_redis.scheduler.Scheduler"

# 配置調度器是否要持久化, 也就是當爬蟲結束了, 要不要清空Redis中請求隊列和去重指紋的set。若是是True, 就表示要持久化存儲, 就不清空數據, 不然清空數據
SCHEDULER_PERSIST = True REDIS_HOST = '192.168.xxx.xxx' REDIS_PORT = 6379 REDIS_ENCODING = 'utf-8'

二.對redis進行配置

 - #bind 127.0.0.1
 - protected-mode no