scrapy_redis

scrapy_redis相關 Redis數據庫 指紋集合 請求集合 數據 在終端執行 — slaver指令 ： scrapy runspider test.py 1） test.py是你的爬蟲文件名web 在master_Redis數據庫執行master指令： lpush redis_key url 1）redis_key 是本身設置的redis 請求出隊列的三種形式 1.默認的scrapy優先級

>>阅读原文<<