RedisSpider的調度隊列實現過程及其源碼

對於非分佈式的scrapy爬蟲而言，不能共享爬蟲隊列，不能實現分佈式。RedisSpider是依賴Redis存儲中介，來實現多臺主機多爬蟲之間的通信，RedisSpider是去重是內部的queue.py文件實現的，內部實現了隊列、堆棧、優先級隊列，在調度的統一協調下最終實現分佈式協同工作。 queue.py的源碼 from scrapy.utils.reqser import request_to

>>阅读原文<<