scrapy分佈式調度源碼及其實現過程

scrapy_redis.scheduler取代了scrapy自帶的scheduler調度，scheduler實現隊列、url去重、Request管理的功能， 負責調度各個spider的request請求，scheduler初始化時，通過settings文件讀取queue和dupefilters的類型（一般就用上邊默認的），配置queue和dupefilters使用的key（一般就是spider

>>阅读原文<<