scrapy和scrapy-redis有什麼區別？爲何選擇redis數據庫？

1) scrapy是一個Python爬蟲框架，爬取效率極高，具備高度定製性，可是不支持分佈式。而scrapy-redis一套基於redis數據庫、運行在scrapy框架之上的組件，能夠讓scrapy支持分佈式策略，Slaver端共享Master端redis數據庫裏的item隊列、請求隊列和請求指紋集合。redis 2) 爲何選擇redis數據庫，由於redis支持主從同步，並且數據都是緩存在內存中

>>阅读原文<<