scrapy分佈式爬蟲的流程

最近在爬取網站中一直使用 redis 來管理分發爬蟲任務，讓我對 scrapy-redis 有很深入的理解，下面讓我慢慢說來。redis 首先說下scrapy 和scrapy-redis的關係 scrapy-redis 與 Scrapy的關係就像電腦與固態硬盤同樣，是電腦中的一個插件，能讓電腦更快的運行。 數據庫 Scrapy 是一個爬蟲框架，scrapy-redis 則是這個框架上能夠選擇的插件

>>阅读原文<<