Scrapy-Redis分佈式爬蟲組件

Scrapy是一個框架，他本身是不支持分佈式的。如果我們想要做分佈式的爬蟲，就需要藉助一個組件叫做Scrapy-Redis，這個組件正是利用了Redis可以分佈式的功能，集成到Scrapy框架中，使得爬蟲可以進行分佈式。可以充分的利用資源（多個ip、更多帶寬、同步爬取）來提高爬蟲的爬行效率。 安裝：通過pip install scrapy-redis即可安裝。 分佈式爬蟲的優點： 可以充分利用多臺

>>阅读原文<<