scrapy-redis分佈式爬蟲的搭建過程（理論篇）

scrapy-redis分佈式爬蟲的搭建過程（理論篇） 1. 背景 Scrapy 是一個通用的爬蟲框架，可是不支持分佈式，Scrapy-redis是爲了更方便地實現Scrapy分佈式爬取，而提供了一些以redis爲基礎的組件(僅有組件)。 2. 環境 系統：win7 scrapy-redis redis 3.0.5 python 3.6.1 3. 原理 3.1. 對比一下scrapy 和 Scra

>>阅读原文<<