使用scrapy-redis搭建分佈式爬蟲環境

使用scrapy-redis搭建分佈式爬蟲環境 scrapy-redis簡介 scrapy-redis是scrapy框架基於redis數據庫的組件，用於scrapy項目的分佈式開發和部署。 有如下特徵：  分佈式爬取 您可以啓動多個spider工程，相互之間共享單個redis的requests隊列。最適合廣泛的多個域名網站的內容爬取。  分佈式數據處理 爬取到的scrapy的item數據可以推

>>阅读原文<<