【爬蟲】分佈式爬蟲

分佈式爬蟲 分佈式的實現 實現流程 概念：需要搭建分佈式機羣，讓其對一組資源進行分佈聯合爬取 分佈式的實現 安裝scrapy-redis組件 原生的scrapy是不可以實現分佈式爬蟲的，必須讓scrapy結合scrapy-redis組件一起實現分佈式爬蟲 爲什麼原生的scrapy不能實現分佈式？【調度器、管道不可以被分佈式機羣共享】 scrapy-redis作用：給scrapy框架提供可被共享的調

>>阅读原文<<