Scrapy-redis改造scrapy實現分佈式多進程爬取

一.基本原理： Scrapy-Redis則是一個基於Redis的Scrapy分佈式組件。它利用Redis對用於爬取的請求(Requests)進行存儲和調度(Schedule)，並對爬取產生的項目(items)存儲以供後續處理使用。scrapy-redi重寫了scrapy一些比較關鍵的代碼，將scrapy變成一個能夠在多個主機上同時運行的分佈式爬蟲。 參考Scrapy-Redis官方github地址

>>阅读原文<<