使用Scrapy-redis實現分佈式爬取

Scrapy是一個比較好用的Python爬蟲框架，你只需要編寫幾個組件就可以實現網頁數據的爬取。但是當我們要爬取的頁面非常多的時候，單個主機的處理能力就不能滿足我們的需求了（無論是處理速度還是網絡請求的併發數），這時候分佈式爬蟲的優勢就顯現出來。 而Scrapy-Redis則是一個基於Redis的Scrapy分佈式組件。它利用Redis對用於爬取的請求(Requests)進行存儲和調度(Sched

>>阅读原文<<