python之scrapy(五)分佈式爬蟲

Scrapy是一個比較好用的Python爬蟲框架，你只需要編寫幾個組件就可以實現網頁數據的爬取。但是當我們要爬取的頁面非常多的時候，單個主機的處理能力就不能滿足我們的需求了（無論是處理速度還是網絡請求的併發數），這時候分佈式爬蟲的優勢就顯現出來。 一、分佈式爬蟲的原理 下面是單機版本的Scrapy框架： Scrapy單機爬蟲中只有一個本地爬取隊列Queue，如果新的Request生成，就放到隊列裏

>>阅读原文<<