scrapy-redis分佈式爬蟲

依賴環境： Scrapy >= 1.1 Redis >= 2.8 分佈式爬蟲：將一個項目拷貝到多臺電腦上，同時爬取數據。 1. 必須保證所有電腦上的代碼是相同的配置。 2. 在其中一臺電腦上啓動redis和mysql的數據庫服務。 3. 同時將所有的爬蟲項目運行起來。 4. 在啓動redis和mysql數據庫的電腦上，向redis中添加起始的url。 q = queue() url = q.get

>>阅读原文<<