分佈式爬蟲配置（伯樂在線爲例）

依賴環境： redis >=2.8 scrapy >=1.1html 分佈式爬蟲：將一個項目拷貝到多臺電腦上，同時爬取數據。 1.必須保證全部電腦上的代碼是相同的配置。 2.在其中一臺電腦上啓動redis和MySQL的數據庫服務。 3.同時將全部的爬蟲項目運行起來。 4.在啓動redis和MySQL的電腦上， 向redis中添加起始的url。python q = queue() url = q.g

>>阅读原文<<