基於python，scrapy，redis實現主從式（分佈式的一種）master-slave爬蟲

前言 這是本人的第一篇博客，感觸仍是不少的，最近在幫朋友作一個分佈式爬蟲的論文，遇到不少坑，不過已經一一填平，廢話很少說啦。html 分類 (1)主從分佈式爬蟲: 由一臺master服務器, 來提供url的分發, 維護待抓取url的list。由多臺slave服務器執行網頁抓取功能， slave所抽取的新url，一概由master來處理解析，而slave之間不須要作任何通訊。 (2)對等分佈式爬蟲:

>>阅读原文<<