分佈式爬蟲原理（轉）

轉自：http://www.javashuo.com/article/p-ecezuiyy-ky.htmlhtml 咱們在前面已經實現了Scrapy微博爬蟲，雖然爬蟲是異步加多線程的，可是咱們只能在一臺主機上運行，因此爬取效率仍是有限的，分佈式爬蟲則是將多臺主機組合起來，共同完成一個爬取任務，這將大大提升爬取的效率。數據庫 1、分佈式爬蟲架構 在瞭解分佈式爬蟲架構以前，首先回顧一下Scrapy的架

>>阅读原文<<