scrapy-redis實現scrapy分佈式爬取分析

（1）在「http://www.zhihu.com/question/20899988」中，提到的： 「那麼，假設你如今有100臺機器能夠用，怎麼用python實現一個分佈式的爬取算法呢？ 咱們把這100臺中的99臺運算能力較小的機器叫做slave，另一臺較大的機器叫做master，那麼回顧上面代碼中的url_queue，若是咱們能把這個queue放到這臺master機器上，全部的slave均可以

>>阅读原文<<