scrapy-redis 更改隊列和分佈式爬蟲

爲初學者方便對分佈式爬蟲的學習，總結了一下自己的理解和網上的知識點 初學者的幾個疑問點： 1.什麼是分佈式爬蟲？ 請參考：http://www.javashuo.com/article/p-ecezuiyy-ky.html 2.分佈式爬蟲需要掌握哪些技能？ scrapy-redis原理 3.scrapy-redis是幹嗎用的？ 記分佈式爬蟲關鍵點： （1）scrapy : 實現爬蟲的主體。scra

>>阅读原文<<