Python——分佈式爬蟲和redis

1、分佈式爬蟲git    1.分佈式爬蟲：（1）默認狀況下，scrapy爬蟲是單機爬蟲，只能在一臺電腦上運行；爬蟲調度器中的隊列去重、set集合都是                                           在本機上建立，其餘的電腦沒法訪問另一臺電腦上的內存內容。github                              （2）分佈式爬蟲用一個共同的爬蟲程序

>>阅读原文<<