Python——分佈式爬蟲和redis

一、分佈式爬蟲    1.分佈式爬蟲：（1）默認情況下，scrapy爬蟲是單機爬蟲，只能在一臺電腦上運行；爬蟲調度器中的隊列去重、set集合都是                                           在本機上創建，其他的電腦無法訪問另外一臺電腦上的內存內容。                              （2）分佈式爬蟲用一個共同的爬蟲程序，同時部署到多臺

>>阅读原文<<