python之簡單Scrapy分佈式爬蟲的實現

分佈式爬蟲：爬蟲共用同一個爬蟲程序，即把同一個爬蟲程序同時部署到多臺電腦上運行，這樣可以提高爬蟲速度。 在默認情況下，scrapy爬蟲是單機爬蟲，只能在一臺電腦上運行，因爲爬蟲調度器當中的隊列queue去重和set集合都是在本機上創建的，其他的電腦無法訪問另外一臺電腦上的內存的內容；想要讓多臺機器共用一個queue隊列和set集合，可以讓scrapy結合scrapy_redis來完成。 要實現分佈

>>阅读原文<<