分佈式爬蟲實踐（附帶源碼地址）

分佈式爬蟲優勢： 能夠充分利用多臺機器的帶寬 能夠充分利用多臺機器的ip地址（同一個局域網內用的仍是一個，分佈式沒有用） 多臺機器作，爬取效率更高 分佈式爬蟲須要解決的問題 分佈式爬蟲是好幾臺機器在同時運行，如何保證不一樣的機器爬取頁面的時候不會出現重複爬取的問題 一樣，分佈式爬蟲在不一樣的機器上運行，如何把數據爬完後保證保存在同一個老地方 scrapy-redis是一個組件不是框架，能夠集成到s

>>阅读原文<<