三種分佈式爬蟲系統的架構方式

分佈式爬蟲系統廣泛應用於大型爬蟲項目中，力求以最高的效率完成任務，這也是分佈式爬蟲系統的意義所在。   分佈式系統的核心在於通信，介紹三種分佈式爬蟲系統的架構思路，都是圍繞通信開始，也就是說有多少分佈式系統的通信方式就有多少分佈式爬蟲系統的架構思路。   Redis 利用redis做分佈式系統，最經典的就是scrapy-Redis，這是比較成熟的框架。同時我們也可以利用Redis的隊列功能或者訂閱

>>阅读原文<<