如何設計一個複雜的分佈式爬蟲系統？

一個複雜的分佈式爬蟲系統由很多的模塊組成，每個模塊是一個獨立的服務(SOA架構)，所有的服務都註冊到Zookeeper來統一管理和便於線上擴展。模塊之間通過thrift(或是protobuf，或是soup，或是json，等)協議來交互和通訊。 Zookeeper負責管理系統中的所有服務，簡單的配置信息的同步，同一服務的不同拷貝之間的負載均衡。它還有一個好處是可以實現服務模塊的熱插拔。 URLMan

>>阅读原文<<