簡單分佈式爬蟲

簡單分佈式爬蟲 一、簡單分佈式爬蟲結構 主從模式，主從模式是指由一臺主機作爲控制節點，負責管理所有運行網絡爬蟲的主機，爬蟲只需要從控制節點那裏接收任務，並把新生成任務提交給控制節點就可以了， 在這個過程中不必與其他爬蟲通信，這種方式實現簡單、利於管理。而控制節點則需要與所有爬蟲進行通信，因此可有看到主從模式是有缺陷的，控制節點會成爲整個系統的瓶頸，容易導致整個分佈式網絡爬蟲系統性能下降。 　　此次

>>阅读原文<<