分佈式爬蟲（Zookeeper+Redis+Spring+WebMgic+Dubbo）

Dpider 參考網上大佬的一張分佈式爬蟲的架構圖，對其的一個實現。因爲時間比較急，所以在某些地方跟原架構圖不一樣（有的省去了，有的用的其他技術），但總體架構是按照這個來的。文章很棒，推薦大家看一看！ 文章如下： 分佈式爬蟲系統設計、實現與實戰：爬取京東、蘇寧易購全網手機商品數據+MySQL、HBase存儲 項目地址： GitHub/gasoliner/dpider 架構圖如下: 系統分爲如下幾部

>>阅读原文<<