手把手教你搭建一個基於Java的分佈式爬蟲系統

在不用爬蟲框架的情況下，我經過多方學習，嘗試實現了一個分佈式爬蟲系統，並且可以將數據保存到不同地方，類似 MySQL、HBase 等。 因爲此係統基於面向接口的編碼思想來開發，所以具有一定的擴展性，有興趣的朋友直接看一下代碼，就能理解其設計思想。 雖然代碼目前來說很多地方還是比較緊耦合，但只要花些時間和精力，很多都是可抽取出來並且可配置化的。 因爲時間的關係，我只寫了京東和蘇寧易購兩個網站的爬蟲，

>>阅读原文<<