手把手教你搭建一個基於Java的分佈式爬蟲系統

在不用爬蟲框架的狀況下，我通過多方學習，嘗試實現了一個分佈式爬蟲系統，而且能夠將數據保存到不一樣地方，相似 MySQL、HBase 等。框架 由於此係統基於面向接口的編碼思想來開發，因此具備必定的擴展性，有興趣的朋友直接看一下代碼，就能理解其設計思想。異步 雖然代碼目前來講不少地方仍是比較緊耦合，但只要花些時間和精力，不少都是可抽取出來而且可配置化的。分佈式 由於時間的關係，我只寫了京東和蘇寧易購

>>阅读原文<<