程序員必備的10大健康裝備！——我們要工作更要健康！

爬蟲裏面做的最好的肯定是google ，不過google公佈的蜘蛛是很早的一個版本，下面是幾種開源的網絡爬蟲的簡單對比表：       還有其他的一些比如Ubicrawler、FAST Crawler、天網蜘蛛等等沒有添加進來。      之後主要研究下larbin爬蟲，如果有可能會給它添加一個刪除功能，因爲其排重部分用的是bloom filter算法，這個算法的有點很明顯，對大規模數據的處理很快

>>阅读原文<<