幾種開源網絡爬蟲的簡單比較

       爬蟲裏面作的最好的確定是google ，不過google公佈的蜘蛛是很早的一個版本，下面是幾種開源的網絡爬蟲的簡單對比表：html       還有其餘的一些好比Ubicrawler、FAST Crawler、天網蜘蛛等等沒有添加進來。算法      以後主要研究下larbin爬蟲，若是有可能會給它添加一個刪除功能，由於其排重部分用的是bloom filter算法，這個算法的有點很明

>>阅读原文<<