[轉載]heritrix 增量抓取

[轉載]http://blog.csdn.net/historyasamirror/article/details/6706174   雖然打着Heritrix的名頭，但本文更多的還是談談增量抓取的基本思想，Heritrix只是正好被用來做爲例子。   如果你不是隨便寫個爬蟲抓着玩，那麼一定會碰到一個問題，就是增量抓取。不管是百度，google這樣的廣泛搜索引擎，還是現在很火的垂直搜索，增量抓取一

>>阅读原文<<