爬蟲工具Heritrix初體驗

需要找一個工具去爬取某個網站，簡單調研後剩下了兩個候選：Heritrix和Nutch。最後聽說Heritrix可定製的地方比較多，更加靈活。恰好這是我需要的。遂決定採用Heritrix，初步嘗試後發現效果不錯。具體的好處在於：配置簡單，有良好的web界面，不需要寫一行代碼。 安裝 我用的版本是heritrix-1.14.4。 1．下載heritrix-1.14.4.tar.gz，並解壓（假設解壓後

>>阅读原文<<