筆記-爬蟲-去重/bloomfilter

筆記-爬蟲-去重/bloomfilter   1.      去重 爲何要去重？html 頁面重複：爬的多了，總會有重複的頁面，對已爬過的頁面確定不肯意再爬一次。 頁面更新：不少頁面是會更新的，爬取這種頁面時就須要進行判斷，是否有更新。   在爬蟲中新頁面或頁面更新稱爲增量，爬取就叫增量爬取了。python 識別增量，有如下幾種可能的方法：git url識別：適合舊頁面不會改變，只會有新頁面出現的

>>阅读原文<<