網頁去重||SimHash（高效的文本相似度去重算法）——適合大批量文檔的相似度計算

網頁去重 之前我們對下載的url地址進行了去重操作，避免同樣的url下載多次。其實不光url需要去重，我們對下載的內容也需要去重。 在網上我們可以找到許多內容相似的文章。但是實際我們只需要其中一個即可，同樣的內容沒有必要下載多次，那麼如何進行去重就需要進行處理了 去重方案介紹 指紋碼對比 最常見的去重方案是生成文檔的指紋門。例如對一篇文章進行MD5加密生成一個字符串，我們可以認爲這是文章的指紋碼，

>>阅读原文<<