文檔去重算法：SimHash和MinHash

來源：  http://grunt1223.iteye.com/blog/964564 在工做學習中，我每每感嘆數學奇蹟般的解決一些貌似不可能完成的任務，而且十分但願將這種喜悅分享給你們，就比如說：「老婆，出來看上帝」……  隨着信息爆炸時代的來臨，互聯網上充斥着着大量的近重複信息，有效地識別它們是一個頗有意義的課題。例如，對於搜索引擎的爬蟲系統來講，收錄重複的網頁是毫無心義的，只會形成存儲和計算

>>阅读原文<<