面試|海量文本去重~simhash

simhash算法是google發明的，專門用於海量文本去重的需求，因此在這裏記錄一下simhash工程化落地問題。mysql 下面我說的都是工程化落地步驟，不只僅是理論。面試 背景 互聯網上，一篇文章被抄襲來抄襲去，轉載來轉載去。redis 被抄襲的文章通常不改，或者少許改動就發表了，因此判重並非等於的關係，而是類似判斷，這個判別的算法就是simhash。算法 simhash計算 給定一篇文章內

>>阅读原文<<