TF-IDF文本去重學習（TF-IDF和simhash）

鑑於每次面試都會問這個，仍是總結一下吧，畢竟沒壞處 TF-IDF 咱們是用tf-idf進行文本去重的，實際上是用tf-idf將兩篇文章的關鍵詞提取處出來，而後比對兩篇文章的關鍵詞，大於某個閾值，則斷定爲兩篇文章類似 TF爲詞頻，算法爲：這個詞出現的次數 除以 這個文章的總詞數 公式以下： IDF爲逆文檔頻率，若是這個詞在每篇文章中都有過，那麼他的IDF就比較小，能夠用它避免那些停用詞的影響，算法爲

>>阅读原文<<