文本去重的技術方案討論（一）

對於文本去重來說，我個人處理上會從數據量、文本特徵、文本長度（短文本、長文本）幾個方向考慮。 常見的去重任務，如網頁去重，帖子去重，評論去重等等。 好的去重任務是不僅比對文本的相似性，還要比對語義上的相似性。 下面我們來介紹下文本去重的方案。 1.傳統簽名算法與文本完整性判斷 一、傳統簽名算法與文本完整性判斷 問題拋出： （1）運維上線一個bin文件，將文件分發到4臺線上機器上，如何判斷bin文件

>>阅读原文<<