巧用MapReduce+HDFS，海量數據去重的五大策略

隨着存儲數據信息量的飛速增長，越來越多的人開始關注存儲數據的縮減方法。數據壓縮、單實例存儲和重複數據刪除等都是經常使用的存儲數據縮減技術。 重複數據刪除往往是指消除冗餘子文件。不同於壓縮，重複數據刪除對於數據本身並沒有改變，只是消除了相同的數據佔用的存儲容量。重複數據刪除在減少存儲、降低網絡帶寬方面有着顯著的優勢，並對擴展性有所幫助。 舉個簡單的例子：在專門爲電信運營商定製的呼叫詳單去重應用程序中

>>阅读原文<<