大數據去重問題：Bitmap和布隆過濾器(Bloom Filter)

一、Bitmap算法 bitmap就是用一個bit位來標記某個元素對應的value，而key即是這個元素。由於採用bit爲單位來存儲數據，因此在可以大大的節省存儲空間。 二、布隆過濾器 布隆過濾器 (Bloom Filter)是由Burton Howard Bloom於1970年提出，它是一種space efficient的概率型數據結構，用於判斷一個元素是否在集合中。在垃圾郵件過濾的黑白名單方法

>>阅读原文<<