大量數據去重：Bitmap位圖算法和布隆過濾器(Bloom Filter)

Bitmap算法 與其說是算法，不如說是一種緊湊的數據存儲結構。是用內存中連續的二進制位(bit)，用於對大量整型數據做去重和查詢。其實如果並非如此大量的數據，有很多排重方案可以使用，典型的就是哈希表。 實際上，哈希表爲每一個可能出現的數字提供了一個一一映射的關係，每個元素都相當於有了自己的獨享的一份空間，這個映射由散列函數來提供（這裏我們先不考慮碰撞）。實際上哈希表甚至還能記錄每個元素出現的次數

>>阅读原文<<