【Big Data 每日一題20181112】大量數據去重：Bitmap和布隆過濾器(Bloom Filter)

5TB的硬盤上放滿了數據，請寫一個算法將這些數據進行排重。若是這些數據是一些32bit大小的數據該如何解決？若是是64bit的呢？java 在面試時遇到的問題，問題的解決方案十分典型，但對於海量數據處理接觸少的同窗可能一時也想不到什麼好方案。介紹兩個算法，對於空間的利用到達了一種極致，那就是Bitmap和布隆過濾器(Bloom Filter)。面試 Bitmap算法 在網上並無找到Bitmap算法

>>阅读原文<<