大量數據去重：Bitmap和布隆過濾器(Bloom Filter)

轉自：http://www.javashuo.com/article/p-fyfcdiqc-ho.html 5TB的硬盤上放滿了數據，請寫一個算法將這些數據進行排重。如果這些數據是一些32bit大小的數據該如何解決？如果是64bit的呢？ 在面試時遇到的問題，問題的解決方案十分典型，但對於海量數據處理接觸少的同學可能一時也想不到什麼好方案。介紹兩個算法，對於空間的利用到達了一種極致，那就是Bitm

>>阅读原文<<