spark 布隆過濾器(bloomFilter)

        數據過濾在不少場景都會應用到，特別是在大數據環境下。在數據量很大的場景實現過濾或者全局去重，須要存儲的數據量和計算代價是很是龐大的。不少小夥伴第一念頭確定會想到布隆過濾器，有必定的精度損失，可是存儲性能和計算性能能夠達到幾何級別的提高。不少第三方框架也實現了相應的功能，好比hbase框架實現的布隆過濾器性能是很是的棒，redis也能夠實現相應的功能。這些須要藉助於第三方框架，須要維

>>阅读原文<<