布隆過濾器簡介

引文 思考一個問題：從大量數據裏面如何高效率地去重？ 有過一點編程經驗的人都知道，可以通過Set這種數據結構來做到。比如HashSet，採用了Hash算法，可以在O(1)的複雜度完成數據的添加和查詢操作。確實，大多數情況，這也是我們會採取的方案。但是因爲Set需要保存源數據信息，且有Hash衝突，當樣本數據量特別龐大的情況下，比如有千萬甚至上億的數據量時，這種方式顯得有些不切實際。 布隆過濾器 布

>>阅读原文<<