使用BloomFilter布隆過濾器解決緩存擊穿、垃圾郵件識別、集合判重

  Bloom Filter是一個佔用空間很小、效率很高的隨機數據結構，它由一個bit數組和一組Hash算法構成。可用於判斷一個元素是否在一個集合中，查詢效率很高（1-N，最優能逼近於1）。 在很多場景下，我們都需要一個能迅速判斷一個元素是否在一個集合中。譬如： 網頁爬蟲對URL的去重，避免爬取相同的URL地址； 反垃圾郵件，從數十億個垃圾郵件列表中判斷某郵箱是否垃圾郵箱（同理，垃圾短信）； 緩存

>>阅读原文<<