Redis 中的布隆過濾器

什麼是『布隆過濾器』   布隆過濾器是一個神奇的數據結構，可以用來判斷一個元素是否在一個集合中。很常用的一個功能是用來去重。在爬蟲中常見的一個需求：目標網站 URL 千千萬，怎麼判斷某個 URL 爬蟲是否寵幸過？簡單點可以爬蟲每採集過一個 URL，就把這個 URL 存入數據庫中，每次一個新的 URL 過來就到數據庫查詢下是否訪問過。 select id from table where url =

>>阅读原文<<