億級數據去重之布隆過濾器

標題很唬人吧，標題黨就是本喵了哈哈哈哈哈哈哈。好了迴歸正題，在咱們進行一些爬蟲爬取數據的時候，若是保證去重呢，今天和你們聊一聊使用布隆過濾器去重。html 首先什麼是布隆過濾器呢，讓咱們依舊來看看百度百科。python 布隆過濾器（Bloom Filter）是1970年由布隆提出的。它其實是一個很長的二進制向量和一系列隨機映射函數。布隆過濾器能夠用於檢索一個元素是否在一個集合中。它的優勢是空間效率

>>阅读原文<<