布隆過濾去重，及分佈式爬蟲配置

布隆過濾去重 基本概念 若是想判斷一個元素是否是在一個集合裏，通常想到的是將全部元素保存起來，而後經過比較肯定。鏈表，樹等等數據結構都是這種思路. 可是隨着集合中元素的增長，咱們須要的存儲空間愈來愈大，檢索速度也愈來愈慢。不過世界上還有一種叫做散列表（又叫哈希表，Hash table）的數據結構。它能夠經過一個Hash函數將一個元素映射成一個位陣列（Bit Array）中的一個點。這樣一來，咱們只

>>阅读原文<<