基於Redis的Bloomfilter去重（附Python代碼）

前言： 「去重」是平常工做中會常常用到的一項技能，在爬蟲領域更是經常使用，而且規模通常都比較大。去重須要考慮兩個點：去重的數據量、去重速度。爲了保持較快的去重速度，通常選擇在內存中進行去重。python 數據量不大時，能夠直接放在內存裏面進行去重，例如python可使用set()進行去重。 當去重數據須要持久化時可使用redis的set數據結構。 當數據量再大一點時，能夠用不一樣的加密算法先將長字

>>阅读原文<<