三種去重方式——HashSet、Redis去重、布隆過濾器（BloomFilter）

三種去重方式 去重就有三種實現方式，那有什麼不同呢？ HashSet 使用java中的HashSet不能重複的特點去重。優點是容易理解。使用方便。 缺點：佔用內存大，性能較低。 Redis去重 使用Redis的set進行去重。優點是速度快（Redis本身速度就很快），而且去重不會佔用爬蟲服務器的資源，可以處理更大數據量的數據爬取。 缺點：需要準備Redis服務器，增加開發和使用成本。 布隆過濾器（

>>阅读原文<<