BloomFilter（大數據去重）+Redis（持久化）策略

BloomFilter（大數據去重）+Redis（持久化）策略 2017年11月10日 15:43:06 閱讀數：4223 ------- BloomFilter（大數據去重）+Redis（持久化）策略 背景 以前在重構一套文章爬蟲系統時，其中有塊邏輯是根據文章標題去重，原先去重的方式是，插入文章以前檢查待插入文章的標題是否在ElasticSearch中存在，這無疑加劇了ElasticSearch

>>阅读原文<<