Python 操做 mongodb 億級數據量使用 Bloomfilter 高效率判斷惟一性 例子

工做須要使用 python 處理 mongodb 數據庫兩億數據量去重複，須要在大數據量下快速判斷數據是否存在python 參考資料:https://segmentfault.com/q/1010000000613729mongodb 網上了解到 Bloom Filter ，Bloom filter 是由 Howard Bloom 在 1970 年提出的二進制向量數據結構，它具備很好的空間和時間效

>>阅读原文<<