海量數據處理

常用的幾種方法： 1、分治法/Hash映射 + hash_map a、將海量數據通過Hash映射爲若干的小文件； b、利用hash_map對每個小文件進行統計（key爲數據內容，value爲出現次數）；   2、Bloom Filter Bloom Filter是一種允許有少量錯誤的數據判重或者集合求交集的方法。 具體內容以及公式參考博客Bloom Filter 算法簡介 (增加 Counting

>>阅读原文<<