Bloom Filter原理及使用

有過搜索經驗的同窗們都知道，當進行網頁抓取的時候都會遇到url排重的問題，固然這也是面試常常遇到的問題，同窗們可能會想到不少的方法去解決這個問題，好比用數據庫，kv系統，bitmap等等，可是都因爲種種問題不能徹底的解決掉排重的問題，數據庫在大數據量和高訪問量的時候每每會不盡人意，kv庫會很耗內存，bitmap會出現很高的衝突率，這時候bloomfilter就成爲了很好的選擇，一方面是基於內存的具

>>阅读原文<<