Bloom Filter 大規模數據處理利器

最近工做中涉及到bloom Filter，真是一把科研利器呀，大數據、網絡、雲等等均可以用到！

Bloom Filter是由Bloom在1970年提出的一種多哈希函數映射的快速查找算法。一般應用在一些須要快速判斷某個元素是否屬於集合，可是並不嚴格要求100%正確的場合。

一. 實例 

　　爲了說明Bloom Filter存在的重要意義，舉一個實例：

　　假設要你寫一個網絡蜘蛛（web crawler）。因爲網絡間的連接錯綜複雜，蜘蛛在網絡間爬行極可能會造成「環」。爲了不造成「環」，就須要知道蜘蛛已經訪問過那些URL。給一個URL，怎樣知道蜘蛛是否已經訪問過呢？稍微想一想，就會有以下幾種方案：

　　1. 將訪問過的URL保存到數據庫。

　　2. 用HashSet將訪問過的URL保存起來。那隻需接近O(1)的代價就能夠查到一個URL是否被訪問過了。

　　3. URL通過MD5或SHA-1等單向哈希後再保存到HashSet或數據庫。

　　4. Bit-Map方法。創建一個BitSet，將每一個URL通過一個哈希函數映射到某一位。

　　方法1~3都是將訪問過的URL完整保存，方法4則只標記URL的一個映射位。

 　　以上方法在數據量較小的狀況下都能完美解決問題，可是當數據量變得很是龐大時問題就來了。

　　方法1的缺點：數據量變得很是龐大後關係型數據庫查詢的效率會變得很低。並且每來一個URL就啓動一次數據庫查詢是否是過小題大作了？

　　方法2的缺點：太消耗內存。隨着URL的增多，佔用的內存會愈來愈多。就算只有1億個URL，每一個URL只算50個字符，就須要5GB內存。

　　方法3：因爲字符串通過MD5處理後的信息摘要長度只有128Bit，SHA-1處理後也只有160Bit，所以方法3比方法2節省了好幾倍的內存。

　　方法4消耗內存是相對較少的，但缺點是單一哈希函數發生衝突的機率過高。還記得數據結構課上學過的Hash表衝突的各類解決方法麼？若要下降衝突發生的機率到1%，就要將BitSet的長度設置爲URL個數的100倍。

實質上上面的算法都忽略了一個重要的隱含條件：容許小几率的出錯，不必定要100%準確！也就是說少許url實際上沒有沒網絡蜘蛛訪問，而將它們錯判爲已訪問的代價是很小的——大不了少抓幾個網頁唄。 

二. Bloom Filter的算法

廢話說到這裏，下面引入本篇的主角——Bloom Filter。其實上面方法4的思想已經很接近Bloom Filter了。方法四的致命缺點是衝突機率高，爲了下降衝突的概念，Bloom Filter使用了多個哈希函數，而不是一個。

   　Bloom Filter算法以下：

  　 建立一個m位BitSet，先將全部位初始化爲0，而後選擇k個不一樣的哈希函數。第i個哈希函數對字符串str哈希的結果記爲h（i，str），且h（i，str）的範圍是0到m-1 。

(1) 加入字符串過程 

 

　　下面是每一個字符串處理的過程，首先是將字符串str「記錄」到BitSet中的過程：

　　對於字符串str，分別計算h（1，str），h（2，str）…… h（k，str）。而後將BitSet的第h（1，str）、h（2，str）…… h（k，str）位設爲1。

 

　　圖1.Bloom Filter加入字符串過程

　　很簡單吧？這樣就將字符串str映射到BitSet中的k個二進制位了。

(2) 檢查字符串是否存在的過程 

 

　　下面是檢查字符串str是否被BitSet記錄過的過程：

　　對於字符串str，分別計算h（1，str），h（2，str）…… h（k，str）。而後檢查BitSet的第h（1，str）、h（2，str）…… h（k，str）位是否爲1，若其中任何一位不爲1則能夠斷定str必定沒有被記錄過。若所有位都是1，則「認爲」字符串str存在。

 

　　若一個字符串對應的Bit不全爲1，則能夠確定該字符串必定沒有被Bloom Filter記錄過。（這是顯然的，由於字符串被記錄過，其對應的二進制位確定所有被設爲1了）

　　可是若一個字符串對應的Bit全爲1，其實是不能100%的確定該字符串被Bloom Filter記錄過的。（由於有可能該字符串的全部位都恰好是被其餘字符串所對應）這種將該字符串劃分錯的狀況，稱爲false positive 。

 

(3) 刪除字符串過程 

   字符串加入了就被不能刪除了，由於刪除會影響到其餘字符串。實在須要刪除字符串的可使用Counting bloomfilter(CBF)，這是一種基本Bloom Filter的變體，CBF將基本Bloom Filter每個Bit改成一個計數器，這樣就能夠實現刪除字符串的功能了。

 

　　Bloom Filter跟單哈希函數Bit-Map不一樣之處在於：Bloom Filter使用了k個哈希函數，每一個字符串跟k個bit對應。從而下降了衝突的機率。

 

三. Bloom Filter參數選擇 

 

   (1)哈希函數選擇

   　　哈希函數的選擇對性能的影響應該是很大的，一個好的哈希函數要能近似等機率的將字符串映射到各個Bit。選擇k個不一樣的哈希函數比較麻煩，一種簡單的方法是選擇一個哈希函數，而後送入k個不一樣的參數。

   (2)Bit數組大小選擇 

   　　哈希函數個數k、位數組大小m、加入的字符串數量n的關係能夠參考參考文獻1。該文獻證實了對於給定的m、n，當 k = ln(2)* m/n 時出錯的機率是最小的。

   　　同時該文獻還給出特定的k，m，n的出錯機率。例如：根據參考文獻1，哈希函數個數k取10，位數組大小m設爲字符串個數n的20倍時，false positive發生的機率是0.0000889 ，這個機率基本能知足網絡爬蟲的需求了。  

四. Bloom Filter實現代碼 

  　 下面給出一個簡單的Bloom Filter的Java實現代碼：

import  java.util.BitSet;

public class  BloomFilter 
{
/*  BitSet初始分配2^24個bit  */  
private static final int  DEFAULT_SIZE  = 1 << 25 ; 
/*  不一樣哈希函數的種子，通常應取質數  */
private static final int [] seeds  = new int [] {  5 ,  7 ,  11 ,  13 ,  31 ,  37 ,  61  };
private  BitSet bits  = new  BitSet(DEFAULT_SIZE);
/*  哈希函數對象  */  
private  SimpleHash[] func  = new  SimpleHash[seeds.length];

public  BloomFilter() 
{
for  ( int  i  = 0 ; i  <  seeds.length; i ++ )
{
func[i]  = new  SimpleHash(DEFAULT_SIZE, seeds[i]);
}
}

//  將字符串標記到bits中
public void  add(String value) 
{
for  (SimpleHash f : func) 
{
bits.set(f.hash(value),  true );
}
}

// 判斷字符串是否已經被bits標記
public boolean  contains(String value) 
{
if  (value  == null ) 
{
return false ;
}
boolean  ret  = true ;
for  (SimpleHash f : func) 
{
ret  =  ret  &&  bits.get(f.hash(value));
}
return  ret;
}

/*  哈希函數類  */
public static class  SimpleHash 
{
private int  cap;
private int  seed;

public  SimpleHash( int  cap,  int  seed) 
{
this .cap  =  cap;
this .seed  =  seed;
}

// hash函數，採用簡單的加權和hash
public int  hash(String value) 
{
int  result  = 0 ;
int  len  =  value.length();
for  ( int  i  = 0 ; i  <  len; i ++ ) 
{
result  =  seed  *  result  +  value.charAt(i);
}
return  (cap  - 1 )  &  result;
}
}
}

[1]Pei Cao. Bloom Filters - the math.

http://pages.cs.wisc.edu/~cao/papers/summary-cache/node8.html

[2]Wikipedia. Bloom filter.

http://en.wikipedia.org/wiki/Bloom_filter