(轉)Bloom Filter算法

    Bloom Filter是由Bloom在1970年提出的一種多哈希函數映射的快速查找算法。一般應用在一些須要快速判斷某個元素是否屬於集合,可是並不嚴格要求100%正確的場合。
一. 實例 
    爲了說明Bloom Filter存在的重要意義,舉一個實例:
    假設要你寫一個網絡蜘蛛(web crawler)。因爲網絡間的連接錯綜複雜,蜘蛛在網絡間爬行極可能會造成「環」。爲了不造成「環」,就須要知道蜘蛛已經訪問過那些URL。給一個URL,怎樣知道蜘蛛是否已經訪問過呢?稍微想一想,就會有以下幾種方案:html

  1.     將訪問過的URL保存到數據庫。
  2.     用HashSet將訪問過的URL保存起來。那隻需接近O(1)的代價就能夠查到一個URL是否被訪問過了。
  3.     URL通過MD5或SHA-1等單向哈希後再保存到HashSet或數據庫。
  4.     Bit-Map方法。創建一個BitSet,將每一個URL通過一個哈希函數映射到某一位。

     方法1~3都是將訪問過的URL完整保存,方法4則只標記URL的一個映射位。
    以上方法在數據量較小的狀況下都能完美解決問題,可是當數據量變得很是龐大時問題就來了。
    方法1的缺點:數據量變得很是龐大後關係型數據庫查詢的效率會變得很低。並且每來一個URL就啓動一次數據庫查詢是否是過小題大作了?
    方法2的缺點:太消耗內存。隨着URL的增多,佔用的內存會愈來愈多。就算只有1億個URL,每一個URL只算50個字符,就須要5GB內存。
    方法3:因爲字符串通過MD5處理後的信息摘要長度只有128Bit,SHA-1處理後也只有160Bit,所以方法3比方法2節省了好幾倍的內存。
    方法4消耗內存是相對較少的,但缺點是單一哈希函數發生衝突的機率過高。還記得數據結構課上學過的Hash表衝突的各類解決方法麼?若要下降衝突發生的機率到1%,就要將BitSet的長度設置爲URL個數的100倍。
    實質上上面的算法都忽略了一個重要的隱含條件:容許小几率的出錯,不必定要100%準確!也就是說少許url實際上沒有沒網絡蜘蛛訪問,而將它們錯判爲已訪問的代價是很小的——大不了少抓幾個網頁唄。 
二. Bloom Filter的算法 
    廢話說到這裏,下面引入本篇的主角——Bloom Filter。其實上面方法4的思想已經很接近Bloom Filter了。方法四的致命缺點是衝突機率高,爲了下降衝突的概念,Bloom Filter使用了多個哈希函數,而不是一個。
    Bloom Filter算法以下:
    建立一個m位BitSet,先將全部位初始化爲0,而後選擇k個不一樣的哈希函數。第i個哈希函數對字符串str哈希的結果記爲h(i,str),且h(i,str)的範圍是0到m-1 。
(1) 加入字符串過程 
    下面是每一個字符串處理的過程,首先是將字符串str「記錄」到BitSet中的過程:
java

    對於字符串str,分別計算h(1,str),h(2,str)…… h(k,str)。而後將BitSet的第h(1,str)、h(2,str)…… h(k,str)位設爲1。web

    很簡單吧?這樣就將字符串str映射到BitSet中的k個二進制位了。
(2) 檢查字符串是否存在的過程 
    下面是檢查字符串str是否被BitSet記錄過的過程:
    對於字符串str,分別計算h(1,str),h(2,str)…… h(k,str)。而後檢查BitSet的第h(1,str)、h(2,str)…… h(k,str)位是否爲1,若其中任何一位不爲1則能夠斷定str必定沒有被記錄過。若所有位都是1,則「認爲」字符串str存在。
    若一個字符串對應的Bit不全爲1,則能夠確定該字符串必定沒有被Bloom Filter記錄過。(這是顯然的,由於字符串被記錄過,其對應的二進制位確定所有被設爲1了)
    可是若一個字符串對應的Bit全爲1,其實是不能100%的確定該字符串被Bloom Filter記錄過的。(由於有可能該字符串的全部位都恰好是被其餘字符串所對應)這種將該字符串劃分錯的狀況,稱爲false positive 。
(3) 刪除字符串過程 
    字符串加入了就被不能刪除了,由於刪除會影響到其餘字符串。實在須要刪除字符串的可使用Counting bloomfilter(CBF),這是一種基本Bloom Filter的變體,CBF將基本        Bloom Filter每個Bit改成一個計數器,這樣就能夠實現刪除字符串的功能了。count佔用4位便可,詳細參考:深刻解析Bloom Filter(上)
    Bloom Filter跟單哈希函數Bit-Map不一樣之處在於:Bloom Filter使用了k個哈希函數,每一個字符串跟k個bit對應。從而下降了衝突的機率。
三. Bloom Filter參數選擇 
(1)哈希函數選擇
    哈希函數的選擇對性能的影響應該是很大的,一個好的哈希函數要能近似等機率的將字符串映射到各個Bit。選擇k個不一樣的哈希函數比較麻煩,一種簡單的方法是選擇一個哈希函數,而後送入k個不一樣的參數。
(2)Bit數組大小選擇 
    哈希函數個數k、位數組大小m、加入的字符串數量n的關係能夠參考參考文獻1。該文獻證實了對於給定的m、n,當 k = ln(2)* m/n 時出錯的機率是最小的。
    同時該文獻還給出特定的k,m,n的出錯機率。例如:根據參考文獻1,哈希函數個數k取10,位數組大小m設爲字符串個數n的20倍時,false positive發生的機率是0.0000889 ,這個機率基本能知足網絡爬蟲的需求了。 
四. Bloom Filter實現代碼 
  下面給出一個簡單的Bloom Filter的Java實現代碼:
算法

 

[java]  view plain copy
 在CODE上查看代碼片派生到個人代碼片
  1. package algorithm;  
  2. import java.util.BitSet;  
  3. public class BloomFilter  
  4. {  
  5.     /* BitSet初始分配2^24個bit */  
  6.     private static final int DEFAULT_SIZE = 1 << 25;  
  7.     /* 不一樣哈希函數的種子,通常應取質數 */  
  8.     private static final int[] seeds = new int[]{ 5, 7, 11, 13, 31, 37, 61 };  
  9.     private BitSet bits = new BitSet(DEFAULT_SIZE);  
  10.     /* 哈希函數對象 */  
  11.     private SimpleHash[] func = new SimpleHash[seeds.length];  
  12.   
  13.     public BloomFilter()  
  14.     {  
  15.         for (int i = 0; i < seeds.length; i++)  
  16.         {  
  17.             func[i] = new SimpleHash(DEFAULT_SIZE, seeds[i]);  
  18.         }  
  19.     }  
  20.   
  21.     // 將字符串標記到bits中  
  22.     public void add(String value)  
  23.     {  
  24.         for (SimpleHash f : func)  
  25.         {  
  26.             bits.set(f.hash(value), true);  
  27.         }  
  28.     }  
  29.   
  30.     // 判斷字符串是否已經被bits標記  
  31.     public boolean contains(String value)  
  32.     {  
  33.         if (value == null)  
  34.         {  
  35.             return false;  
  36.         }  
  37.         boolean ret = true;  
  38.         for (SimpleHash f : func)  
  39.         {  
  40.             ret = ret && bits.get(f.hash(value));  
  41.         }  
  42.         return ret;  
  43.     }  
  44.   
  45.     /* 哈希函數類 */  
  46.     public static class SimpleHash  
  47.     {  
  48.         private int cap;  
  49.         private int seed;  
  50.   
  51.         public SimpleHash(int cap, int seed)  
  52.         {  
  53.             this.cap = cap;  
  54.             this.seed = seed;  
  55.         }  
  56.   
  57.         // hash函數,採用簡單的加權和hash  
  58.         public int hash(String value)  
  59.         {  
  60.             int result = 0;  
  61.             int len = value.length();  
  62.             for (int i = 0; i < len; i++)  
  63.             {  
  64.                 result = seed * result + value.charAt(i);  
  65.             }  
  66.             return (cap - 1) & result;  
  67.         }  
  68.     }  
  69. }  

原文地址:點擊打開連接
參考文章:
數據庫

 

相關文章
相關標籤/搜索