布隆過濾器的原理及應用

布隆過濾器是1970年由布隆提出的。他實際上是一個很長的二進制向量外加一系列的隨機函數函數來組成。

在正式說到布隆過濾器時，咱們要先聊這樣一個話題：
在解決工程類問題時，不少問題的回答並非只有這兩種布爾狀態：
是 or 否
而多是這兩種狀態：
必定沒有 or 可能有
亦或者多是這兩種狀態：
必定有 or 可能沒有

針對以上的背景，咱們來舉這樣一個例子：
已知：
從火車站打車到機場，12點出發，在不堵車的狀況下，耗時約50分鐘
問題1，若是12點打車出發的話，12點10分會到麼？
答：必定不會
問題2，若是12點打車出發的話，12點50會到麼？
答：不必定會
針對於問題1，問題2的回答，對咱們來講也是有幫助的，並非說毫無用處。
好比你要給司機打電話，詢問是否到達機場，12點10分你確定不會打電話，這樣的問題沒有意義，還可能會影響司機的駕駛，而12點50你可能就會打電話了，由於這時候大機率是已經到了。
布隆過濾器就是這樣的一種數據結構，他不像set或者map等斷定是某樣東西在或者不在，
而是用來斷定某樣東西在集合中：
1，必定不存在
2，可能存在
下面咱們來給出一個布隆過濾器的簡單實現：

如上圖
第一步，像hashmap同樣，咱們須要準備一個長度爲N的桶
第二步，準備三個hash方法，他們會根據傳入對象的key，計算出一個index值
第三步，根據計算獲得的3個index值，將桶上對應的位置的值設置爲1
這樣一個布隆過濾器就算作好了。
如何使用呢？

如圖，咱們先對對象A進行hash運算，得出3個index值，更新到桶中

接着咱們可能還會添加不一樣的對象到桶中，像下圖這個樣子：

而後咱們依次對要檢測的對象A、B、C 進行hash1()，hash2() ,hash3()的運算，再根據運算結果匹配桶中相應位置的值時候爲1，從而得出下邊這張圖，

好比在桶中，

index：1 （爲1）3（爲1）6（爲0），所以對象B必定不存在

index：1 （爲1）3（爲1）5（爲1），所以A對象可能存在

這樣作對咱們實際業務有什麼用呢？換句話說布隆過濾器有什麼應用場景呢？
在回答這個問題以前，咱們要首先明確一點，布隆過濾器不是業務數據的緩存，只是一個用來判斷數據不存在性的緩存，
因此咱們纔將其稱爲布隆過濾器，而不是布隆緩存。
所以咱們能夠將其做爲一個後期須要複雜操做的一個前置過濾判斷，如：
一、底層的查詢邏輯很是複雜，並且性能低下，能夠經過布隆過濾器先過濾掉一批請求，下降後臺壓力。
二、 白名單安全校驗：若是過濾器中斷定不存在的數據能夠直接設定爲安全數據，直接進行安全操做，不然纔會近一步的進行安全管控。

若是數據的存在性發生變化，布隆過濾器是否容許對添加過的元素刪除？

傳統的布隆過濾器是不容許刪除的！
緣由以下：
一、沒法肯定元素是否存在，若是是可能存在的結果，此時會致使誤刪。
二、即便真的肯定元素是存在的，也沒法刪除。由於不肯定對應的value是否也存在其餘元素的映射。

應該如何設置hash函數的個數和布隆過濾器的長度呢？
很顯然，若是布隆過濾器的長度設置的太小的話，很快全部的位置都會爲1， 此時過濾的結果都是可能存在，
模糊結果的機率就會加大。若是設置的過大的話，則大部分空間都是0，此時又浪費了空間。
就像hashmap同樣，一方面要作到不浪費空間，另一方面要作到儘量的下降碰撞。
因此咱們須要根據hash 的個數，過濾器的長度，可能存在的元素的數量，對模糊結果的機率（誤判率）得出一個估算。
整體的形式以下：
上圖是誤判率的計算公式。
下圖是對應的機率曲線。

k爲hash公式個數，m爲桶數，p爲誤判率的，n表明數據量

這裏還有一些其餘方面的問題：

一、布隆過濾器是否是更浪費空間？

並無，傳統過濾器的桶是使用bit來存值的，每一個槽位只佔用一個1個bit位

二、多個hash以前的計算有重疊怎麼辦，好比hash1和hash2的運算結果相同，這樣就會使碰撞的機率變大？

這裏能夠採用每一個hash值對應一個單獨的小桶（或大桶的一部分）來存放，去除掉結果重複的影響。