一致性哈希算法(consistent hashing)

請說明出處：http://blog.csdn.net/cywosp/article/details/23397179

    一致性哈希算法在1997年由麻省理工學院提出的一種分佈式哈希（DHT）實現算法，設計目標是爲了解決因特網中的熱點(Hot spot)問題，初衷和CARP十分相似。一致性哈希修正了CARP使用的簡 單哈希算法帶來的問題，使得分佈式哈希（DHT）能夠在P2P環境中真正獲得應用。 

 

    一致性hash算法提出了在動態變化的Cache環境中，斷定哈希算法好壞的四個定義：

 

一、平衡性(Balance)：平衡性是指哈希的結果可以儘量分佈到全部的緩衝中去，這樣可使得全部的緩衝空間都獲得利用。不少哈希算法都可以知足這一條件。

 

二、單調性(Monotonicity)：單調性是指若是已經有一些內容經過哈希分派到了相應的緩衝中，又有新的緩衝加入到系統中。哈希的結果應可以保證原有已分配的內容能夠被映射到原有的或者新的緩衝中去，而不會被映射到舊的緩衝集合中的其餘緩衝區。 

 

三、分散性(Spread)：在分佈式環境中，終端有可能看不到全部的緩衝，而是隻能看到其中的一部分。當終端但願經過哈希過程將內容映射到緩衝上時，因爲不一樣終端所見的緩衝範圍有可能不一樣，從而致使哈希的結果不一致，最終的結果是相同的內容被不一樣的終端映射到不一樣的緩衝區中。這種狀況顯然是應該避免的，由於它致使相同內容被存儲到不一樣緩衝中去，下降了系統存儲的效率。分散性的定義就是上述狀況發生的嚴重程度。好的哈希算法應可以儘可能避免不一致的狀況發生，也就是儘可能下降分散性。 

 

四、負載(Load)：負載問題其實是從另外一個角度看待分散性問題。既然不一樣的終端可能將相同的內容映射到不一樣的緩衝區中，那麼對於一個特定的緩衝區而言，也可能被不一樣的用戶映射爲不一樣 的內容。與分散性同樣，這種狀況也是應當避免的，所以好的哈希算法應可以儘可能下降緩衝的負荷。

 

    在分佈式集羣中，對機器的添加刪除，或者機器故障後自動脫離集羣這些操做是分佈式集羣管理最基本的功能。若是採用經常使用的hash(object)%N算法，那麼在有機器添加或者刪除後，不少原有的數據就沒法找到了，這樣嚴重的違反了單調性原則。接下來主要講解一下一致性哈希算法是如何設計的：

 

環形Hash空間

按照經常使用的hash算法來將對應的key哈希到一個具備2^32次方個桶的空間中，即0~(2^32)-1的數字空間中。如今咱們能夠將這些數字頭尾相連，想象成一個閉合的環形。以下圖

                                                                         

把數據經過必定的hash算法處理後映射到環上

如今咱們將object一、object二、object三、object4四個對象經過特定的Hash函數計算出對應的key值，而後散列到Hash環上。以下圖：

    Hash(object1) = key1；

    Hash(object2) = key2；

    Hash(object3) = key3；

    Hash(object4) = key4；

                                                           

將機器經過hash算法映射到環上

在採用一致性哈希算法的分佈式集羣中將新的機器加入，其原理是經過使用與對象存儲同樣的Hash算法將機器也映射到環中（通常狀況下對機器的hash計算是採用機器的IP或者機器惟一的別名做爲輸入值），而後以順時針的方向計算，將全部對象存儲到離本身最近的機器中。

假設如今有NODE1，NODE2，NODE3三臺機器，經過Hash算法獲得對應的KEY值，映射到環中，其示意圖以下：

Hash(NODE1) = KEY1;

Hash(NODE2) = KEY2;

Hash(NODE3) = KEY3;

                                                             

經過上圖能夠看出對象與機器處於同一哈希空間中，這樣按順時針轉動object1存儲到了NODE1中，object3存儲到了NODE2中，object二、object4存儲到了NODE3中。在這樣的部署環境中，hash環是不會變動的，所以，經過算出對象的hash值就能快速的定位到對應的機器中，這樣就能找到對象真正的存儲位置了。

 

機器的刪除與添加

普通hash求餘算法最爲不妥的地方就是在有機器的添加或者刪除以後會照成大量的對象存儲位置失效，這樣就大大的不知足單調性了。下面來分析一下一致性哈希算法是如何處理的。

1. 節點（機器）的刪除

    以上面的分佈爲例，若是NODE2出現故障被刪除了，那麼按照順時針遷移的方法，object3將會被遷移到NODE3中，這樣僅僅是object3的映射位置發生了變化，其它的對象沒有任何的改動。以下圖：

                                                              

2. 節點（機器）的添加 

    若是往集羣中添加一個新的節點NODE4，經過對應的哈希算法獲得KEY4，並映射到環中，以下圖：

                                                              

    經過按順時針遷移的規則，那麼object2被遷移到了NODE4中，其它對象還保持這原有的存儲位置。經過對節點的添加和刪除的分析，一致性哈希算法在保持了單調性的同時，仍是數據的遷移達到了最小，這樣的算法對分佈式集羣來講是很是合適的，避免了大量數據遷移，減少了服務器的的壓力。

 

平衡性

根據上面的圖解分析，一致性哈希算法知足了單調性和負載均衡的特性以及通常hash算法的分散性，但這還並不能當作其被普遍應用的起因，由於還缺乏了平衡性。下面將分析一致性哈希算法是如何知足平衡性的。hash算法是不保證平衡的，如上面只部署了NODE1和NODE3的狀況（NODE2被刪除的圖），object1存儲到了NODE1中，而object二、object三、object4都存儲到了NODE3中，這樣就照成了很是不平衡的狀態。在一致性哈希算法中，爲了儘量的知足平衡性，其引入了虛擬節點。

    ——「虛擬節點」（ virtual node ）是實際節點（機器）在 hash 空間的複製品（ replica ），一實際個節點（機器）對應了若干個「虛擬節點」，這個對應個數也成爲「複製個數」，「虛擬節點」在 hash 空間中以hash值排列。

以上面只部署了NODE1和NODE3的狀況（NODE2被刪除的圖）爲例，以前的對象在機器上的分佈很不均衡，如今咱們以2個副本（複製個數）爲例，這樣整個hash環中就存在了4個虛擬節點，最後對象映射的關係圖以下：

                                                                 

根據上圖可知對象的映射關係：object1->NODE1-1，object2->NODE1-2，object3->NODE3-2，object4->NODE3-1。經過虛擬節點的引入，對象的分佈就比較均衡了。那麼在實際操做中，正真的對象查詢是如何工做的呢？對象從hash到虛擬節點到實際節點的轉換以下圖：

                                         

「虛擬節點」的hash計算能夠採用對應節點的IP地址加數字後綴的方式。例如假設NODE1的IP地址爲192.168.1.100。引入「虛擬節點」前，計算 cache A 的 hash 值：

Hash(「192.168.1.100」);

引入「虛擬節點」後，計算「虛擬節」點NODE1-1和NODE1-2的hash值：

Hash(「192.168.1.100#1」); // NODE1-1

Hash(「192.168.1.100#2」); // NODE1-2

 

參考：

[1]  http://blog.huanghao.me/?p=14