一致性HASH算法解析

一、爲何要用一致性HASH算法？

問題場景：好比有N個cache服務器，那麼如何將一個對象object映射到N個cache上呢？傳統的通用方法是計算object的hash值，而後均勻的映射到N個cache上：hash(object)%N，這樣會出現兩種狀況：

第一：N個cache服務器中有一個down掉，這時全部映射到m的對象都會失效，須要把cache m從cache中移除，映射公式變成了hash(object)%(N-1);

第二：因爲 訪問加劇，須要添加cache，這時cache服務器變成N+1，映射公式變成hash(object)%(N+1)；

這兩種狀況下意味着什麼呢？意味着忽然之間全部的cache全都失效了，對於服務器而言，這是一場災難。因而產生了一致性HASH算法。

二、一致性HASH算法解決了哪些問題？

第一：在移除和添加一個cache時，可以儘量小的改變已經存在的KEY映射關係，儘量知足HASH算法的單調性要求。HASH算法的單調性是指如何已經有一些內容經過HASH分配到相應的緩衝區，又有新的緩衝加入到系統中。HASH的結果應該可以保證原有已分配的內容能夠被映射到新的緩衝中去，而不會被映射到舊的緩衝集合中的其餘緩衝區。

第二：可以保證HASH算法的平衡性要求。HASH算法的平衡性是指HASH的結果可以儘量分佈到全部的緩衝中去，使得全部的緩衝空間都獲得利用。

三、一致性HASH是怎樣實現去保證這些問題的解決。

一致性HASH的實現原理：
環形HASH空間。

考慮一般的 hash 算法都是將 value 映射到一個 32 爲的 key 值，也便是 0~2^32-1 次方的數值空間；咱們能夠將這個空間想象成一個首（ 0 ）尾（ 2^32-1 ）相接的圓環，以下面圖 1 所示的那樣。

圖 1： 環形 HASH空間

把對象映射到HASH空間

接下來考慮 4 個對象 object1~object4 ，經過 hash 函數計算出的 hash 值 key 在環上的分佈如圖 2 所示。

hash(object1) = key1;
… …
hash(object4) = key4;

圖 2： 4 個對象的 key 值分佈

把cache 映射到hash 空間

Consistent hashing 的基本思想就是將對象和 cache 都映射到同一個 hash 數值空間中，而且使用相同的hash 算法。
假設當前有 A,B 和 C 共 3 臺 cache ，那麼其映射結果將如圖

3 所示，他們在 hash 空間中，以對應的 hash值排列。

hash(cache A) = key A;
… …
hash(cache C) = key C;

圖 3 cache 和對象的 key 值分佈

說到這裏，順便提一下 cache 的 hash 計算，通常的方法可使用 cache 機器的 IP 地址或者機器名做爲hash 輸入。

把對象映射到cache

如今 cache 和對象都已經經過同一個 hash 算法映射到 hash 數值空間中了，接下來要考慮的就是如何將對象映射到 cache 上面了。

在這個環形空間中，若是沿着順時針方向從對象的 key 值出發，直到碰見一個 cache ，那麼就將該對象存儲在這個 cache 上，由於對象和 cache 的 hash 值是固定的，所以這個 cache 必然是惟一和肯定的。這樣不就找到了對象和 cache 的映射方法了嗎？！

依然繼續上面的例子（參見圖 3 ），那麼根據上面的方法，對象 object1 將被存儲到 cache A 上； object2和 object3 對應到 cache C ； object4 對應到 cache B ；
考察cache 的變更

前面講過，經過 hash 而後求餘的方法帶來的最大問題就在於不能知足單調性，當 cache 有所變更時，cache 會失效，進而對後臺服務器形成巨大的衝擊，如今就來分析分析 consistent hashing 算法。

移除 cache

考慮假設 cache B 掛掉了，根據上面講到的映射方法，這時受影響的將僅是那些沿 cache B 逆時針遍歷直到下一個 cache （ cache C ）之間的對象，也便是原本映射到 cache B 上的那些對象。

所以這裏僅須要變更對象 object4 ，將其從新映射到 cache C 上便可；參見圖 4 。

圖 4 Cache B 被移除後的 cache 映射

添加 cache

再考慮添加一臺新的 cache D 的狀況，假設在這個環形 hash 空間中， cache D 被映射在對象 object2 和object3 之間。這時受影響的將僅是那些沿 cache D 逆時針遍歷直到下一個 cache （ cache B ）之間的對象（它們是也原本映射到 cache C 上對象的一部分），將這些對象從新映射到 cache D 上便可。
所以這裏僅須要變更對象 object2 ，將其從新映射到 cache D 上；參見圖 5 。

圖 5 添加 cache D 後的映射關係

虛擬節點

考量 Hash 算法的另外一個指標是平衡性 (Balance) ，定義以下：
平衡性

平衡性是指哈希的結果可以儘量分佈到全部的緩衝中去，這樣可使得全部的緩衝空間都獲得利用。

hash 算法並非保證絕對的平衡，若是 cache 較少的話，對象並不能被均勻的映射到 cache 上，好比在上面的例子中，僅部署 cache A 和 cache C 的狀況下，在 4 個對象中， cache A 僅存儲了 object1 ，而 cache C 則存儲了 object2 、 object3 和 object4 ；分佈是很不均衡的。

爲了解決這種狀況， consistent hashing 引入了「虛擬節點」的概念，它能夠以下定義：

「虛擬節點」（ virtual node ）是實際節點在 hash 空間的複製品（ replica ），一實際個節點對應了若干個「虛擬節點」，這個對應個數也成爲「複製個數」，「虛擬節點」在 hash 空間中以 hash 值排列。

仍以僅部署 cache A 和 cache C 的狀況爲例，在圖 4 中咱們已經看到， cache 分佈並不均勻。如今咱們引入虛擬節點，並設置「複製個數」爲 2 ，這就意味着一共會存在 4 個「虛擬節點」， cache A1, cache A2 表明了 cache A ； cache C1, cache C2 表明了 cache C ；假設一種比較理想的狀況，參見圖 6 。

圖 6 引入「虛擬節點」後的映射關係

此時，對象到「虛擬節點」的映射關係爲：

objec1->cache A2 ；
objec2->cache A1 ； 
objec3->cache C1 ；
objec4->cache C2 ；

所以對象 object1 和 object2 都被映射到了 cache A 上，而 object3 和 object4 映射到了 cache C 上；平衡性有了很大提升。

引入「虛擬節點」後，映射關係就從 { 對象 -> 節點 } 轉換到了 { 對象 -> 虛擬節點 } 。查詢物體所在 cache時的映射關係如圖 7 所示。

圖 7 查詢對象所在 cache

「虛擬節點」的 hash 計算能夠採用對應節點的 IP 地址加數字後綴的方式。例如假設 cache A 的 IP 地址爲202.168.14.241 。
引入「虛擬節點」前，計算 cache A 的 hash 值：

Hash(「202.168.14.241」);

引入「虛擬節點」後，計算「虛擬節」點 cache A1 和 cache A2 的 hash 值：

Hash(「202.168.14.241#1」); // cache A1 Hash(「202.168.14.241#2」); // cache A2