超級負載均衡【轉】

    超級負載均衡旨在爲解決服務不斷擴展、機器不斷增多、機器性能差別等問題，以加強系統的穩定性，自動分配請求壓力。算法實現了多個模型和均衡策略，能經過配置實現隨機、輪詢、一致hash等。同時也能實現跨機房的相關分配。現已經在多個系統中使用。

現有系統中存在的問題：

1. 慢鏈接、瞬時訪問慢。

場景一：

若是後端新增長機器，cache命中率低，所以響應速度慢，可是能鏈接上且不超時。若是ui持續訪問就會把ui夯住。

場景二：

若是後端模塊某一臺機器響應較慢。若是前端持續訪問就會被夯住。

2. 死機。

場景一：

能斷斷續續響應請求，不過速度很慢。形成ui夯住。

3. 混合部署。

場景一：

多個模塊在同一機器上，項目影響。

4. 機器權重。

場景一：

老機器，性能差；新機器，性能彪悍。所以他們應該承載不一樣的壓力。

5. 跨機房冗餘。

場景一：

後端對cache依賴很高的模塊，由於採用的是一致hash算法，若是掛掉一臺機器，對另外的機器cache命中率衝擊很大。所以但願將對這個機器的請求均衡到另一個機房。

6. php和c使用一樣的策略。

如今php和c但願能使用的策略其實是有很大的一致。爲了不重複開發，php和c但願採用一樣的負載均衡庫。

要解決的問題：

設計思路：

1. 根據均衡策略計算出的均衡值對Server進行逆序排序。

2. 負載選擇。對步驟1排序後的Server按如下順序進行選擇：

a、按鏈接失敗機率進行選擇。

注：橫軸表明失敗次數，縱軸表明選擇的機率。

Cconn：一段區間內失敗次數

f(Cconn)：鏈接機率，取值範圍在(0，100]

b、按健康狀態選擇。

整個模型基於服務處理時間的收斂性。

分析：

1） 若是機器狀態良好，則平均處理時間會保持在一個穩定水平；即便是小波動，也會較快平穩在一個狀態。

2） 若是機器開始出現問題，處理時間會開始增加。若是增加持續超過一段時間，則說明有可能會影響服務；若是一段時間後穩定了，說明對請求沒有太多影響。

f(healthy)：機器健康狀態，取值範圍[0,1]

select(healthy)：機器選擇機率，取值範圍[R,1]

c、若是全部機器都沒選中，則隨機選擇一臺機器進行服務。

3. 機器流量均分。

不一樣的機器處理能力是不同的。當按照步驟2選擇了某臺機器，須要將其餘處理時間爲他的1/T（T>=2）的機器也選取出來，將部分壓力分給對應的機器。

設k臺機器的處理時間分別是t1, t2,…,tk, 選中的機器id＝i，比該機器處理能力高的機器時間分別爲p1,p2,..,pr, （其中pj × T <= ti）。設一段時間總訪問量爲Y，每臺機器理論上的訪問量應該爲Vg=Y/k。而實際的Vr=Y/(ti * (1/t1+1/t2+…+1/tk))。則應該分出Vg-Vr的流量給pj。pj的流量比例爲1/p1:1/p2:…:1/pr

算法設計：

A、均衡算法

1. 一致hash算法。

將每一個server的ip和port加上balance_key三者作字符串拼接後，作md5簽名。

value(server) = md5(server_ip + server_port + balance_key)

2. 隨機算法。

value(server) = random();

3. 輪詢算法。

value(server) =((server.id – (rounds ％ server_count)) + server_count) % server_count

4. 多個選一算法。

rank初始化爲1， 若是默認的server失敗，則rank＋1

value(server) =((server.id – (rank ％ server_count)) + server_count) % server_count

B、負載算法

1. 鏈接狀態算法。

a、對每個server開闢一個狀態隊列。bool queue[K] 用來統計失敗次數。每次有壞狀態進隊，計數加一。若是有壞狀態出隊，則計數減一。

b、按照f(Cconn)公式計算出選擇機率。

c、利用rand()%100是否在[0,f(Cconn)]來決定是否選擇該機器。

2. 健康狀態算法。

a、每臺機器維持一個一秒鐘內的處理時間T和次數C。

b、當一秒過去之後，將T、C計算爲平均處理時間R。

c、每M秒，統計每臺機器最近一段時間的平均處理時間， 按照公式select（healthy）算出選擇機率。

d、利用rand()%100是否在[0, select(healthy)*100]來決定是否選擇該機器。

C、流量均分

按照策略選出知足要求的機器，按照流量均分公式進行流量分配。

分配時按照balance_key＋server方式和random（）來分配機器， 儘可能保證請求落在同一臺機器。