Redis 哨兵集羣實現高可用

哨兵的介紹

sentinel，中文名是哨兵。哨兵是 redis 集羣機構中很是重要的一個組件，主要有如下功能：

集羣監控：負責監控 redis master 和 slave 進程是否正常工做。
消息通知：若是某個 redis 實例有故障，那麼哨兵負責發送消息做爲報警通知給管理員。
故障轉移：若是 master node 掛掉了，會自動轉移到 slave node 上。
配置中心：若是故障轉移發生了，通知 client 客戶端新的 master 地址。
哨兵用於實現 redis 集羣的高可用，自己也是分佈式的，做爲一個哨兵集羣去運行，互相協同工做。

故障轉移時，判斷一個 master node 是否宕機了，須要大部分的哨兵都贊成才行，涉及到了分佈式選舉的問題。
即便部分哨兵節點掛掉了，哨兵集羣仍是能正常工做的，由於若是一個做爲高可用機制重要組成部分的故障轉移系統自己是單點的，那就很坑爹了。

哨兵的核心知識

哨兵至少須要 3 個實例，來保證本身的健壯性。
哨兵 + redis 主從的部署架構，是不保證數據零丟失的，只能保證 redis 集羣的高可用性。
對於哨兵 + redis 主從這種複雜的部署架構，儘可能在測試環境和生產環境，都進行充足的測試和演練。
哨兵集羣必須部署 2 個以上節點，若是哨兵集羣僅僅部署了 2 個哨兵實例，quorum = 1。

+----+ +----+
| M1 |---------| R1 |
| S1 | | S2 |
+----+ +----+

配置 quorum=1，若是 master 宕機， s1 和 s2 中只要有 1 個哨兵認爲 master 宕機了，就能夠進行切換，同時 s1 和 s2 會選舉出一個哨兵來執行故障轉移。可是同時這個時候，須要 majority，也就是大多數哨兵都是運行的。

2 個哨兵，majority=2
3 個哨兵，majority=2
4 個哨兵，majority=2
5 個哨兵，majority=3
...

若是此時僅僅是 M1 進程宕機了，哨兵 s1 正常運行，那麼故障轉移是 OK 的。可是若是是整個 M1 和 S1 運行的機器宕機了，那麼哨兵只有 1 個，此時就沒有 majority 來容許執行故障轉移，雖然另一臺機器上還有一個 R1，可是故障轉移不會執行。

經典的 3 節點哨兵集羣是這樣的：

配置 quorum=2，若是 M1 所在機器宕機了，那麼三個哨兵還剩下 2 個，S2 和 S3 能夠一致認爲 master 宕機了，而後選舉出一個來執行故障轉移，同時 3 個哨兵的 majority 是 2，因此還剩下的 2 個哨兵運行着，就能夠容許執行故障轉移。

redis 哨兵主備切換的數據丟失問題

兩種狀況和致使數據丟失
主備切換的過程，可能會致使數據丟失：

異步複製致使的數據丟失
由於 master->slave 的複製是異步的，因此可能有部分數據還沒複製到 slave，master 就宕機了，此時這部分數據就丟失了。

腦裂致使的數據丟失
腦裂，也就是說，某個 master 所在機器忽然脫離了正常的網絡，跟其餘 slave 機器不能鏈接，可是實際上 master 還運行着。此時哨兵可能就會認爲 master 宕機了，而後開啓選舉，將其餘 slave 切換成了 master。這個時候，集羣裏就會有兩個 master ，也就是所謂的腦裂。

此時雖然某個 slave 被切換成了 master，可是可能 client 還沒來得及切換到新的 master，還繼續向舊 master 寫數據。所以舊 master 再次恢復的時候，會被做爲一個 slave 掛到新的 master 上去，本身的數據會清空，從新重新的 master 複製數據。而新的 master 並無後來 client 寫入的數據，所以，這部分數據也就丟失了。

數據丟失問題的解決方案

進行以下配置：

min-slaves-to-write 1
min-slaves-max-lag 10

表示，要求至少有 1 個 slave，數據複製和同步的延遲不能超過 10 秒。

若是說一旦全部的 slave，數據複製和同步的延遲都超過了 10 秒鐘，那麼這個時候，master 就不會再接收任何請求了。

減小異步複製數據的丟失

有了 min-slaves-max-lag 這個配置，就能夠確保說，一旦 slave 複製數據和 ack 延時太長，就認爲可能 master 宕機後損失的數據太多了，那麼就拒絕寫請求，這樣能夠把 master 宕機時因爲部分數據未同步到 slave 致使的數據丟失下降的可控範圍內。

減小腦裂的數據丟失

若是一個 master 出現了腦裂，跟其餘 slave 丟了鏈接，那麼上面兩個配置能夠確保說，若是不能繼續給指定數量的 slave 發送數據，並且 slave 超過 10 秒沒有給本身 ack 消息，那麼就直接拒絕客戶端的寫請求。所以在腦裂場景下，最多就丟失 10 秒的數據。

sdown 和 odown 轉換機制

sdown 是主觀宕機，就一個哨兵若是本身以爲一個 master 宕機了，那麼就是主觀宕機
odown 是客觀宕機，若是 quorum 數量的哨兵都以爲一個 master 宕機了，那麼就是客觀宕機
sdown 達成的條件很簡單，若是一個哨兵 ping 一個 master，超過了 is-master-down-after-milliseconds 指定的毫秒數以後，就主觀認爲 master 宕機了；若是一個哨兵在指定時間內，收到了 quorum 數量的其它哨兵也認爲那個 master 是 sdown 的，那麼就認爲是 odown 了。

哨兵集羣的自動發現機制

哨兵互相之間的發現，是經過 redis 的 pub/sub 系統實現的，每一個哨兵都會往 __sentinel__:hello 這個 channel 裏發送一個消息，這時候全部其餘哨兵均可以消費到這個消息，並感知到其餘的哨兵的存在。

每隔兩秒鐘，每一個哨兵都會往本身監控的某個 master+slaves 對應的 __sentinel__:hello channel 裏發送一個消息，內容是本身的 host、ip 和 runid 還有對這個 master 的監控配置。

每一個哨兵也會去監聽本身監控的每一個 master+slaves 對應的 __sentinel__:hello channel，而後去感知到一樣在監聽這個 master+slaves 的其餘哨兵的存在。

每一個哨兵還會跟其餘哨兵交換對 master 的監控配置，互相進行監控配置的同步。

slave 配置的自動糾正

哨兵會負責自動糾正 slave 的一些配置，好比 slave 若是要成爲潛在的 master 候選人，哨兵會確保 slave 複製現有 master 的數據；若是 slave 鏈接到了一個錯誤的 master 上，好比故障轉移以後，那麼哨兵會確保它們鏈接到正確的 master 上。

slave->master 選舉算法

若是一個 master 被認爲 odown 了，並且 majority 數量的哨兵都容許主備切換，那麼某個哨兵就會執行主備切換操做，此時首先要選舉一個 slave 來，會考慮 slave 的一些信息：

跟 master 斷開鏈接的時長
slave 優先級
複製 offset
run id
若是一個 slave 跟 master 斷開鏈接的時間已經超過了 down-after-milliseconds 的 10 倍，外加 master 宕機的時長，那麼 slave 就被認爲不適合選舉爲 master。

(down-after-milliseconds * 10) + milliseconds_since_master_is_in_SDOWN_state

接下來會對 slave 進行排序：

按照 slave 優先級進行排序，slave priority 越低，優先級就越高。
若是 slave priority 相同，那麼看 replica offset，哪一個 slave 複製了越多的數據，offset 越靠後，優先級就越高。
若是上面兩個條件都相同，那麼選擇一個 run id 比較小的那個 slave。

quorum 和 majority
每次一個哨兵要作主備切換，首先須要 quorum 數量的哨兵認爲 odown，而後選舉出一個哨兵來作切換，這個哨兵還須要獲得 majority 哨兵的受權，才能正式執行切換。

若是 quorum < majority，好比 5 個哨兵，majority 就是 3，quorum 設置爲 2，那麼就 3 個哨兵受權就能夠執行切換。

可是若是 quorum >= majority，那麼必須 quorum 數量的哨兵都受權，好比 5 個哨兵，quorum 是 5，那麼必須 5 個哨兵都贊成受權，才能執行切換。

configuration epoch
哨兵會對一套 redis master+slaves 進行監控，有相應的監控的配置。

執行切換的那個哨兵，會從要切換到的新 master（salve->master）那裏獲得一個 configuration epoch，這就是一個 version 號，每次切換的 version 號都必須是惟一的。

若是第一個選舉出的哨兵切換失敗了，那麼其餘哨兵，會等待 failover-timeout 時間，而後接替繼續執行切換，此時會從新獲取一個新的 configuration epoch，做爲新的 version 號。

configuration 傳播
哨兵完成切換以後，會在本身本地更新生成最新的 master 配置，而後同步給其餘的哨兵，就是經過以前說的 pub/sub 消息機制。

這裏以前的 version 號就很重要了，由於各類消息都是經過一個 channel 去發佈和監聽的，因此一個哨兵完成一次新的切換以後，新的 master 配置是跟着新的 version 號的。其餘的哨兵都是根據版本號的大小來更新本身的 master 配置的。

---

本文的重點是你有沒有收穫與成長，其他的都不重要，但願讀者們能謹記這一點。同時我通過多年的收藏目前也算收集到了一套完整的學習資料，包括但不限於：分佈式架構、高可擴展、高性能、高併發、Jvm性能調優、Spring，MyBatis，Nginx源碼分析，Redis，ActiveMQ、、Mycat、Netty、Kafka、Mysql、Zookeeper、Tomcat、Docker、Dubbo、Nginx等多個知識點高級進階乾貨，但願對想成爲架構師的朋友有必定的參考和幫助

須要更詳細架構師技能思惟導圖和如下資料的能夠加一下技術交流分享羣：「708 701 457」免費獲取