Redis系列八：redis主從複製和哨兵

1、Redis主從複製

主從複製：主節點負責寫數據，從節點負責讀數據，主節點按期把數據同步到從節點保證數據的一致性

1. 主從複製的相關操做

a,配置主從複製方式1、新增redis6380.conf, 加入 slaveof 192.168.152.128 6379, 在6379啓動完後再啓6380，完成配置；
b,配置主從複製方式2、redis-server --slaveof 192.168.152.128 6379 臨時生效

c,查看狀態：info replication
d,斷開主從複製：在slave節點，執行6380:>slaveof no one
e,斷開後再變成主從複製：6380:> slaveof 192.168.152.128 6379
f,數據較重要的節點，主從複製時使用密碼驗證： requirepass
e,從節點建議用只讀模式slave-read-only=yes, 若從節點修改數據，主從數據不一致
h,傳輸延遲：主從通常部署在不一樣機器上，複製時存在網絡延時問題，redis提供repl-disable-tcp-nodelay參數決定是否關閉TCP_NODELAY,默認爲關閉
參數關閉時：不管大小都會及時發佈到從節點，佔帶寬，適用於主從網絡好的場景，
參數啓用時：主節點合併全部數據成TCP包節省帶寬，默認爲40毫秒發一次，取決於內核，主從的同步延遲40毫秒，適用於網絡環境複雜或帶寬緊張，如跨機房

2. Redis主從拓撲

a)一主一從：用於主節點故障轉移從節點，當主節點的「寫」命令併發高且須要持久化，能夠只在從節點開啓AOF（主節點不須要），這樣即保證了數據的安全性，也避免持久化對主節點的影響 

 

b)一主多從：針對「讀」較多的場景，「讀」由多個從節點來分擔，但節點越多，主節點同步到多節點的次數也越多，影響帶寬，也加劇主節點的穩定

 

c)樹狀主從：一主多從的缺點（主節點推送次數多壓力大）可用些方案解決，主節點只推送一次數據到從節點B，再由從節點B推送到C，減輕主節點推送的壓力。

 

3. 主從複製原理

 

4. 數據同步

redis 2.8版本以上使用psync命令完成同步，過程分「全量」與「部分」複製
全量複製：通常用於初次複製場景（第一次創建SLAVE後全量）
部分複製：網絡出現問題，從節點再次鏈接主節點時，主節點補發缺乏的數據，每次數據增量同步
心跳：主從有長鏈接心跳，主節點默認每10S向從節點發ping命令，repl-ping-slave-period控制發送頻率

5. 主從的缺點

a)主從複製，若主節點出現問題，則不能提供服務，須要人工修改配置將從變主
b)主從複製主節點的寫能力單機，能力有限
c)單機節點的存儲能力也有限

6.主從故障如何故障轉移

a)主節點(master)故障，從節點slave-1端執行 slaveof no one後變成新主節點；
b)其它的節點成爲新主節點的從節點，並重新節點複製數據；
c)須要人工干預，沒法實現高可用。

2、Redis哨兵機制（Sentinel）

1. 爲何要有哨兵機制？

       哨兵機制的出現是爲了解決主從複製的缺點的

2. 哨兵機制(sentinel)的高可用

　　原理：當主節點出現故障時，由Redis Sentinel自動完成故障發現和轉移，並通知應用方，實現高可用性。

其實整個過程只須要一個哨兵節點來完成，首先使用Raft算法（選舉算法）實現選舉機制，選出一個哨兵節點來完成轉移和通知

3. 哨兵的定時監控任務

任務1：每一個哨兵節點每10秒會向主節點和從節點發送info命令獲取最拓撲結構圖，哨兵配置時只要配置對主節點的監控便可，經過向主節點發送info，獲取從節點的信息，並當有新的從節點加入時能夠立刻感知到

任務2：每一個哨兵節點每隔2秒會向redis數據節點的指定頻道上發送該哨兵節點對於主節點的判斷以及當前哨兵節點的信息，同時每一個哨兵節點也會訂閱該頻道，來了解其它哨兵節點的信息及對主節點的判斷，其實就是經過消息publish和subscribe來完成的

 任務3：每隔1秒每一個哨兵會向主節點、從節點及其他哨兵節點發送一次ping命令作一次心跳檢測，這個也是哨兵用來判斷節點是否正常的重要依據

客觀下線：當主觀下線的節點是主節點時，此時該哨兵3節點會經過指令sentinel is-masterdown-by-addr尋求其它哨兵節點對主節點的判斷，當超過quorum（選舉）個數，此時哨兵節點則認爲該主節點確實有問題，這樣就客觀下線了，大部分哨兵節點都贊成下線操做，也就說是客觀下線

 

4. 領導者哨兵選舉流程

a)每一個在線的哨兵節點均可以成爲領導者，當它確認（好比哨兵3）主節點下線時，會向其它哨兵發is-master-down-by-addr命令，徵求判斷並要求將本身設置爲領導者，由領導者處理故障轉移；
b)當其它哨兵收到此命令時，能夠贊成或者拒絕它成爲領導者；
c)若是哨兵3發現本身在選舉的票數大於等於num(sentinels)/2+1時，將成爲領導者，若是沒有超過，繼續選舉…………

 

5. 故障轉移機制

a)由Sentinel節點按期監控發現主節點是否出現了故障

sentinel會向master發送心跳PING來確認master是否存活，若是master在「必定時間範圍」內不迴應PONG 或者是回覆了一個錯誤消息，那麼這個sentinel會主觀地(單方面地)認爲這個master已經不可用了

 

 

 b) 當主節點出現故障，此時3個Sentinel節點共同選舉了Sentinel3節點爲領導，負載處理主節點的故障轉移

 

 c) 由Sentinel3領導者節點執行故障轉移，過程和主從複製同樣，可是自動執行

 

 流程：

　　  1. 將slave-1脫離原從節點，升級主節點，

         2. 將從節點slave-2指向新的主節點

         3. 通知客戶端主節點已更換

         4. 將原主節點（oldMaster）變成從節點，指向新的主節點

 d) 故障轉移後的redis sentinel的拓撲結構圖

6. 哨兵機制－故障轉移詳細流程-確認主節點

a) 過濾掉不健康的（下線或斷線），沒有回覆過哨兵ping響應的從節點

b) 選擇salve-priority從節點優先級最高（redis.conf）的

c) 選擇複製偏移量最大，指複製最完整的從節點

7. 實戰：如何安裝和部署哨兵

以3個Sentinel節點、2個從節點、1個主節點爲例進行安裝部署

1. 前提：先搭好一主兩從redis的主從複製，和以前的主從複製搭建同樣，搭建方式以下：

　　A）主節點6379節點（/usr/local/bin/conf/redis6379.conf）：

　　　　修改 requirepass 12345678，註釋掉#bind 127.0.0.1

　　B) 從節點redis6380.conf和redis6381.conf: 配置都同樣

 

　　　　修改 requirepass 12345678 ,註釋掉#bind 127.0.0.1,

　　　　加上訪問主節點的密碼masterauth 12345678 ,加上slaveof 192.168.152.128 6379

    注意：當主從起來後，主節點可讀寫，從節點只可讀不可寫

2. redis sentinel哨兵機制核心配置(也是3個節點)：

       /usr/local/bin/conf/sentinel_26379.conf  

       /usr/local/bin/conf/sentinel_26380.conf

       /usr/local/bin/conf/sentinel_26381.conf

將三個文件的端口改爲: 26379   26380   26381

而後：sentinel monitor mymaster 192.168.152.128 6379 2  //監聽主節點6379

      sentinel auth-pass mymaster 12345678     //鏈接主節點時的密碼

三個配置除端口外，其它同樣。

3. 哨兵其它的配置：只要修改每一個sentinel.conf的這段配置便可：

sentinel monitor mymaster 192.168.152.128 6379 2  

//監控主節點的IP地址端口，sentinel監控的master的名字叫作mymaster，2表明，當集羣中有2個sentinel認爲master死了時，才能真正認爲該master已經不可用了

sentinel auth-pass mymaster 12345678  //sentinel連主節點的密碼

sentinel config-epoch mymaster 2  //故障轉移時最多能夠有2從節點同時對新主節點進行數據同步

sentinel leader-epoch mymaster 2

sentinel failover-timeout mymasterA 180000 //故障轉移超時時間180s，                            

a,若是轉移超時失敗，下次轉移時時間爲以前的2倍；

b,從節點變主節點時，從節點執行slaveof no one命令一直失敗的話，當時間超過180S時，則故障轉移失敗

c,從節點複製新主節點時間超過180S轉移失敗

sentinel down-after-milliseconds mymasterA 300000//sentinel節點按期向主節點ping命令，當超過了300S時間後沒有回覆，可能就認定爲此主節點出現故障了……

sentinel parallel-syncs mymasterA 1 //故障轉移後，1表明每一個從節點按順序排隊一個一個複製主節點數據，若是爲3，指3個從節點同時併發複製主節點數據，不會影響阻塞，但存在網絡和IO開銷

4. 啓動redis服務和sentinel服務:

a)先把以前安裝的redis裏面的標綠色的文件都拷貝到 usr/local/bin目錄下，而後再再bin目錄下新建一個conf文件夾存放配置好的redis主從配置文件和哨兵配置文件

b)啓動主從複製服務，先啓動主再啓動從

主：./redis-server conf/redis6379.conf &

從：

　　./redis-server conf/redis6380.conf &

　　./redis-server conf/redis6381.conf &      

 

c）啓動sentinel服務:

       ./redis-sentinel conf/sentinel_26379.conf &

       ./redis-sentinel conf/sentinel_26380.conf &

     

 ./redis-sentinel conf/sentinel_26381.conf &

到此服務所有啓動完畢

 

鏈接到6379的redis的服務，可看到6379就是主節點，他有6380和6381兩個從節點

5. 測試：kill -9 6379  殺掉6379的redis服務

能夠看到殺掉6379之後6380變爲了主節點，6381變爲了6380的從節點

從新啓動6379之後變爲6380的從節點

看日誌是分配6380 是6381的主節點，當6379服務再啓動時，已變成從節點

假設6380升級爲主節點:進入6380>info replication     能夠看到role:master

打開sentinel_26379.conf等三個配置，sentinel monitor mymaster 192.168.152.128 6380 2

打開redis6379.conf等三個配置, slaveof 192.168.152.128 6380,也變成了6380

注意：生產環境建議讓redis Sentinel部署到不一樣的物理機上。

8.部署建議

a，sentinel節點應部署在多臺物理機（線上環境）

b，至少三個且奇數個sentinel節點

c，經過以上咱們知道，3個sentinel可同時監控一個主節點或多個主節點

    監聽N個主節點較多時，若是sentinel出現異常，會對多個主節點有影響，同時還會形成sentinel節點產生過多的網絡鏈接，

    通常線上建議仍是， 3個sentinel監聽一個主節點