Redis的三種集羣方式+穿透與雪崩的預防和解決

Redis的三種集羣方式概述

一、主從複製

原理

1. 從服務器鏈接主服務器，發送SYNC（同步）命令；
2. 主服務器接收到SYNC命名後，開始執行BGSAVE命令生成RDB文件並使用緩衝區記錄此後執行的全部寫命令；
3. 主服務器BGSAVE執行完後，向全部從服務器發送快照文件，並在發送期間繼續記錄被執行的寫命令；
4. 從服務器收到快照文件後丟棄全部舊數據，載入收到的快照；
5. 主服務器快照發送完畢後開始向從服務器發送緩衝區中的寫命令；
6. 從服務器完成對快照的載入，開始接收命令請求，並執行來自主服務器緩衝區的寫命令；（從服務器初始化完成）
7. 主服務器每執行一個寫命令就會向從服務器發送相同的寫命令，從服務器接收並執行收到的寫命令（從服務器初始化完成後的操做）

優勢

1. 支持主從複製，主機會自動將數據同步到從機，能夠進行讀寫分離
2. 爲了分載Master的讀操做壓力，Slave服務器能夠爲客戶端提供只讀操做的服務，寫服務仍然必須由Master來完成
3. Slave一樣能夠接受其它Slaves的鏈接和同步請求，這樣能夠有效的分載Master的同步壓力。
4. Master Server是以非阻塞的方式爲Slaves提供服務。因此在Master-Slave同步期間，客戶端仍然能夠提交查詢或修改請求。
5. Slave Server一樣是以非阻塞的方式完成數據同步。在同步期間，若是有客戶端提交查詢請求，Redis則返回同步以前的數據

缺點

1. Redis不具有自動容錯和恢復功能，主機從機的宕機都會致使前端部分讀寫請求失敗，須要等待機器重啓或者手動切換前端的IP才能恢復。
2. 主機宕機，宕機前有部分數據未能及時同步到從機，切換IP後還會引入數據不一致的問題，下降了系統的可用性。
3. Redis較難支持在線擴容，在集羣容量達到上限時在線擴容會變得很複雜。

二、哨兵模式

原理

當主服務器中斷服務後，能夠將一個從服務器升級爲主服務器，以便繼續提供服務，可是這個過程須要人工手動來操做。 爲此，Redis 2.8中提供了哨兵工具來實現自動化的系統監控和故障恢復功能。

哨兵的做用就是監控Redis系統的運行情況。它的功能包括如下兩個

（1）監控主服務器和從服務器是否正常運行。

（2）主服務器出現故障時自動將從服務器轉換爲主服務器。

工做方式

• 每一個Sentinel（哨兵）進程以每秒鐘一次的頻率向整個集羣中的Master主服務器，Slave從服務器以及其餘Sentinel（哨兵）進程發送一個 PING 命令。
• 若是一個實例（instance）距離最後一次有效回覆 PING 命令的時間超過 down-after-milliseconds 選項所指定的值， 則這個實例會被 Sentinel（哨兵）進程標記爲主觀下線（SDOWN）
• 若是一個Master主服務器被標記爲主觀下線（SDOWN），則正在監視這個Master主服務器的全部 Sentinel（哨兵）進程要以每秒一次的頻率確認Master主服務器的確進入了主觀下線狀態
• 當有足夠數量的 Sentinel（哨兵）進程（大於等於配置文件指定的值）在指定的時間範圍內確認Master主服務器進入了主觀下線狀態（SDOWN）， 則Master主服務器會被標記爲客觀下線（ODOWN）
• 在通常狀況下， 每一個 Sentinel（哨兵）進程會以每 10 秒一次的頻率向集羣中的全部Master主服務器、Slave從服務器發送 INFO 命令。
• 當Master主服務器被 Sentinel（哨兵）進程標記爲客觀下線（ODOWN）時，Sentinel（哨兵）進程向下線的 Master主服務器的全部 Slave從服務器發送 INFO 命令的頻率會從 10 秒一次改成每秒一次。
• 若沒有足夠數量的 Sentinel（哨兵）進程贊成 Master主服務器下線， Master主服務器的客觀下線狀態就會被移除。若 Master主服務器從新向 Sentinel（哨兵）進程發送 PING 命令返回有效回覆，Master主服務器的主觀下線狀態就會被移除。

優勢

• 哨兵模式是基於主從模式的，全部主從的優勢，哨兵模式都具備。
• 主從能夠自動切換，系統更健壯，可用性更高。

缺點

Redis較難支持在線擴容，在集羣容量達到上限時在線擴容會變得很複雜。

三、Redis-Cluster集羣

原理

redis的哨兵模式基本已經能夠實現高可用，讀寫分離 ，可是在這種模式下每臺redis服務器都存儲相同的數據，很浪費內存，因此在redis3.0上加入了cluster模式，實現的redis的分佈式存儲，也就是說每臺redis節點上存儲不一樣的內容。

Redis-Cluster採用無中心結構,它的特色以下

1. 全部的redis節點彼此互聯(PING-PONG機制),內部使用二進制協議優化傳輸速度和帶寬。
2. 節點的fail是經過集羣中超過半數的節點檢測失效時才生效。
3. 客戶端與redis節點直連,不須要中間代理層.客戶端不須要鏈接集羣全部節點,鏈接集羣中任何一個可用節點便可。

工做方式

在redis的每個節點上，都有這麼兩個東西，一個是插槽（slot），它的的取值範圍是：0-16383。還有一個就是cluster，能夠理解爲是一個集羣管理的插件。當咱們的存取的key到達的時候，redis會根據crc16的算法得出一個結果，而後把結果對 16384 求餘數，這樣每一個 key 都會對應一個編號在 0-16383 之間的哈希槽，經過這個值，去找到對應的插槽所對應的節點，而後直接自動跳轉到這個對應的節點上進行存取操做。

爲了保證高可用，redis-cluster集羣引入了主從模式，一個主節點對應一個或者多個從節點，當主節點宕機的時候，就會啓用從節點。當其它主節點ping一個主節點A時，若是半數以上的主節點與A通訊超時，那麼認爲主節點A宕機了。若是主節點A和它的從節點A1都宕機了，那麼該集羣就沒法再提供服務了

redis中穿透與雪崩的預防及解決

認識緩存穿透

緩存穿透是指查詢一個必定不存在的數據，因爲緩存是不命中時須要從數據庫查詢，查不到數據則不寫入緩存，這將致使這個不存在的數據每次請求都要到數據庫去查詢，形成緩存穿透。

解決辦法

• 對全部可能查詢的參數以hash形式存儲，在控制層先進行校驗，不符合則丟棄。還有最多見的則是採用布隆過濾器，將全部可能存在的數據哈希到一個足夠大的bitmap中，一個必定不存在的數據會被這個bitmap攔截掉，從而避免了對底層存儲系統的查詢壓力。
• 也能夠採用一個更爲簡單粗暴的方法，若是一個查詢返回的數據爲空（不論是數 據不存在，仍是系統故障），咱們仍然把這個空結果進行緩存，但它的過時時間會很短，最長不超過五分鐘。

認識緩存雪崩

若是緩存集中在一段時間內失效，發生大量的緩存穿透，全部的查詢都落在數據庫上，形成了緩存雪崩。

這個沒有完美解決辦法，但能夠分析用戶行爲，儘可能讓失效時間點均勻分佈。大多數系統設計者考慮用加鎖或者隊列的方式保證緩存的單線程（進程）寫，從而避免失效時大量的併發請求落到底層存儲系統上。

解決方法

• 在緩存失效後，經過加鎖或者隊列來控制讀數據庫寫緩存的線程數量。好比對某個key只容許一個線程查詢數據和寫緩存，其餘線程等待。
• 能夠經過緩存reload機制，預先去更新緩存，再即將發生大併發訪問前手動觸發加載緩存
• 不一樣的key，設置不一樣的過時時間，讓緩存失效的時間點儘可能均勻
• 作二級緩存，或者雙緩存策略。A1爲原始緩存，A2爲拷貝緩存，A1失效時，能夠訪問A2，A1緩存失效時間設置爲短時間，A2設置爲長期。

我整理了一些互聯網公司java程序員在面試中涉及到的絕大部分架構面試題及答案作成了文檔和架構視頻資料免費分享給你們（包括Dubbo、Redis、Netty、zookeeper、Spring cloud、分佈式、高併發等架構技術資料）也能夠關注得到更多的面試資料，節省你們收集的時間！

獲取資料的方式：進羣 571617441 便可領取！