Redis的持久化方案

Redis支持RDB與AOF兩種持久化機制，持久化能夠避免因進程異常退出或down機致使的數據丟失問題，在下次重啓時能利用以前的持久化文件實現數據恢復。

RDB持久化

RDB持久化即經過建立快照（壓縮的二進制文件）的方式進行持久化，保存某個時間點的全量數據。RDB持久化是Redis默認的持久化方式。RDB持久化的觸發包括手動觸發與自動觸發兩種方式。

手動觸發

1. save， 在命令行執行save命令，將以同步的方式建立rdb文件保存快照，會阻塞服務器的主進程，生產環境中不要用
2. bgsave, 在命令行執行bgsave命令，將經過fork一個子進程以異步的方式建立rdb文件保存快照，除了fork時有阻塞，子進程在建立rdb文件時，主進程可繼續處理請求

自動觸發

1. 在redis.conf中配置 save m n 定時觸發，如 save 900 1表示在900s內至少存在一次更新就觸發
2. 主從複製時，若是從節點執行全量複製操做，主節點自動執行bgsave生成RDB文件併發送給從節點
3. 執行debug reload命令從新加載Redis時
4. 執行shutdown且沒有開啓AOF持久化

redis.conf中RDB持久化配置

# 只要知足下列條件之一，則會執行bgsave命令
save 900 1 # 在900s內存在至少一次寫操做
save 300 10
save 60 10000
# 禁用RBD持久化，可在最後加 save ""

# 當備份進程出錯時主進程是否中止寫入操做
stop-writes-on-bgsave-error yes  
# 是否壓縮rdb文件 推薦no 相對於硬盤成本cpu資源更貴
rdbcompression no

AOF持久化

AOF（Append-Only-File）持久化即記錄全部變動數據庫狀態的指令，以append的形式追加保存到AOF文件中。在服務器下次啓動時，就能夠經過載入和執行AOF文件中保存的命令，來還原服務器關閉前的數據庫狀態。

redis.conf中AOF持久化配置以下

# 默認關閉AOF，若要開啓將no改成yes
appendonly no

# append文件的名字
appendfilename "appendonly.aof"

# 每隔一秒將緩存區內容寫入文件 默認開啓的寫入方式
appendfsync everysec 

# 當AOF文件大小的增加率大於該配置項時自動開啓重寫（這裏指超過原大小的100%）。
auto-aof-rewrite-percentage 100

# 當AOF文件大小大於該配置項時自動開啓重寫
auto-aof-rewrite-min-size 64mb

AOF持久化的實現包括3個步驟:

1. 命令追加：將命令追加到AOF緩衝區
2. 文件寫入：緩衝區內容寫到AOF文件
3. 文件保存：AOF文件保存到磁盤

其中後兩步的頻率經過appendfsync來配置，appendfsync的選項包括

• always， 每執行一個命令就保存一次，安全性最高，最多隻丟失一個命令的數據，可是性能也最低（頻繁的磁盤IO）
• everysec，每一秒保存一次，推薦使用，在安全性與性能之間折中，最多丟失一秒的數據
• no， 依賴操做系統來執行（通常大概30s一次的樣子），安全性最低，性能最高，丟失操做系統最後一次對AOF文件觸發SAVE操做以後的數據

AOF經過保存命令來持久化，隨着時間的推移，AOF文件會愈來愈大，Redis經過AOF文件重寫來解決AOF文件不斷增大的問題（能夠減小文件的磁盤佔有量，加快數據恢復的速度），原理以下：

1. 調用fork，建立一個子進程

2. 子進程讀取當前數據庫的狀態來「重寫」一個新的AOF文件（這裏雖然叫「重寫」，但實際並無對舊文件進行任何讀取，而是根據數據庫的當前狀態來造成指令）

3. 主進程持續將新的變更同時寫到AOF重寫緩衝區與原來的AOF緩衝區中

4. 主進程獲取到子進程重寫AOF完成的信號，調用信號處理函數將AOF重寫緩衝區內容寫入新的AOF文件中，並對新文件進行重命名，原子地覆蓋原有AOF文件，完成新舊文件的替換

AOF的重寫也分爲手動觸發與自動觸發

• 手動觸發： 直接調用bgrewriteaof命令
• 自動觸發： 根據auto-aof-rewrite-min-size和auto-aof-rewrite-percentage參數肯定自動觸發時機。其中auto-aof-rewrite-min-size表示運行AOF重寫時文件最小體積，默認爲64MB。auto-aof-rewrite-percentage表示當前AOF文件大小（aof_current_size）和上一次重寫後AOF文件大小（aof_base_size）的比值。自動觸發時機爲 aof_current_size > auto-aof-rewrite-min-size &&（aof_current_size - aof_base_size）/aof_base_size> = auto-aof-rewrite-percentage

RDB vs AOF

RDB與AOF兩種方式各有優缺點。

RDB的優勢：與AOF相比，RDB文件相對較小，恢復數據比較快（緣由見數據恢復部分）
RDB的缺點：服務器宕機，RBD方式會丟失掉上一次RDB持久化後的數據；使用bgsave fork子進程時會耗費內存。

AOF的優勢： AOF只是追加文件，對服務器性能影響較小，速度比RDB快，消耗內存也少，同時可讀性高。
AOF的缺點：生成的文件相對較大，即便經過AOF重寫，仍然會比較大；恢復數據的速度比RDB慢。

數據庫的恢復

服務器啓動時，若是沒有開啓AOF持久化功能，則會自動載入RDB文件，期間會阻塞主進程。若是開啓了AOF持久化功能，服務器則會優先使用AOF文件來還原數據庫狀態，由於AOF文件的更新頻率一般比RDB文件的更新頻率高，保存的數據更完整。

redis數據庫恢復的處理流程以下，

在數據恢復方面，RDB的啓動時間會更短，緣由有兩個：

1. RDB 文件中每一條數據只有一條記錄，不會像AOF日誌那樣可能有一條數據的屢次操做記錄。因此每條數據只須要寫一次就好了，文件相對較小。
2. RDB 文件的存儲格式和Redis數據在內存中的編碼格式是一致的，不須要再進行數據編碼工做，因此在CPU消耗上要遠小於AOF日誌的加載。

可是在進行RDB持久化時，fork出來進行dump操做的子進程會佔用與父進程同樣的內存，採用的copy-on-write機制，對性能的影響和內存的消耗都是比較大的。好比16G內存，Redis已經使用了10G，這時save的話會再生成10G，變成20G，大於系統的16G。這時候會發生交換，要是虛擬內存不夠則會崩潰，致使數據丟失。因此在用redis的時候必定對系統內存作好容量規劃。

RDB、AOF混合持久化

Redis從4.0版開始支持RDB與AOF的混合持久化方案。首先由RDB按期完成內存快照的備份，而後再由AOF完成兩次RDB之間的數據備份，由這兩部分共同構成持久化文件。該方案的優勢是充分利用了RDB加載快、備份文件小及AOF儘量不丟數據的特性。缺點是兼容性差，一旦開啓了混合持久化，在4.0以前的版本都不識別該持久化文件，同時因爲前部分是RDB格式，閱讀性較低。

開啓混合持久化

aof-use-rdb-preamble yes

數據恢復加載過程就是先按照RDB進行加載，而後把AOF命令追加寫入。

持久化方案的建議

1. 若是Redis只是用來作緩存服務器，好比數據庫查詢數據後緩存，那能夠不用考慮持久化，由於緩存服務失效還能再從數據庫獲取恢復。
2. 若是你要想提供很高的數據保障性，那麼建議你同時使用兩種持久化方式。若是你能夠接受災難帶來的幾分鐘的數據丟失，那麼能夠僅使用RDB。
3. 一般的設計思路是利用主從複製機制來彌補持久化時性能上的影響。即Master上RDB、AOF都不作，保證Master的讀寫性能，而Slave上則同時開啓RDB和AOF（或4.0以上版本的混合持久化方式）來進行持久化，保證數據的安全性。

歡迎關注微信公衆號：空山新雨的技術空間
獲取Spring Boot，Spring Cloud，Docker等系列技術文章