簡明的圖解Redis RDB持久化、AOF持久化

關注我，能夠獲取最新知識、經典面試題以及微服務技術分享

1.持久化

1.1 持久化簡介

持久化（Persistence），持久化是將程序數據在持久狀態和瞬時狀態間轉換的機制，即把數據（如內存中的對象）保存到可永久保存的存儲設備中（如磁盤）。

1.2 redis持久化

redis爲內存數據庫，爲了防止服務器宕機以及服務器進程退出後，服務器數據丟失，Redis提供了持久化功能，即將Redis中內存數據持久化到磁盤中。Redis 提供了不一樣級別的持久化方式：

• RDB持久化方式：能夠在指定的時間間隔能對數據進行快照存儲.
• AOF持久化方式：記錄每次對服務器寫的操做,當服務器重啓的時候會從新執行這些命令來恢復原始的數據,AOF命令以redis協議追加保存每次寫的操做到文件末尾.Redis還能對AOF文件進行後臺重寫,使得AOF文件的體積不至於過大.

若是服務器開啓了AOF持久化功能。服務器會優先使用AOF文件還原數據。只有關閉了AOF持久化功能，服務器纔會使用RDB文件還原數據

2. RDB持久化

2.1 RDB文件格式

RDB文件是一個通過壓縮的二進制文件（默認的文件名：dump.rdb），由多個部分組成，RDB格式：

2.2 RDB文件持久化建立與載入

在 Redis持久化時， RDB 程序將當前內存中的數據庫狀態保存到磁盤文件中， 在 Redis 重啓動時， RDB 程序能夠經過載入 RDB 文件來還原數據庫的狀態。

2.3 工做方式

當 Redis 須要保存 dump.rdb 文件時， 服務器執行如下操做:

• Redis 調用forks。同時擁有父進程和子進程。
• 子進程將數據集寫入到一個臨時 RDB 文件中。
• 當子進程完成對新 RDB 文件的寫入時，Redis 用新 RDB 文件替換原來的 RDB 文件，並刪除舊的 RDB 文件。

這種工做方式使得 Redis 能夠從寫時複製（copy-on-write）機制中獲益。

2.4 建立方式

SAVE

同步操做，在執行該命令時，服務器會被阻塞，拒絕客戶端發送的命令請求

redis> save

BGSAVE

異步操做，在執行該命令時，子進程執行保存工做，服務器還能夠繼續讓主線程處理客戶端發送的命令請求

redis>bgsave

自動建立

因爲BGSAVE命令可不阻塞服務器進程下執行，可讓用戶自定義save屬性，讓服務器每一個一段時間自動執行一次BGSAVE命令（即經過配置文件對 Redis 進行設置， 讓它在「 N 秒內數據集至少有 M 個改動」這一條件被知足時， 自動進行數據集保存操做）。

好比：
/*服務器在900秒以內，對數據庫進行了至少1次修改*/
Save  900   1
/*服務器在300秒以內，對數據庫進行了至少10次修改*/
Save  300   10
/*服務器在60秒以內，對數據庫進行了至少10000次修改*/
Save  60     10000

只要知足其中一個條件就會執行BGSAVE命令

2.5 RDB 默認配置

################################ SNAPSHOTTING  ################################
#
# Save the DB on disk:
#在給定的秒數和給定的對數據庫的寫操做數下，自動持久化操做。
#   save <seconds> <changes>
# 
save 900 1
save 300 10
save 60 10000

#bgsave發生錯誤時是否中止寫入，通常爲yes
stop-writes-on-bgsave-error yes

#持久化時是否使用LZF壓縮字符串對象?
rdbcompression yes

#是否對rdb文件進行校驗和檢驗，一般爲yes
rdbchecksum yes

# RDB持久化文件名
dbfilename dump.rdb

#持久化文件存儲目錄
dir ./

3. AOF持久化

3.1 AOF持久化簡介

AOF持久化是經過保存Redis服務器所執行的寫命令來記錄數據庫狀態

AOF持久化功能實現：

1. append命令追加：當AOF持久化功能處於打開狀態時，服務器執行完一個寫命令會協議格式被執行的命令追加服務器狀態的aof_buf緩衝區的末尾。

   reids>SET KET VAULE
   //協議格式
   \r\n$3\r\nSET\r\n$3\r\nKEY\r\n$5\r\nVAULE\r\n

2. 文件寫入和同步sync：Redis的服務器進程是一個事件循環，這個文件事件負責接收客戶端的命令請求以及向客戶端發送命令回覆。當執行了append命令追加後，服務器會調用flushAppendOnlyFile函數是否須要將AOF緩衝區的內容寫入和保存到AOF文件

redis> SET msg "Ccww"
    redis> SADD persistence "rdb" "aof"
    redis> RPUSH size 128 256 512

3.2 AOF持久化策略

AOF持久化策略(即緩衝區內容寫入和同步sync到AOF中)，能夠經過配置appendfsync屬性來選擇AOF持久化策略：

• always：將aof_buf緩衝區中的全部內容寫入並同步到AOF文件，每次有新命令追加到 AOF 文件時就執行一次 fsync。
• everysec（默認）：若是上次同步AOF的時間距離如今超過一秒，先將aof_buf緩衝區中的全部內容寫入到AOF文件，再次對AOF文件進行同步，且同步操做由一個專門線程負責執行。
• no：將aof_buf緩衝區中的全部內容寫入到AOF文件，但並不對AOF文件進行同步，什麼時候同步由操做系統(OS)決定。

AOF持久化策略的效率與安全性：

• Always:效率最慢的，但安全性是最安全的，即便出現故障宕機，持久化也只會丟失一個事件 循環的命令數據
• everysec：兼顧速度和安全性，出現宕機也只是丟失一秒鐘的命令數據
• No:寫入最快，但綜合起來單次同步是時間是最長的，且出現宕機時會丟失上傳同步AOF文件以後的全部命令數據。

3.3 AOF重寫

因爲AOF持久化會把執行的寫命令追加到AOF文件中，因此隨着時間寫入命令會不斷增長， AOF文件的體積也會變得愈來愈大。AOF文件體積大對Reids服務器，甚至宿主服務器形成影響。

爲了解決AOF文件體積膨脹的問題，Redis提供了AOF文件重寫（rewrite）功能：

• 生成一個不保存任何浪費空間的冗餘命令新的AOF文件，且新舊AOF文件保存數據庫狀態同樣的
• 新的AOF文件是經過讀取數據庫中的鍵值對來實現的，程序無須對現有的AOF文件進行讀入，分析，或者寫入操做。
• 爲防止緩衝區溢出，重寫處理list，hash，set以及Zset時，超過設置常量數量時會多條相同命令記錄一個集合。
• Redis 2.4 能夠經過配置自動觸發 AOF 重寫，觸發參數 auto-aof-rewrite-percentage(觸發AOF文件執行重寫的增加率) 以及 auto-aof-rewrite-min-size(觸發AOF文件執行重寫的最小尺寸)

AOF重寫的做用：

• 減小磁盤佔用量
• 加速數據恢復

Redis服務器使用單個線程來處理命令請求，服務器大量調用aof_rewrite函數，在AOF重寫期間，則沒法處理client發來的命令請求，因此AOF重寫程序放在子進程執行，好處：

1. 子進程進行AOF重寫期間，服務器進程能夠繼續處理命令請求
2. 子進程帶有服務器進程的數據副本，保證了數據的安全性。

AOF重寫使用子進程會形成數據庫與重寫後的AOF保存的數據不一致，爲了解決這種數據不一致，redis使用了AOF重寫緩衝區
實現：

BGREWRITEAOF命令實現原理（只有信號處理函數執行時纔對服務器進程形成阻塞）：

• 執行命令，同時將命令追加到AOF緩衝區和AOF重寫緩衝區
• 當AOF子進程重寫完成後，發送一個信號給父進程，父進程將執行AOF重寫緩衝區中的全部內容寫入到新AOF文件中，新AOF文件保存的數據庫狀態將和服務器當前的數據庫狀態一致。
• 對新的AOF文件進行更名，原子性地覆蓋現有AOF文件，完成新舊兩個AOF文件替換處理完成。

3.4 AOF持久化默認參數

############################## APPEND ONLY MODE ###############################

#開啓AOF持久化方式
appendonly no

#AOF持久化文件名
appendfilename "appendonly.aof"
#每秒把緩衝區的數據fsync到磁盤
appendfsync everysec
# appendfsync no
#是否在執行重寫時不一樣步數據到AOF文件
no-appendfsync-on-rewrite no

# 觸發AOF文件執行重寫的增加率
auto-aof-rewrite-percentage 100
#觸發AOF文件執行重寫的最小size
auto-aof-rewrite-min-size 64mb

#redis在恢復時，會忽略最後一條可能存在問題的指令
aof-load-truncated yes

#是否打開混合開關
aof-use-rdb-preamble yes

4 持久化方式總結與抉擇

4.1 RDB優缺點

RDB的優勢

• RDB是一個很是緊湊的文件,它保存了某個時間點得數據集,很是適用於數據集的備份,好比你能夠在每一個小時報保存一下過去24小時內的數據,同時天天保存過去30天的數據,這樣即便出了問題你也能夠根據需求恢復到不一樣版本的數據集.
• 基於RDB文件緊湊性,便於複製數據到一個遠端數據中心，很是適用於災難恢復.
• RDB在保存RDB文件時父進程惟一須要作的就是fork出一個子進程,接下來的工做所有由子進程來作，父進程不須要再作其餘IO操做，因此RDB持久化方式能夠最大化redis的性能.
• 與AOF相比,在恢復大的數據集的時候，RDB方式會更快一些.

RDB的缺點

• 若是你但願在redis意外中止工做（例如電源中斷）的狀況下丟失的數據最少的話，那麼RDB不適合你.雖然你能夠配置不一樣的save時間點(例如每隔5分鐘而且對數據集有100個寫的操做),是Redis要完整的保存整個數據集是一個比較繁重的工做,你一般會每隔5分鐘或者更久作一次完整的保存,萬一在Redis意外宕機,你可能會丟失幾分鐘的數據.
• RDB 須要常常fork子進程來保存數據集到硬盤上,當數據集比較大的時候,fork的過程是很是耗時的,可能會致使Redis在一些毫秒級內不能響應客戶端的請求.若是數據集巨大而且CPU性能不是很好的狀況下,這種狀況會持續1秒,AOF也須要fork,可是你能夠調節重寫日誌文件的頻率來提升數據集的耐久度.

4.2 AOF的優缺點

AOF的優勢：

• 使用AOF 會讓你的Redis更加耐久:使用不一樣的fsync策略：無fsync,每秒fsync,每次寫的時候fsync.使用默認的每秒fsync策略,Redis的性能依然很好(fsync是由後臺線程進行處理的,主線程會盡力處理客戶端請求),一旦出現故障，你最多丟失1秒的數據.
• AOF文件是一個只進行追加的日誌文件,因此不須要寫入seek,即便因爲某些緣由(磁盤空間已滿，寫的過程當中宕機等等)未執行完整的寫入命令,你也可以使用redis-check-aof工具修復問題.
• Redis能夠在AOF文件體積變得過大時，自動對 AOF 進行重寫： 重寫後的新 AOF 文件包含了恢復當前數據集所需的最小命令集合。 整個重寫操做是絕對安全的，由於 Redis 在建立新 AOF 文件的過程當中，會繼續將命令追加到現有的 AOF 文件裏面，即便重寫過程當中發生停機，現有的 AOF 文件也不會丟失。 而一旦新 AOF 文件建立完畢，Redis 就會從舊 AOF 文件切換到新 AOF 文件，並開始對新 AOF 文件進行追加操做。
• AOF 文件有序地保存了對數據庫執行的全部寫入操做， 這些寫入操做以 Redis 協議的格式保存， 所以 AOF 文件的內容很是容易被人讀懂， 對文件進行分析（parse）也很輕鬆。 導出（export） AOF 文件也很是簡單（例如， 若是你不當心執行了 FLUSHALL 命令， 但只要 AOF 文件未被重寫， 那麼只要中止服務器， 移除 AOF 文件末尾的 FLUSHALL 命令， 並重啓 Redis ， 就能夠將數據集恢復到 FLUSHALL 執行以前的狀態）。

AOF 缺點：

• 對於相同的數據集來講，AOF 文件的體積一般要大於 RDB 文件的體積。
• 根據所使用的 fsync 策略，AOF 的速度可能會慢於 RDB 。 在通常狀況下， 每秒 fsync 的性能依然很是高， 而關閉 fsync 可讓 AOF 的速度和 RDB 同樣快， 即便在高負荷之下也是如此。 不過在處理巨大的寫入載入時，RDB 能夠提供更有保證的最大延遲時間（latency）。

4.3 如何選擇使用哪一種持久化方式？

通常來講， 若是想達到足以媲美 PostgreSQL 的數據安全性， 你應該同時使用兩種持久化功能。

若是你很是關心你的數據， 但仍然能夠承受數分鐘之內的數據丟失， 那麼你能夠只使用 RDB 持久化。

有不少用戶都只使用 AOF 持久化， 但咱們並不推薦這種方式： 由於定時生成 RDB 快照（snapshot）很是便於進行數據庫備份， 而且 RDB 恢復數據集的速度也要比 AOF 恢復的速度要快， 除此以外， 使用 RDB 還能夠避免以前提到的 AOF 程序的 bug 。

最後可關注公衆號【Ccww筆記】，一塊兒學習。加羣，天天會分享乾貨，還有學習視頻領取！