Redis 持久化之RDB和AOF

Redis 持久化之RDB和AOF

Redis 有兩種持久化方案，RDB （Redis DataBase）和 AOF （Append Only File）。若是你想快速瞭解和使用RDB和AOF，能夠直接跳到文章底部看總結。本章節經過配置文件，觸發快照的方式，恢復數據的操做，命令操做演示，優缺點來學習 Redis 的重點知識持久化。

RDB 詳解

RDB 是 Redis 默認的持久化方案。在指定的時間間隔內，執行指定次數的寫操做，則會將內存中的數據寫入到磁盤中。即在指定目錄下生成一個dump.rdb文件。Redis 重啓會經過加載dump.rdb文件恢復數據。

從配置文件瞭解RDB

打開 redis.conf 文件，找到 SNAPSHOTTING 對應內容
1 RDB核心規則配置（重點）

save <seconds> <changes>
# save ""
save 900 1
save 300 10
save 60 10000

解說：save <指定時間間隔> <執行指定次數更新操做> ，知足條件就將內存中的數據同步到硬盤中。官方出廠配置默認是 900秒內有1個更改，300秒內有10個更改以及60秒內有10000個更改，則將內存中的數據快照寫入磁盤。
若不想用RDB方案，能夠把 save "" 的註釋打開，下面三個註釋。

2 指定本地數據庫文件名，通常採用默認的 dump.rdb

dbfilename dump.rdb

3 指定本地數據庫存放目錄，通常也用默認配置

dir ./

4 默認開啓數據壓縮

rdbcompression yes

解說：配置存儲至本地數據庫時是否壓縮數據，默認爲yes。Redis採用LZF壓縮方式，但佔用了一點CPU的時間。若關閉該選項，但會致使數據庫文件變的巨大。建議開啓。

觸發RDB快照

1 在指定的時間間隔內，執行指定次數的寫操做
2 執行save（阻塞， 只管保存快照，其餘的等待） 或者是bgsave （異步）命令
3 執行flushall 命令，清空數據庫全部數據，意義不大。
4 執行shutdown 命令，保證服務器正常關閉且不丟失任何數據，意義...也不大。

經過RDB文件恢復數據

將dump.rdb 文件拷貝到redis的安裝目錄的bin目錄下，重啓redis服務便可。在實際開發中，通常會考慮到物理機硬盤損壞狀況，選擇備份dump.rdb 。能夠從下面的操做演示中能夠體會到。

RDB 的優缺點

優勢：
1 適合大規模的數據恢復。
2 若是業務對數據完整性和一致性要求不高，RDB是很好的選擇。

缺點：
1 數據的完整性和一致性不高，由於RDB可能在最後一次備份時宕機了。
2 備份時佔用內存，由於Redis 在備份時會獨立建立一個子進程，將數據寫入到一個臨時文件（此時內存中的數據是原來的兩倍哦），最後再將臨時文件替換以前的備份文件。
因此Redis 的持久化和數據的恢復要選擇在夜深人靜的時候執行是比較合理的。

操做演示

[root@itdragon bin]# vim redis.conf
save 900 1
save 120 5
save 60 10000
[root@itdragon bin]# ./redis-server redis.conf
[root@itdragon bin]# ./redis-cli -h 127.0.0.1 -p 6379
127.0.0.1:6379> keys *
(empty list or set)
127.0.0.1:6379> set key1 value1
OK
127.0.0.1:6379> set key2 value2
OK
127.0.0.1:6379> set key3 value3
OK
127.0.0.1:6379> set key4 value4
OK
127.0.0.1:6379> set key5 value5
OK
127.0.0.1:6379> set key6 value6
OK
127.0.0.1:6379> SHUTDOWN
not connected> QUIT
[root@itdragon bin]# cp dump.rdb dump_bk.rdb
[root@itdragon bin]# ./redis-server redis.conf
[root@itdragon bin]# ./redis-cli -h 127.0.0.1 -p 6379
127.0.0.1:6379> FLUSHALL 
OK
127.0.0.1:6379> keys *
(empty list or set)
127.0.0.1:6379> SHUTDOWN
not connected> QUIT
[root@itdragon bin]# cp dump_bk.rdb  dump.rdb
cp: overwrite `dump.rdb'? y
[root@itdragon bin]# ./redis-server redis.conf
[root@itdragon bin]# ./redis-cli -h 127.0.0.1 -p 6379
127.0.0.1:6379> keys *
1) "key5"
2) "key1"
3) "key3"
4) "key4"
5) "key6"
6) "key2"

第一步：vim 修改持久化配置時間，120秒內修改5次則持久化一次。
第二步：重啓服務使配置生效。
第三步：分別set 5個key，過兩分鐘後，在bin的當前目錄下會自動生產一個dump.rdb文件。（set key6 是爲了驗證shutdown有觸發RDB快照的做用）
第四步：將當前的dump.rdb 備份一份（模擬線上工做）。
第五步：執行FLUSHALL命令清空數據庫數據（模擬數據丟失）。
第六步：重啓Redis服務，恢復數據.....咦？？？？( ′◔ ‸◔`)。數據是空的？？？？這是由於FLUSHALL也有觸發RDB快照的功能。
第七步：將備份的 dump_bk.rdb 替換 dump.rdb 而後從新Redis。

注意點：SHUTDOWN 和 FLUSHALL 命令都會觸發RDB快照，這是一個坑，請你們注意。

其餘命令：

• keys * 匹配數據庫中全部 key
• save 阻塞觸發RDB快照，使其備份數據
• FLUSHALL 清空整個 Redis 服務器的數據(幾乎不用)
• SHUTDOWN 關機走人（不多用）

---

AOF 詳解

AOF ：Redis 默認不開啓。它的出現是爲了彌補RDB的不足（數據的不一致性），因此它採用日誌的形式來記錄每一個寫操做，並追加到文件中。Redis 重啓的會根據日誌文件的內容將寫指令從前到後執行一次以完成數據的恢復工做。

從配置文件瞭解AOF

打開 redis.conf 文件，找到 APPEND ONLY MODE 對應內容
1 redis 默認關閉，開啓須要手動把no改成yes

appendonly yes

2 指定本地數據庫文件名，默認值爲 appendonly.aof

appendfilename "appendonly.aof"

3 指定更新日誌條件

# appendfsync always
appendfsync everysec
# appendfsync no

解說：
always：同步持久化，每次發生數據變化會馬上寫入到磁盤中。性能較差當數據完整性比較好（慢，安全）
everysec：出廠默認推薦，每秒異步記錄一次（默認值）
no：不一樣步

4 配置重寫觸發機制

auto-aof-rewrite-percentage 100
auto-aof-rewrite-min-size 64mb

解說：當AOF文件大小是上次rewrite後大小的一倍且文件大於64M時觸發。通常都設置爲3G，64M過小了。

觸發AOF快照

根據配置文件觸發，能夠是每次執行觸發，能夠是每秒觸發，能夠不一樣步。

根據AOF文件恢復數據

正常狀況下，將appendonly.aof 文件拷貝到redis的安裝目錄的bin目錄下，重啓redis服務便可。但在實際開發中，可能由於某些緣由致使appendonly.aof 文件格式異常，從而致使數據還原失敗，能夠經過命令redis-check-aof --fix appendonly.aof 進行修復 。從下面的操做演示中體會。

AOF的重寫機制

前面也說到了，AOF的工做原理是將寫操做追加到文件中，文件的冗餘內容會愈來愈多。因此聰明的 Redis 新增了重寫機制。當AOF文件的大小超過所設定的閾值時，Redis就會對AOF文件的內容壓縮。

重寫的原理：Redis 會fork出一條新進程，讀取內存中的數據，並從新寫到一個臨時文件中。並無讀取舊文件（你都那麼大了，我還去讀你？？？ o(ﾟДﾟ)っ傻啊！）。最後替換舊的aof文件。

觸發機制：當AOF文件大小是上次rewrite後大小的一倍且文件大於64M時觸發。這裏的「一倍」和「64M」 能夠經過配置文件修改。

AOF 的優缺點

優勢：數據的完整性和一致性更高
缺點：由於AOF記錄的內容多，文件會愈來愈大，數據恢復也會愈來愈慢。

操做演示

[root@itdragon bin]# vim appendonly.aof
appendonly yes
[root@itdragon bin]# ./redis-server redis.conf
[root@itdragon bin]# ./redis-cli -h 127.0.0.1 -p 6379
127.0.0.1:6379> keys *
(empty list or set)
127.0.0.1:6379> set keyAOf valueAof
OK
127.0.0.1:6379> FLUSHALL 
OK
127.0.0.1:6379> SHUTDOWN
not connected> QUIT
[root@itdragon bin]# ./redis-server redis.conf
[root@itdragon bin]# ./redis-cli -h 127.0.0.1 -p 6379
127.0.0.1:6379> keys *
1) "keyAOf"
127.0.0.1:6379> SHUTDOWN
not connected> QUIT
[root@itdragon bin]# vim appendonly.aof
fjewofjwojfoewifjowejfwf
[root@itdragon bin]# ./redis-server redis.conf
[root@itdragon bin]# ./redis-cli -h 127.0.0.1 -p 6379
Could not connect to Redis at 127.0.0.1:6379: Connection refused
not connected> QUIT
[root@itdragon bin]# redis-check-aof --fix appendonly.aof 
'x              3e: Expected prefix '*', got: '
AOF analyzed: size=92, ok_up_to=62, diff=30
This will shrink the AOF from 92 bytes, with 30 bytes, to 62 bytes
Continue? [y/N]: y
Successfully truncated AOF
[root@itdragon bin]# ./redis-server redis.conf
[root@itdragon bin]# ./redis-cli -h 127.0.0.1 -p 6379
127.0.0.1:6379> keys *
1) "keyAOf"

第一步：修改配置文件，開啓AOF持久化配置。
第二步：重啓Redis服務，並進入Redis 自帶的客戶端中。
第三步：保存值，而後模擬數據丟失，關閉Redis服務。
第四步：重啓服務，發現數據恢復了。（額外提一點：有教程顯示FLUSHALL 命令會被寫入AOF文件中，致使數據恢復失敗。我安裝的是redis-4.0.2沒有遇到這個問題）。
第五步：修改appendonly.aof，模擬文件異常狀況。
第六步：重啓 Redis 服務失敗。這同時也說明了，RDB和AOF能夠同時存在，且優先加載AOF文件。
第七步：校驗appendonly.aof 文件。重啓Redis 服務後正常。

補充點：aof 的校驗是經過 redis-check-aof 文件，那麼rdb 的校驗是否是能夠經過 redis-check-rdb 文件呢？？？

總結

1. Redis 默認開啓RDB持久化方式，在指定的時間間隔內，執行指定次數的寫操做，則將內存中的數據寫入到磁盤中。
2. RDB 持久化適合大規模的數據恢復但它的數據一致性和完整性較差。
3. Redis 須要手動開啓AOF持久化方式，默認是每秒將寫操做日誌追加到AOF文件中。
   
4. AOF 的數據完整性比RDB高，但記錄內容多了，會影響數據恢復的效率。
5. Redis 針對 AOF文件大的問題，提供重寫的瘦身機制。
6. 若只打算用Redis 作緩存，能夠關閉持久化。
7. 若打算使用Redis 的持久化。建議RDB和AOF都開啓。其實RDB更適合作數據的備份，留一後手。AOF出問題了，還有RDB。

到這裏Redis 的持久化就介紹完了，有什麼不對的地方能夠指出。 Redis 快速入門：http://www.cnblogs.com/itdragon/p/7897131.html