redis 持久化

時間  2019-11-07
標籤 redis 持久 欄目 Redis 简体版
原文   原文鏈接

介紹

  1. 首先，咱們應該明確持久化的數據有什麼用，答案是用於重啓後的數據恢復。
  2. Redis是一個內存數據庫，不管是RDB仍是AOF，都只是其保證數據恢復的措施。
  3. 因此Redis在利用RDB和AOF進行恢復的時候，都會讀取RDB或AOF文件，從新加載到內存中。

Redis持久化的方式

  1. RDB
  2. AOF

RDB

  1. RDB就是Snapshot快照存儲，是默認的持久化方式。
    可理解爲半持久化模式，即按照必定的策略週期性的將數據保存到磁盤。
    對應產生的數據文件爲dump.rdb，經過配置文件中的save參數來定義快照的週期。
  2. 下面是默認的快照設置：
    • save 900 1 #當有一條Keys數據被改變時，900秒刷新到Disk一次
    • save 300 10 #當有10條Keys數據被改變時，300秒刷新到Disk一次
    • save 60 10000#當有10000條Keys數據被改變時，60秒刷新到Disk一次

Redis的RDB文件不會壞掉，由於其寫操做是在一個新進程中進行的。當生成一個新的RDB文件時，Redis生成的子進程會先將數據寫到一個臨時文件中，而後經過原子性rename系統調用將臨時文件重命名爲RDB文件。這樣在任什麼時候候出現故障，Redis的RDB文件都老是可用的。同時，Redis的RDB文件也是Redis主從同步內部實現中的一環。git

第一次Slave向Master同步的實現是：redis

  • Slave向Master發出同步請求，Master先dump出rdb文件，而後將rdb文件全量傳輸給slave，而後Master把緩存的命令轉發給Slave，初次同步完成。

第二次以及之後的同步實現是：數據庫

  • Master將變量的快照直接實時依次發送給各個Slave。但無論什麼緣由致使Slave和Master斷開重連都會重複以上兩個步驟的過程。

Redis的主從複製是創建在內存快照的持久化基礎上的，只要有Slave就必定會有內存快照發生。vim

能夠很明顯的看到，RDB有它的不足，就是一旦數據庫出現問題，那麼咱們的RDB文件中保存的數據並非全新的。api

從上次RDB文件生成到Redis停機這段時間的數據所有丟掉了。緩存

AOF

AOF(Append-Only File)比RDB方式有更好的持久化性。安全

因爲在使用AOF持久化方式時，Redis會將每個收到的寫命令都經過Write函數追加到文件中，相似於MySQL的binlog。bash

當Redis重啓是會經過從新執行文件中保存的寫命令來在內存中重建整個數據庫的內容。服務器

對應的設置參數爲：$ vim /opt/redis/etc/redis_6379.conf微信

  • appendonly yes 啓用AOF持久化方式
  • appendfilename appendonly.aof #AOF文件的名稱，默認爲appendonly.aof
  • appendfsync always 每次收到寫命令就當即強制寫入磁盤，是最有保證的徹底的持久化，但速度也是最慢的，通常不推薦使用。
  • appendfsync everysec 每秒鐘強制寫入磁盤一次，在性能和持久化方面作了很好的折中，是受推薦的方式。
  • appendfsync no #徹底依賴OS的寫入，通常爲30秒左右一次，性能最好可是持久化最沒有保證，不被推薦。

AOF的徹底持久化方式同時也帶來了另外一個問題，持久化文件會變得愈來愈大。

好比咱們調用INCR test命令100次，文件中就必須保存所有的100條命令，但其實99條都是多餘的。

由於要恢復數據庫的狀態其實文件中保存一條SET test 100就夠了。

爲了壓縮AOF的持久化文件，Redis提供了bgrewriteaof命令。

收到此命令後Redis將使用與快照相似的方式將內存中的數據以命令的方式保存到臨時文件中，最後替換原來的文件，以此來實現控制AOF文件的增加。

因爲是模擬快照的過程，所以在重寫AOF文件時並無讀取舊的AOF文件，而是將整個內存中的數據庫內容用命令的方式重寫了一個新的AOF文件。

對應的設置參數爲:$ vim /opt/redis/etc/redis_6379.conf

  • no-appendfsync-on-rewrite yes

在日誌重寫時，不進行命令追加操做，而只是將其放在緩衝區裏，避免與命令的追加形成DISK IO上的衝突。auto-aof-rewrite-percentage 100

當前AOF文件大小是上第二天志重寫獲得AOF文件大小的二倍時，自動啓動新的日誌重寫過程。auto-aof-rewrite-min-size 64mb #當前AOF文件啓動新的日誌重寫過程的最小值，避免剛剛啓動Reids時因爲文件尺寸較小致使頻繁的重寫。

選擇

到底選擇什麼呢？下面是來自官方的建議：

  • 一般，若是你要想提供很高的數據保障性，那麼建議你同時使用兩種持久化方式。
    若是你能夠接受災難帶來的幾分鐘的數據丟失，那麼你能夠僅使用RDB。
    不少用戶僅使用了AOF，可是咱們建議，既然RDB能夠時不時的給數據作個完整的快照，而且提供更快的重啓，因此最好仍是也使用RDB。
    所以，咱們但願能夠在將來（長遠計劃）統一AOF和RDB成一種持久化模式。

在數據恢復方面

RDB的啓動時間會更短，緣由有兩個：

  • 是RDB文件中每一條數據只有一條記錄，不會像AOF日誌那樣可能有一條數據的屢次操做記錄。因此每條數據只須要寫一次就好了。
    另外一個緣由是RDB文件的存儲格式和Redis數據在內存中的編碼格式是一致的，不須要再進行數據編碼工做，因此在CPU消耗上要遠小於AOF日誌的加載。
  • 災難恢復模擬
    既然持久化的數據的做用是用於重啓後的數據恢復，那麼咱們就很是有必要進行一次這樣的災難恢復模擬了。
    據稱若是數據要作持久化又想保證穩定性，則建議留空一半的物理內存。由於在進行快照的時候，fork出來進行dump操做的子進程會佔用與父進程同樣的內存，真正的copy-on-write，對性能的影響和內存的耗用都是比較大的。
    目前，一般的設計思路是利用Replication機制來彌補aof、snapshot性能上的不足，達到了數據可持久化。

即Master上Snapshot和AOF都不作，來保證Master的讀寫性能，而Slave上則同時開啓Snapshot和AOF來進行持久化，保證數據的安全性。

  1. 首先，修改Master上的以下配置：
    • sudo vim /opt/redis/etc/redis_6379.conf
    • save 900 1 #禁用Snapshot
    • save 300 10
    • save 60 10000 
* appendonly no #禁用AOF
2. 接着，修改Slave上的以下配置：
    * sudo vim /opt/redis/etc/redis_6379.conf
    * save 900 1 #啓用Snapshot
    * save 300 10
    * save 60 10000複製代碼

appendonly yes #啓用AOF

appendfilename appendonly.aof #AOF文件的名稱

appendfsync always

appendfsync everysec #每秒鐘強制寫入磁盤一次

appendfsync no

no-appendfsync-on-rewrite yes #在日誌重寫時，不進行命令追加操做

auto-aof-rewrite-percentage 100 #自動啓動新的日誌重寫過程

auto-aof-rewrite-min-size 64mb #啓動新的日誌重寫過程的最小值

分別啓動Master與Slave

$ /etc/init.d/redis start

啓動完成後在Master中確認未啓動Snapshot參數

redis 127.0.0.1:6379> CONFIG GET save

1) "save"2) ""

而後經過如下腳本在Master中生成25萬條數據：

dongguo@redis:/opt/redis/data/6379$ cat redis-cli-generate.temp.sh

#!/bin/bash複製代碼
REDISCLI="redis-cli -a slavepass -n 1 SET"
    ID=1複製代碼
while(($ID<50001))
    do
      INSTANCE_NAME="i-2-$ID-VM"
      UUID=`cat /proc/sys/kernel/random/uuid`
      PRIVATE_IP_ADDRESS=10.`echo "$RANDOM % 255 + 1" | bc`.`echo "$RANDOM % 255 + 1" | bc`.`echo "$RANDOM % 255 + 1" | bc`\
      CREATED=`date "+%Y-%m-%d %H:%M:%S"`複製代碼
$REDISCLI vm_instance:$ID:instance_name "$INSTANCE_NAME"
      $REDISCLI vm_instance:$ID:uuid "$UUID"
      $REDISCLI vm_instance:$ID:private_ip_address "$PRIVATE_IP_ADDRESS"
      $REDISCLI vm_instance:$ID:created "$CREATED"複製代碼
$REDISCLI vm_instance:$INSTANCE_NAME:id "$ID"複製代碼
ID=$(($ID+1))
    done
dongguo@redis:/opt/redis/data/6379$ ./redis-cli-generate.temp.sh複製代碼

在數據的生成過程當中，能夠很清楚的看到Master上僅在第一次作Slave同步時建立了dump.rdb文件，以後就經過增量傳輸命令的方式給Slave了。dump.rdb文件沒有再增大。

dongguo@redis:/opt/redis/data/6379$ ls -lh

total 4.0K

-rw-r--r-- 1 root root 10 Sep 27 00:40 dump.rdb

而Slave上則能夠看到dump.rdb文件和AOF文件在不斷的增大，而且AOF文件的增加速度明顯大於dump.rdb文件。

dongguo@redis-slave:/opt/redis/data/6379$ ls -lh

total 24M

-rw-r--r-- 1 root root 15M Sep 27 12:06 appendonly.aof

-rw-r--r-- 1 root root 9.2M Sep 27 12:06 dump.rdb

等待數據插入完成之後，首先確認當前的數據量。

redis 127.0.0.1:6379> info

redis_version:2.4.17
        redis_git_sha1:00000000
        redis_git_dirty:0
        arch_bits:64
        multiplexing_api:epoll
        gcc_version:4.4.5
        process_id:27623
        run_id:e00757f7b2d6885fa9811540df9dfed39430b642
        uptime_in_seconds:1541
        uptime_in_days:0
        lru_clock:650187
        used_cpu_sys:69.28
        used_cpu_user:7.67
        used_cpu_sys_children:0.00
        used_cpu_user_children:0.00
        connected_clients:1
        connected_slaves:1
        client_longest_output_list:0
        client_biggest_input_buf:0
        blocked_clients:0
        used_memory:33055824
        used_memory_human:31.52M
        used_memory_rss:34717696
        used_memory_peak:33055800
        used_memory_peak_human:31.52M
        mem_fragmentation_ratio:1.05
        mem_allocator:jemalloc-3.0.0
        loading:0
        aof_enabled:0
        changes_since_last_save:250000
        bgsave_in_progress:0
        last_save_time:1348677645
        bgrewriteaof_in_progress:0
        total_connections_received:250007
        total_commands_processed:750019
        expired_keys:0
        evicted_keys:0
        keyspace_hits:0
        keyspace_misses:0
        pubsub_channels:0
        pubsub_patterns:0
        latest_fork_usec:246
        vm_enabled:0
        role:master
        slave0:10.6.1.144,6379,online
        db1:keys=250000,expires=0複製代碼

當前的數據量爲25萬條key，佔用內存31.52M。

而後咱們直接Kill掉Master的Redis進程，模擬災難。

dongguo@redis:/opt/redis/data/6379$ sudo killall -9 redis-server

咱們到Slave中查看狀態：

redis 127.0.0.1:6379> info

redis_version:2.4.17
    redis_git_sha1:00000000
    redis_git_dirty:0
    arch_bits:64
    multiplexing_api:epoll
    gcc_version:4.4.5
    process_id:13003
    run_id:9b8b398fc63a26d160bf58df90cf437acce1d364
    uptime_in_seconds:1627
    uptime_in_days:0
    lru_clock:654181
    used_cpu_sys:29.69
    used_cpu_user:1.21
    used_cpu_sys_children:1.70
    used_cpu_user_children:1.23
    connected_clients:1
    connected_slaves:0
    client_longest_output_list:0
    client_biggest_input_buf:0
    blocked_clients:0
    used_memory:33047696
    used_memory_human:31.52M
    used_memory_rss:34775040
    used_memory_peak:33064400
    used_memory_peak_human:31.53M
    mem_fragmentation_ratio:1.05
    mem_allocator:jemalloc-3.0.0
    loading:0
    aof_enabled:1
    changes_since_last_save:3308
    bgsave_in_progress:0
    last_save_time:1348718951
    bgrewriteaof_in_progress:0
    total_connections_received:4
    total_commands_processed:250308
    expired_keys:0
    evicted_keys:0
    keyspace_hits:0
    keyspace_misses:0
    pubsub_channels:0
    pubsub_patterns:0
    latest_fork_usec:694
    vm_enabled:0
    role:slave
    aof_current_size:17908619
    aof_base_size:16787337
    aof_pending_rewrite:0
    aof_buffer_length:0
    aof_pending_bio_fsync:0
    master_host:10.6.1.143
    master_port:6379
    master_link_status:down
    master_last_io_seconds_ago:-1
    master_sync_in_progress:0
    master_link_down_since_seconds:25
    slave_priority:100
    db1:keys=250000,expires=0複製代碼

能夠看到masterlinkstatus的狀態已是down了，Master已經不可訪問了。

而此時，Slave依然運行良好，而且保留有AOF與RDB文件。

下面咱們將經過Slave上保存好的AOF與RDB文件來恢復Master上的數據。

首先，將Slave上的同步狀態取消，避免主庫在未完成數據恢復前就重啓，進而直接覆蓋掉從庫上的數據，致使全部的數據丟失。

redis 127.0.0.1:6379> SLAVEOF NO ONE

OK

確認一下已經沒有了master相關的配置信息：

redis 127.0.0.1:6379> INFO

redis_version:2.4.17
    redis_git_sha1:00000000
    redis_git_dirty:0
    arch_bits:64
    multiplexing_api:epoll
    gcc_version:4.4.5
    process_id:13003
    run_id:9b8b398fc63a26d160bf58df90cf437acce1d364
    uptime_in_seconds:1961
    uptime_in_days:0
    lru_clock:654215
    used_cpu_sys:29.98
    used_cpu_user:1.22
    used_cpu_sys_children:1.76
    used_cpu_user_children:1.42
    connected_clients:1
    connected_slaves:0
    client_longest_output_list:0
    client_biggest_input_buf:0
    blocked_clients:0
    used_memory:33047696
    used_memory_human:31.52M
    used_memory_rss:34779136
    used_memory_peak:33064400
    used_memory_peak_human:31.53M
    mem_fragmentation_ratio:1.05
    mem_allocator:jemalloc-3.0.0
    loading:0
    aof_enabled:1
    changes_since_last_save:0
    bgsave_in_progress:0
    last_save_time:1348719252
    bgrewriteaof_in_progress:0
    total_connections_received:4
    total_commands_processed:250311
    expired_keys:0
    evicted_keys:0
    keyspace_hits:0
    keyspace_misses:0
    pubsub_channels:0
    pubsub_patterns:0
    latest_fork_usec:1119
    vm_enabled:0
    role:master
    aof_current_size:17908619
    aof_base_size:16787337
    aof_pending_rewrite:0
    aof_buffer_length:0
    aof_pending_bio_fsync:0
    db1:keys=250000,expires=0複製代碼

在Slave上覆制數據文件：

dongguo@redis-slave:/opt/redis/data/6379$ tar cvf /home/dongguo/data.tar *

appendonly.aof

dump.rdb

將data.tar上傳到Master上，嘗試恢復數據:

能夠看到Master目錄下有一個初始化Slave的數據文件，很小，將其刪除。

dongguo@redis:/opt/redis/data/6379$ ls -l

total 4

-rw-r--r-- 1 root root 10 Sep 27 00:40 dump.rdb

dongguo@redis:/opt/redis/data/6379$ sudo rm -f dump.rdb

而後解壓縮數據文件：

dongguo@redis:/opt/redis/data/6379$ sudo tar xf /home/dongguo/data.tar

dongguo@redis:/opt/redis/data/6379$ ls -lh

total 29M

-rw-r--r-- 1 root root 18M Sep 27 01:22 appendonly.aof

-rw-r--r-- 1 root root 12M Sep 27 01:22 dump.rdb

啓動Master上的Redis；

dongguo@redis:/opt/redis/data/6379$ sudo /etc/init.d/redis start

Starting Redis server...

查看數據是否恢復：

redis 127.0.0.1:6379> INFO

redis_version:2.4.17
    redis_git_sha1:00000000
    redis_git_dirty:0
    arch_bits:64
    multiplexing_api:epoll
    gcc_version:4.4.5
    process_id:16959
    run_id:6e5ba6c053583414e75353b283597ea404494926
    uptime_in_seconds:22
    uptime_in_days:0
    lru_clock:650292
    used_cpu_sys:0.18
    used_cpu_user:0.20
    used_cpu_sys_children:0.00
    used_cpu_user_children:0.00
    connected_clients:1
    connected_slaves:0
    client_longest_output_list:0
    client_biggest_input_buf:0
    blocked_clients:0
    used_memory:33047216
    used_memory_human:31.52M
    used_memory_rss:34623488
    used_memory_peak:33047192
    used_memory_peak_human:31.52M
    mem_fragmentation_ratio:1.05
    mem_allocator:jemalloc-3.0.0
    loading:0
    aof_enabled:0
    changes_since_last_save:0
    bgsave_in_progress:0
    last_save_time:1348680180
    bgrewriteaof_in_progress:0
    total_connections_received:1
    total_commands_processed:1
    expired_keys:0
    evicted_keys:0
    keyspace_hits:0
    keyspace_misses:0
    pubsub_channels:0
    pubsub_patterns:0
    latest_fork_usec:0
    vm_enabled:0
    role:master
    db1:keys=250000,expires=0複製代碼

能夠看到25萬條數據已經完整恢復到了Master上。

此時，能夠放心的恢復Slave的同步設置了。

redis 127.0.0.1:6379> SLAVEOF 10.6.1.143 6379

OK

查看同步狀態：

redis 127.0.0.1:6379> INFO

redis_version:2.4.17
    redis_git_sha1:00000000
    redis_git_dirty:0
    arch_bits:64
    multiplexing_api:epoll
    gcc_version:4.4.5
    process_id:13003
    run_id:9b8b398fc63a26d160bf58df90cf437acce1d364
    uptime_in_seconds:2652
    uptime_in_days:0
    lru_clock:654284
    used_cpu_sys:30.01
    used_cpu_user:2.12
    used_cpu_sys_children:1.76
    used_cpu_user_children:1.42
    connected_clients:2
    connected_slaves:0
    client_longest_output_list:0
    client_biggest_input_buf:0
    blocked_clients:0
    used_memory:33056288
    used_memory_human:31.52M
    used_memory_rss:34766848
    used_memory_peak:33064400
    used_memory_peak_human:31.53M
    mem_fragmentation_ratio:1.05
    mem_allocator:jemalloc-3.0.0
    loading:0
    aof_enabled:1
    changes_since_last_save:0
    bgsave_in_progress:0
    last_save_time:1348719252
    bgrewriteaof_in_progress:1
    total_connections_received:6
    total_commands_processed:250313
    expired_keys:0
    evicted_keys:0
    keyspace_hits:0
    keyspace_misses:0
    pubsub_channels:0
    pubsub_patterns:0
    latest_fork_usec:12217
    vm_enabled:0
    role:slave
    aof_current_size:17908619
    aof_base_size:16787337
    aof_pending_rewrite:0
    aof_buffer_length:0
    aof_pending_bio_fsync:0
    master_host:10.6.1.143
    master_port:6379
    master_link_status:up
    master_last_io_seconds_ago:0
    master_sync_in_progress:0
    slave_priority:100
    db1:keys=250000,expires=0複製代碼

masterlinkstatus顯示爲up，同步狀態正常。

在這次恢復的過程當中，咱們同時複製了AOF與RDB文件，那麼究竟是哪個文件完成了數據的恢復呢？

實際上，當Redis服務器掛掉時，重啓時將按照如下優先級恢復數據到內存：

  • 若是隻配置AOF,重啓時加載AOF文件恢復數據；
  • 若是同時 配置了RDB和AOF,啓動是隻加載AOF文件恢復數據;
  • 若是隻配置RDB,啓動是將加載dump文件恢復數據。

也就是說，AOF的優先級要高於RDB，這也很好理解，由於AOF自己對數據的完整性保障要高於RDB。

在這次的案例中，咱們經過在Slave上啓用了AOF與RDB來保障了數據，並恢復了Master。

但在咱們目前的線上環境中，因爲數據都設置有過時時間，採用AOF的方式會不太實用，過於頻繁的寫操做會使AOF文件增加到異常的龐大，大大超過了咱們實際的數據量，這也會致使在進行數據恢復時耗用大量的時間。所以，能夠在Slave上僅開啓Snapshot來進行本地化，同時能夠考慮將save中的頻率調高一些或者調用一個計劃任務來進行按期bgsave的快照存儲，來儘量的保障本地化數據的完整性。

在這樣的架構下，若是僅僅是Master掛掉，Slave完整，數據恢復可達到100%。若是Master與Slave同時掛掉的話，數據的恢復也能夠達到一個可接受的程度。

如但願瞭解更多，請關注微信公衆號
相關文章
相關標籤/搜索
每日一句
    每一个你不满意的现在，都有一个你没有努力的曾经。
本站公眾號
   歡迎關注本站公眾號,獲取更多信息
聯繫我們 最近搜索 最新文章 沪ICP备13005482号-10 MyBatis教程 SQL 教程 MySQL教程 Java 教程 Thymeleaf 教程 Hibernate教程 Spring教程 Redis教程