Redis數據持久化機制AOF原理分析之配置詳解

 

Redis數據持久化機制AOF原理分析之配置詳解

分類： Redis 2014-01-11 12:59  827人閱讀  評論(0)  收藏  舉報

redis AOF

目錄(?)[+]

本文所引用的源碼所有來自Redis2.8.2版本。

Redis的配置文件爲redis.conf, 對配置文件的解析代碼見config.c

原創文章轉載請註明，本文來自http://blog.csdn.net/acceptedxukai/article/details/18135219

AOF實現機制簡介

AOF 即Append Only File,實現機制：Redis將數據庫作個快照，遍歷全部數據庫，將數據庫中的數據還原爲跟客戶端發送來的指令的協議格式的字符串，而後Redis新建一個臨時文件將這些快照數據保存，待快照程序結束後將臨時文件名修改成正常的aof文件名，原有的文件則自動丟棄，因爲在快照進行的過程當中可能存在新增的命令修改了數據庫中的數據，則在快照程序結束後須要將新修改的數據追加到aof文件中，後續的從客戶端過來的命令都會不斷根據不一樣的安全級別寫到磁盤裏面去。這樣就支持了實時的持久化，只是可能會有短期內的數據丟失，對通常系統仍是能夠容忍的。

配置文件redis.conf中有關AOF參數配置解釋

appendonly

含義：Redis Server是否開啓AOF持久化機制

在config.c函數loadServerConfigFromString解析代碼爲

[cpp]  view plain copy print ?

1. if (!strcasecmp(argv[0],"appendonly") && argc == 2) {  
2.     int yes;  
3.     if ((yes = yesnotoi(argv[1])) == -1) {  
4.         err = "argument must be 'yes' or 'no'"; goto loaderr;  
5.     }  
6.     server.aof_state = yes ? REDIS_AOF_ON : REDIS_AOF_OFF;  
7. }  

appendfsync

含義：Redis將OS數據緩衝區中數據刷新到磁盤的策略

# appendfsync always  只要有新添加的數據就fsync
appendfsync everysec  支持延遲fsync
# appendfsync no      不須要fsync
config.c中解析代碼

[cpp]  view plain copy print ?

1. if (!strcasecmp(argv[0],"appendfsync") && argc == 2) {//AOF fsync策略  
2.     if (!strcasecmp(argv[1],"no")) {  
3.         server.aof_fsync = AOF_FSYNC_NO;  
4.     } else if (!strcasecmp(argv[1],"always")) {  
5.         server.aof_fsync = AOF_FSYNC_ALWAYS;  
6.     } else if (!strcasecmp(argv[1],"everysec")) {  
7.         server.aof_fsync = AOF_FSYNC_EVERYSEC;  
8.     } else {  
9.         err = "argument must be 'no', 'always' or 'everysec'";  
10.         goto loaderr;  
11.     }  
12. }  

no-appendfsync-on-rewrite

含義:當rewrite AOF子進程或RDB子進程正在執行時，Server是否支持fsync，即當新修改的數據寫入AOF文件後，是否將數據刷新到硬盤

config.c中解析代碼

[cpp]  view plain copy print ?

1. if (!strcasecmp(argv[0],"no-appendfsync-on-rewrite") && argc == 2) {  
2.     if ((server.aof_no_fsync_on_rewrite= yesnotoi(argv[1])) == -1) {  
3.         err = "argument must be 'yes' or 'no'"; goto loaderr;  
4.     }  
5. }  

server.aof_no_fsync_on_rewrite控制該機制的實現代碼在aof.c的flushAppendOnlyFile函數中，具體代碼爲

[cpp]  view plain copy print ?

1. //若是不支持fsync，或者aof rdb子進程正在運行，那麼直接返回，  
2. //可是數據已經寫到aof文件中，只是沒有刷新到硬盤  
3. if (server.aof_no_fsync_on_rewrite &&  
4.     (server.aof_child_pid != -1 || server.rdb_child_pid != -1))  
5.         return;  

appendfilename

含義:AOF的文件名

auto-aof-rewrite-percentage 100

auto-aof-rewrite-min-size 64mb

這兩個配置就暫不解釋，見下面redisServer結構體中中有關AOF參數的註釋

redisServer數據結構中有關AOF的參數

[cpp]  view plain copy print ?

1. struct redisServer {  
2.     …………  
3.       
4.     /* AOF persistence */  
5.     int aof_state;                  /* REDIS_AOF_(ON|OFF|WAIT_REWRITE) */  
6.     int aof_fsync;                  /* Kind of fsync() policy */  
7.     char *aof_filename;             /* Name of the AOF file */  
8.     int aof_no_fsync_on_rewrite;    /* Don't fsync if a rewrite is in prog. */  
9.     int aof_rewrite_perc;           /* Rewrite AOF if % growth is > M and... */  
10.     off_t aof_rewrite_min_size;     /* the AOF file is at least N bytes. */ aof文件最小字節數  
11.     off_t aof_rewrite_base_size;    /* AOF size on latest startup or rewrite. */ 上一次aof文件的大小  
12.     off_t aof_current_size;         /* AOF current size. */ 當前aof文件的大小  
13.     int aof_rewrite_scheduled;      /* Rewrite once BGSAVE terminates. */  
14.     pid_t aof_child_pid;            /* PID if rewriting process */ 子進程的pid  
15.     list *aof_rewrite_buf_blocks;   /* Hold changes during an AOF rewrite. */  
16.     sds aof_buf;      /* AOF buffer, written before entering the event loop */  
17.     int aof_fd;       /* File descriptor of currently selected AOF file */ aof文件描述符  
18.     int aof_selected_db; /* Currently selected DB in AOF */  
19.     time_t aof_flush_postponed_start; /* UNIX time of postponed AOF flush */  
20.     time_t aof_last_fsync;            /* UNIX time of last fsync() */  
21.     time_t aof_rewrite_time_last;   /* Time used by last AOF rewrite run. */  
22.     time_t aof_rewrite_time_start;  /* Current AOF rewrite start time. */  
23.     int aof_lastbgrewrite_status;   /* REDIS_OK or REDIS_ERR */  
24.     unsigned long aof_delayed_fsync;  /* delayed AOF fsync() counter */  
25.     int aof_rewrite_incremental_fsync;/* fsync incrementally while rewriting? */  
26.       
27.     …………  
28. }  

字符串aof_buf與鏈表aof_rewrite_buf_blocks分別是追加AOF文件與rewrite AOF文件後處理差別數據的重要參數

initServerConfig函數對AOF參數的初始化及註釋

[cpp]  view plain copy print ?

1. server.aof_state = REDIS_AOF_OFF;            //AOF文件是否開啓  
2. server.aof_fsync = REDIS_DEFAULT_AOF_FSYNC;  //fsync策略，默認爲每秒fsync  
3. server.aof_no_fsync_on_rewrite = REDIS_DEFAULT_AOF_NO_FSYNC_ON_REWRITE;//aof rdb子進程運行中是否支持fsync，即寫入AOF文件後，將數據刷新到硬盤  
4. server.aof_rewrite_perc = REDIS_AOF_REWRITE_PERC; //自動rewrite增量值  
5. server.aof_rewrite_min_size = REDIS_AOF_REWRITE_MIN_SIZE; //AOF文件最小字節數  
6. server.aof_rewrite_base_size = 0;   //自動rewrite計算aof文件增量的基數，等於上一次aof文件的字節數  
7. server.aof_rewrite_scheduled = 0;   //rewrite任務計劃，當客戶端發送bgrewriteaof指令，若是當前rewrite子進程正在執行，那麼將客戶端請求的bgrewriteaof變爲計劃任務，待AOF子進程結束後執行rewrite  
8. server.aof_last_fsync = time(NULL); //最近fsync數據到硬盤時間  
9. server.aof_rewrite_time_last = -1;  //rewrite持續的時間  
10. server.aof_rewrite_time_start = -1; //rewrite開始的時間  
11. server.aof_lastbgrewrite_status = REDIS_OK; //rewrite後的狀態  
12. server.aof_delayed_fsync = 0; //延遲fsync到硬盤的次數  
13. server.aof_fd = -1;   //AOF文件描述符  
14. server.aof_selected_db = -1; /* Make sure the first time will not match */  
15. server.aof_flush_postponed_start = 0; //上次推遲fsync到硬盤的時間  
16. server.aof_rewrite_incremental_fsync = REDIS_DEFAULT_AOF_REWRITE_INCREMENTAL_FSYNC;//rewrite AOF文件時是否採用增量式fsync  

其中aof_current_size參數未初始化，該值的初始化在Server啓動加載AOF文件數據時初始化。

小結

本文就是簡單介紹Redis中有關AOF機制實現的相關參數的意義，方便對接下來AOF數據持久化機制的理解，AOF機制的實現比較複雜，大體分爲Server啓動加載AOF文件數據、將新的數據追加到AOF文件中、自動rewrite AOF文件、客戶端請求BGREWRITEAOF指令四個部分，下面的博客將介紹這四個部分的實現。