redis學習筆記——RDB、AOF和複製時對過時鍵的處理

AOF、RDB和複製功能對過時鍵的處理

生成RDB文件

在執行SAVE命令或者BGSAVE命令建立一個新的RDB文件時，程序會對數據庫中的鍵進行檢查，已過時的鍵不會被保存到新建立的RDB文件中。
舉個例子，若是數據庫中包含三個鍵k一、k二、k3，而且k2已通過期，那麼當執行SAVE命令或者BGSAVE命令時，程序只會將k1和k3的數據保存到RDB文件中，而k2則會被忽略。
所以，數據庫中包含過時鍵不會對生成新的RDB文件形成影響。

可參考rdb.c中函數rdbSave()函數源碼：

 /* Iterate this DB writing every entry 
         *
         * 遍歷數據庫，並寫入每一個鍵值對的數據
         */
        while((de = dictNext(di)) != NULL) {
            sds keystr = dictGetKey(de);
            robj key, *o = dictGetVal(de);
            long long expire;
            
            // 根據 keystr ，在棧中建立一個 key 對象
            initStaticStringObject(key,keystr);

            // 獲取鍵的過時時間
            expire = getExpire(db,&key);

            // 保存鍵值對數據
            if (rdbSaveKeyValuePair(&rdb,&key,o,expire,now) == -1) goto werr;
        }

 

rdbSaveKeyValuePair函數實現以下：

/* Save a key-value pair, with expire time, type, key, value.
 *
 * 將鍵值對的鍵、值、過時時間和類型寫入到 RDB 中。
 *
 * On error -1 is returned.
 *
 * 出錯返回 -1 。
 *
 * On success if the key was actually saved 1 is returned, otherwise 0
 * is returned (the key was already expired). 
 *
 * 成功保存返回 1 ，當鍵已通過期時，返回 0 。
 */
int rdbSaveKeyValuePair(rio *rdb, robj *key, robj *val,
                        long long expiretime, long long now)
{
    /* Save the expire time 
     *
     * 保存鍵的過時時間
     */
    if (expiretime != -1) {
        /* If this key is already expired skip it 
         *
         * 不寫入已通過期的鍵
         */
        if (expiretime < now) return 0;

        if (rdbSaveType(rdb,REDIS_RDB_OPCODE_EXPIRETIME_MS) == -1) return -1;
        if (rdbSaveMillisecondTime(rdb,expiretime) == -1) return -1;
    }
    /* Save type, key, value 
     *
     * 保存類型，鍵，值
     */
    if (rdbSaveObjectType(rdb,val) == -1) return -1;
    if (rdbSaveStringObject(rdb,key) == -1) return -1;
    if (rdbSaveObject(rdb,val) == -1) return -1;
    return 1;
}

 

載入RDB文件

在啓動Redis服務器時，若是服務器開啓了RDB功能，那麼服務器將對RDB文件進行載入：

• 若是服務器以主服務器模式運行，那麼在載入RDB文件時，程序會對文件中保存的鍵進行檢查，未過時的鍵會被載入到數據庫中，而過時鍵則會被忽略，因此過時鍵對載入RDB文件的主服務器不會形成影響；
• 若是服務器以從服務器模式運行，那麼在載入RDB文件時，文件中保存的全部鍵，不管是否過時，都會被載入到數據庫中。不過，由於主從服務器在進行數據同步的時候，從服務器的數據庫就會被清空，因此通常來說，過時鍵對載入RDB文件的從服務器也不會形成影響；

這部分代碼能夠查看rdb.c中rdbLoad()函數源碼：

/* Check if the key already expired. This function is used when loading
         * an RDB file from disk, either at startup, or when an RDB was
         * received from the master. In the latter case, the master is
         * responsible for key expiry. If we would expire keys here, the
         * snapshot taken by the master may not be reflected on the slave. 
         *
         * 若是服務器爲主節點的話，
         * 那麼在鍵已通過期的時候，再也不將它們關聯到數據庫中去
         */
        if (server.masterhost == NULL && expiretime != -1 && expiretime < now) {
            decrRefCount(key);
            decrRefCount(val);
            // 跳過
            continue;
        }

 

AOF文件寫入

當服務器以AOF持久化模式運行時，若是數據庫中的某個鍵已通過期，但它尚未被惰性刪除或者按期刪除，那麼AOF文件不會由於這個過時鍵而產生任何影響。

當過時鍵被惰性刪除或者按期刪除以後，程序會向AOF文件追加（append）一條DEL命令，來顯式地記錄該鍵已被刪除。
舉個例子，若是客戶端使用GET message命令，試圖訪問過時的message鍵，那麼服務器將執行如下三個動做：
1）從數據庫中刪除message鍵。
2）追加一條DEL message命令到AOF文件。（根據AOF文件增長的特色，AOF只有在客戶端進行請求的時候纔會有這個DEL操做）
3）向執行GET命令的客戶端返回空回覆。

這部分就是Redis中的惰性刪除策略中expireIfNeeded函數的使用。關於惰性刪除策略這一部分在Redis惰性刪除策略一篇中有講。因此這裏就不贅述了。

須要提示一下的是：expireIfNeeded函數是在db.c/lookupKeyRead()函數中被調用，lookupKeyRead函數用於在執行讀取操做時取出鍵key在數據庫db中的值。

 AOF重寫

和生成RDB文件時相似，在執行AOF重寫的過程當中，程序會對數據庫中的鍵進行檢查，已過時的鍵不會被保存到重寫後的AOF文件中。

舉個例子，若是數據庫中包含三個鍵k一、k二、k3，而且k2已通過期，那麼在進行重寫工做時，程序只會對k1和k3進行重寫，而k2則會被忽略。

這一部分若是掌握了AOF重寫的方法的話，那就天然理解了。

複製

當服務器運行在複製模式下時，從服務器的過時鍵刪除動做由主服務器控制：

• 主服務器在刪除一個過時鍵以後，會顯式地向全部從服務器發送一個DEL命令，告知從服務器刪除這個過時鍵；
• 從服務器在執行客戶端發送的讀命令時，即便碰到過時鍵也不會將過時鍵刪除，而是繼續像處理未過時的鍵同樣來處理過時鍵；
• 從服務器只有在接到主服務器發來的DEL命令以後，纔會刪除過時鍵。

舉個例子，有一對主從服務器，它們的數據庫中都保存着一樣的三個鍵message、xxx和yyy，其中message爲過時鍵，如圖所示

若是這時有客戶端向從服務器發送命令GET message，那麼從服務器將發現message鍵已通過期，但從服務器並不會刪除message鍵，而是繼續將message鍵的值返回給客戶端，就好像message鍵並無過時同樣。

假設在此以後，有客戶端向主服務器發送命令GET message，那麼主服務器將發現鍵message已通過期：主服務器會刪除message鍵，向客戶端返回空回覆，並向從服務器發送DEL message命令，如圖所示：

從服務器在接收到主服務器發來的DEL message命令以後，也會從數據庫中刪除message鍵，在這以後，主從服務器都再也不保存過時鍵message了，如圖所示：