Redis的過時策略和內存淘汰策略最全總結與分析

文章前言

提到內存管理，咱們就須要考慮Redis的內存過時策略和內存淘汰機制。該文章便從這兩方面入手，分享一些在Redis內存方面相關的基礎知識。

文章中使用的示例版本爲Redis5.0版本。

內存過時策略

內存過時策略主要的做用就是，在緩存過時以後，可以及時的將失效的緩存從內存中刪除，以減小內存的無效暫用，達到釋放內存的目的。

過時策略分類

Redis內存過時策略分爲三類，定時策略、惰性策略和按期策略。

定時策略

含義：在設置key的過時時間的同時，爲該key建立一個定時器，讓定時器在key的過時時間來臨時，對key進行刪除。

優勢：保證內存被儘快釋放，減小無效的緩存暫用內存。

缺點：若過時key不少，刪除這些key會佔用不少的CPU時間，在CPU時間緊張的狀況下，CPU不能把全部的時間用來作要緊的事兒，還須要去花時間刪除這些key。定時器的建立耗時，若爲每個設置過時時間的key建立一個定時器（將會有大量的定時器產生），性能影響嚴重。通常來講，是不會選擇該策略模式。

惰性策略

含義：key過時的時候不刪除，每次從數據庫獲取key的時候去檢查是否過時，若過時，則刪除，返回null。

優勢：刪除操做只發生在從數據庫取出key的時候發生，並且只刪除當前key，因此對CPU時間的佔用是比較少的，並且此時的刪除是已經到了非作不可的地步（若是此時還不刪除的話，咱們就會獲取到了已通過期的key了）。

缺點：若大量的key在超出超時時間後，好久一段時間內，都沒有被獲取過，此時的無效緩存是永久暫用在內存中的，那麼可能發生內存泄露（無用的垃圾佔用了大量的內存）。

按期策略

含義：每隔一段時間對設置了緩存時間的key進行檢測，若是能夠已經失效，則從內存中刪除，若是未失效，則不做任何處理。

優勢：經過限制刪除操做的時長和頻率，來減小刪除操做對CPU時間的佔用--處理"定時刪除"的缺點
按期刪除過時key--處理"惰性刪除"的缺點。

缺點:在內存友好方面，不如"定時刪除"，由於是隨機遍歷一些key，所以存在部分key過時，但遍歷key時，沒有被遍歷到，過時的key仍在內存中。在CPU時間友好方面，不如"惰性刪除"，按期刪除也會暫用CPU性能消耗。

難點:合理設置刪除操做的執行時長（每次刪除執行多長時間）和執行頻率（每隔多長時間作一次刪除）（這個要根據服務器運行狀況來定了）

該方式不是去便利全部的ky，而是隨機抽取一些key作過時檢測。

策略注意事項

過時策略對持久化存儲的影響

持久化存儲，指的是將內存的緩存永久存在磁盤中。也就是說咱們的AOF和RDB持久化存儲方式。由於該兩種方式，將內存中的數據寫入磁盤，這時候就須要考慮到咱們過時的緩存是否會被寫入到磁盤中？若是寫入磁盤又是怎麼處理的？

RDB持久化

持久化key以前，會檢查是否過時，過時的key不進入RDB文件。

數據載入數據庫以前，會對key先進行過時檢查，若是過時，不導入數據庫（主庫狀況）。

AOF持久化

當key過時後，尚未被刪除，此時進行執行持久化操做（該key是不會進入aof文件的，由於沒有發生修改命令）。

當key過時後，在發生刪除操做時，程序會向aof文件追加一條del命令（在未來的以aof文件恢復數據的時候該過時的鍵就會被刪掉）。

由於AOF方式，向存儲文件追加的是Redis的操做命令，而不是具體的數據，然而RDB確是存儲的安全的二進制內容。

重寫時，會先判斷key是否過時，已過時的key不會重寫到aof文件。

即便在重寫時，不驗證是否過時，然而追加了del命令，測試無效的key一樣會被刪除。判斷的狀況是爲了防止沒有加入del命令的key。

內存淘汰機制

定義說明

內存淘汰機制針對是內存不足的狀況下的一種Redis處理機制。例如，當前的Redis存儲已經超過內存限制了，然而咱們的業務還在繼續往Redis裏面追加緩存內容，這時候Redis的淘汰機制就起到做用了。

淘汰機制分類

根據redis.conf的配置文件中，咱們能夠得出，主要分爲以下六種淘汰機制。

# volatile-lru -> Evict using approximated LRU among the keys with an expire set.
# allkeys-lru -> Evict any key using approximated LRU.
# volatile-lfu -> Evict using approximated LFU among the keys with an expire set.
# allkeys-lfu -> Evict any key using approximated LFU.
# volatile-random -> Remove a random key among the ones with an expire set.
# allkeys-random -> Remove a random key, any key.
# volatile-ttl -> Remove the key with the nearest expire time (minor TTL)
# noeviction -> Don't evict anything, just return an error on write operations.

這六種機制主要是什麼意思內，下面是分別針對上面的幾種機制作一個說明。

volatile-lru：當內存不足以容納新寫入數據時，在設置了過時時間的鍵空間中，移除最近最少使用的key。

allkeys-lru：當內存不足以容納新寫入數據時，在鍵空間中，移除最近最少使用的key（這個是最經常使用的）。

volatile-lfu：當內存不足以容納新寫入數據時，在過時密集的鍵中，使用LFU算法進行刪除key。

allkeys-lfu：當內存不足以容納新寫入數據時，使用LFU算法移除全部的key。

volatile-random：當內存不足以容納新寫入數據時，在設置了過時的鍵中，隨機刪除一個key。

allkeys-random：當內存不足以容納新寫入數據時，隨機刪除一個或者多個key。

volatile-ttl：當內存不足以容納新寫入數據時，在設置了過時時間的鍵空間中，有更早過時時間的key優先移除。

noeviction：當內存不足以容納新寫入數據時，新寫入操做會報錯。

內存管理配置翻譯

# Set a memory usage limit to the specified amount of bytes.
#將內存使用限制設置爲指定的字節數。
# When the memory limit is reached Redis will try to remove keys
#當達到內存限制時，Redis將嘗試刪除密鑰
# according to the eviction policy selected (see maxmemory-policy).
#根據所選的逐出策略（請參閱maxmemory策略）。
#
#
# If Redis can't remove keys according to the policy, or if the policy is
#若是Redis不能根據策略刪除密鑰，或者若是策略是
# set to 'noeviction', Redis will start to reply with errors to commands
#設置爲「noeviction」時，Redis將開始對命令進行錯誤的應答
# that would use more memory, like SET, LPUSH, and so on, and will continue
#這將使用更多內存，如SET、LPUSH等，並將繼續
# to reply to read-only commands like GET.
#回覆像GET這樣的只讀命令。
#
#
# This option is usually useful when using Redis as an LRU or LFU cache, or to
#當將Redis用做LRU或LFU緩存或
# set a hard memory limit for an instance (using the 'noeviction' policy).
#爲實例設置硬內存限制（使用「noeviction」策略）。
#
#
# WARNING: If you have replicas attached to an instance with maxmemory on,
#警告：若是將副本附加到啓用了maxmemory的實例，
# the size of the output buffers needed to feed the replicas are subtracted
#減去爲複製副本提供數據所需的輸出緩衝區的大小
# from the used memory count, so that network problems / resyncs will
#從網絡中從新同步使用的問題
# not trigger a loop where keys are evicted, and in turn the output
#不觸發一個循環，其中鍵被逐出，而反過來輸出
# buffer of replicas is full with DELs of keys evicted triggering the deletion
#複製副本的緩衝區已滿，退出的密鑰將觸發刪除
# of more keys, and so forth until the database is completely emptied.
#直到數據庫徹底清空。
#
# In short... if you have replicas attached it is suggested that you set a lower
#簡而言之。。。若是您附加了副本，建議您設置較低的
# limit for maxmemory so that there is some free RAM on the system for replica
#限制maxmemory，以便系統上有一些可用的RAM用於複製
# output buffers (but this is not needed if the policy is 'noeviction').
#輸出緩衝區（但若是策略爲「noeviction」，則不須要此緩衝區）。
# maxmemory <bytes>
#最大內存<字節>
# MAXMEMORY POLICY: how Redis will select what to remove when maxmemory
#MAXMEMORY策略：當MAXMEMORY時Redis如何選擇要刪除的內容
# is reached. You can select among five behaviors:
#已到達。您能夠從五種行爲中進行選擇：
#
# volatile-lru -> Evict using approximated LRU among the keys with an expire set.
#volatile lru->在具備expire集的密鑰中使用近似的lru進行逐出。
# allkeys-lru -> Evict any key using approximated LRU.
#allkeys lru->使用近似的lru逐出任何鍵。
# volatile-lfu -> Evict using approximated LFU among the keys with an expire set.
#volatile lfu->在具備expire集的密鑰中使用近似的lfu進行逐出。
# allkeys-lfu -> Evict any key using approximated LFU.
#allkeys lfu->使用近似的lfu逐出任何鍵。
# volatile-random -> Remove a random key among the ones with an expire set.
#volatile random->從具備expire集的密鑰中刪除一個隨機密鑰。
# allkeys-random -> Remove a random key, any key.
#allkeys random->移除一個隨機鍵，任意鍵。
# volatile-ttl -> Remove the key with the nearest expire time (minor TTL)
#volatile ttl->刪除最接近過時時間的密鑰（minor ttl）
# noeviction -> Don't evict anything, just return an error on write operations.
#noeviction->不要逐出任何內容，只要在寫操做時返回一個錯誤。
# LRU means Least Recently Used
#LRU表示最近最少使用
# LFU means Least Frequently Used
#LFU表示使用頻率最低
# Both LRU, LFU and volatile-ttl are implemented using approximated
#LRU、LFU和volatile ttl都是用近似方法實現的
# randomized algorithms.
#隨機算法。
# Note: with any of the above policies, Redis will return an error on write
#注意：若是使用上述任何策略，Redis將在寫入時返回錯誤
#       operations, when there are no suitable keys for eviction.
#操做，當沒有合適的鑰匙驅逐。
#
#At the date of writing these commands are: set setnx setex append
#在編寫這些命令的日期是：set setnx setex append
#incr decr rpush lpush rpushx lpushx linsert lset rpoplpush sadd
#增長/減小脈衝低壓脈衝rpushx lpushx linsert lset RPOPPLPUSH sadd
#sinter sinterstore sunion sunionstore sdiff sdiffstore zadd zincrby
#sinter sinterstore sunion sunionstore sdiffstore zadd zincrby
#zunionstore zinterstore hset hsetnx hmset hincrby incrby decrby
#zunionstore zinterstore hset hsetnx hmset hincrby incrby遞減
#getset mset msetnx exec sort
#getset mset msetnx exec排序
#
#
# The default is:
#默認值爲：
#
#
# maxmemory-policy noeviction
#maxmemory策略不可用
# LRU, LFU and minimal TTL algorithms are not precise algorithms but approximated
#LRU、LFU和最小TTL算法不是精確算法而是近似算法
# algorithms (in order to save memory), so you can tune it for speed or
#算法（爲了節省內存），因此你能夠調整它的速度或
# accuracy. For default Redis will check five keys and pick the one that was
#準確度。對於默認的Redis將檢查五個鍵並選擇一個
# used less recently, you can change the sample size using the following
#最近使用較少，可使用如下命令更改樣本大小
# configuration directive.
#配置指令。
#
#
# The default of 5 produces good enough results. 10 Approximates very closely
#默認值爲5會產生足夠好的結果。10很是接近
# true LRU but costs more CPU. 3 is faster but not very accurate.
#真正的外場可更換單元，但佔用更多的CPU。3更快，但不是很準確。
# maxmemory-samples 5
#maxmemory示例5
# Starting from Redis 5, by default a replica will ignore its maxmemory setting
#從Redis 5開始，默認狀況下副本將忽略其maxmemory設置
# (unless it is promoted to master after a failover or manually). It means
#（除非在故障轉移後或手動升級爲主節點）。意思是
# that the eviction of keys will be just handled by the master, sending the
#密鑰的收回將由主機處理，發送
# DEL commands to the replica as keys evict in the master side.
#DEL命令在主服務器端做爲密鑰收回。
#
# This behavior ensures that masters and replicas stay consistent, and is usually
#這種行爲能夠確保主機和副本保持一致，而且一般
# what you want, however if your replica is writable, or you want the replica to have
#可是，若是您的複製副本是可寫的，或者您但願複製副本具備
# a different memory setting, and you are sure all the writes performed to the
#不一樣的內存設置，而且您肯定對
# replica are idempotent, then you may change this default (but be sure to understand
#複製副本是冪等的，那麼您能夠更改這個默認值（可是必定要理解
# what you are doing).
#你在作什麼）。
#
# Note that since the replica by default does not evict, it may end using more
#請注意，因爲複製副本在默認狀況下不會逐出，它可能會使用更多
# memory than the one set via maxmemory (there are certain buffers that may
#內存大於經過maxmemory設置的內存（有某些緩衝區可能
# be larger on the replica, or data structures may sometimes take more memory and so
#複製副本越大，或者數據結構有時可能佔用更多內存，所以
# forth). So make sure you monitor your replicas and make sure they have enough
#第四）。因此必定要監控你的複製品，確保它們有足夠的
# memory to never hit a real out-of-memory condition before the master hits
#內存在主機命中以前永遠不會遇到內存不足的狀況
# the configured maxmemory setting.
#配置的maxmemory設置。
#
#
# replica-ignore-maxmemory yes
#複製副本忽略maxmemory是

Redis命令

這裏總結幾個Redis中經常使用的與時間有關的命令。

exists key:判斷鍵是否存在，若是存在則返回1，不存在則返回0；

expire key:給鍵設置過時時間，單位s(秒)；

ttl key:返回鍵剩餘的過時時間，單位s(秒)；當鍵不存在是返回-2；存在而且未設置過時時間，返回-1；若是返回≥0，則該返回值則爲過時的時間；

ptt key:返回鍵剩餘的過時時間，單位ms(毫秒)；當鍵不存在是返回-2；存在而且未設置過時時間，返回-1；若是返回≥0，則該返回值則爲過時的時間；