redis過時機制原理

　　本文對Redis的過時機制簡單的講解一下
　　講解以前咱們先拋出一個問題，咱們知道不少時候服務器常常會用到redis做爲緩存，有不少數據都是臨時緩存一下，可能用過以後好久都不會再用到了（好比暫存session，又或者只存放日行情股票數據）那麼就會出現一下幾個問題了

1. Redis會本身回收清理不用的數據嗎？
2. 若是能，那如何配置？
3. 若是不能，如何防止數據累加後大量佔用存儲空間的問題？

　　以前一直接觸Redis不是很深刻，最近項目當中遇到一個需求場景，須要清空一些存放在Redis的數據，主要是經過一些時間進行過濾，刪除那些不知足的數據，可是這樣的工做天天都須要進行，那工做量就比較大了，並且天天都須要按時去手動清理，這樣作也不切實際，後面發現Redis中有個設置時間過時的功能，即對存儲在Redis數據庫中的值能夠設置一個過時時間。做爲一個緩存數據庫，這是很是實用的。這就是咱們本文要講到的Redis過時機制。其實這個機制運用的場景十分普遍，好比咱們通常項目中的token或者一些登陸信息，尤爲是短信驗證碼都是有時間限制的，或者是限制請求次數，若是按照傳統的數據庫處理方式，通常都是本身判斷過時，這樣無疑會嚴重影響項目性能。

1、設置過時時間

　　Redis對存儲值的過時處理其實是針對該值的鍵（key）處理的，即時間的設置也是設置key的有效時間。Expires字典保存了全部鍵的過時時間，Expires也被稱爲過時字段。

• expire key time(以秒爲單位)--這是最經常使用的方式
• setex(String key, int seconds, String value)--字符串獨有的方式

注：
　　一、除了字符串本身獨有設置過時時間的方法外，其餘方法都須要依靠expire方法來設置時間
　　二、若是沒有設置時間，那緩存就是永不過時
　　三、若是設置了過時時間，以後又想讓緩存永不過時，使用persist key

一、經常使用方式

通常主要包括4種處理過時方，其中expire都是以秒爲單位，pexpire都是以毫秒爲單位的。

1 EXPIRE key seconds　　//將key的生存時間設置爲ttl秒
2 PEXPIRE key milliseconds　　//將key的生成時間設置爲ttl毫秒
3 EXPIREAT key timestamp　　//將key的過時時間設置爲timestamp所表明的的秒數的時間戳
4 PEXPIREAT key milliseconds-timestamp　　//將key的過時時間設置爲timestamp所表明的的毫秒數的時間戳

備註：timestamp爲unix時間戳（例如：timestamp=1499788800 表示將在2017.07.12過時）
一、2兩種方式是設置一個過時的時間段，就是我們處理驗證碼最經常使用的策略，設置三分鐘或五分鐘後失效，把分鐘數轉換成秒或毫秒存儲到Redis中。 
三、4兩種方式是指定一個過時的時間 ，好比優惠券的過時時間是某年某月某日，只是單位不同。

下面咱們就以EXPIREAT爲例子簡單講解下用法。

返回值

一個整數值1或0，以下：

• 若是成功地爲該鍵設置了超時時間，返回 1
• 若是鍵不存在或沒法設置超時時間，返回 0

語法
如下是以Redis的EXPIREAT命令的基本語法。

1 redis 127.0.0.1:6379> Expireat KEY_NAME TIME_IN_UNIX_TIMESTAMP

示例

首先，在Redis中建立一個鍵：akey，並在akey中設置一些值。

1 redis 127.0.0.1:6379> SET akey redis 
2 OK

如今，爲設置建立的鍵設置超時時間爲60 秒。

1 127.0.0.1:6379> SET akey redis
 2 OK
 3 127.0.0.1:6379> EXPIREAT akey 1393840000
 4 (integer) 1
 5 127.0.0.1:6379> EXISTS akey
 6 (integer) 0
 7 127.0.0.1:6379> SET akey redis
 8 OK
 9 127.0.0.1:6379> EXPIREAT akey 1493840000
10 (integer) 1
11 127.0.0.1:6379> EXISTS akey
12 (integer) 1

其餘三個用法相似，這裏不逐一闡述

二、字符串獨有方式

對字符串特殊處理的方式爲SETEX命令，SETEX命令爲指定的 key 設置值及其過時時間。若是 key 已經存在， SETEX 命令將會替換舊的值。

返回值

設置成功時返回 OK 。

語法

Redis Setex 命令基本語法以下：

redis 127.0.0.1:6379> SETEX KEY_NAME TIMEOUT VALUE

示例

1 redis 127.0.0.1:6379> SETEX mykey 60 redis
2 OK
3 redis 127.0.0.1:6379> TTL mykey
4 60
5 redis 127.0.0.1:6379> GET mykey
6 "redis

2、3種過時策略

• 定時刪除
  • 含義：在設置key的過時時間的同時，爲該key建立一個定時器，讓定時器在key的過時時間來臨時，對key進行刪除
  • 優勢：保證內存被儘快釋放
  • 缺點：
    • 若過時key不少，刪除這些key會佔用不少的CPU時間，在CPU時間緊張的狀況下，CPU不能把全部的時間用來作要緊的事兒，還須要去花時間刪除這些key
    • 定時器的建立耗時，若爲每個設置過時時間的key建立一個定時器（將會有大量的定時器產生），性能影響嚴重
    • 沒人用
• 惰性刪除
  • 含義：key過時的時候不刪除，每次從數據庫獲取key的時候去檢查是否過時，若過時，則刪除，返回null。
  • 優勢：刪除操做只發生在從數據庫取出key的時候發生，並且只刪除當前key，因此對CPU時間的佔用是比較少的，並且此時的刪除是已經到了非作不可的地步（若是此時還不刪除的話，咱們就會獲取到了已通過期的key了）
  • 缺點：若大量的key在超出超時時間後，好久一段時間內，都沒有被獲取過，那麼可能發生內存泄露（無用的垃圾佔用了大量的內存）
• 按期刪除
  • 含義：每隔一段時間執行一次刪除(在redis.conf配置文件設置hz，1s刷新的頻率)過時key操做
  • 優勢：
    • 經過限制刪除操做的時長和頻率，來減小刪除操做對CPU時間的佔用--處理"定時刪除"的缺點
    • 按期刪除過時key--處理"惰性刪除"的缺點
  • 缺點
    • 在內存友好方面，不如"定時刪除"
    • 在CPU時間友好方面，不如"惰性刪除"
  • 難點
    • 合理設置刪除操做的執行時長（每次刪除執行多長時間）和執行頻率（每隔多長時間作一次刪除）（這個要根據服務器運行狀況來定了）

看完上面三種策略後能夠得出如下結論： 
定時刪除和按期刪除爲主動刪除：Redis會按期主動淘汰一批已過去的key

惰性刪除爲被動刪除：用到的時候纔會去檢驗key是否是已過時，過時就刪除

惰性刪除爲redis服務器內置策略

按期刪除能夠經過：

• 第1、配置redis.conf 的hz選項，默認爲10 （即1秒執行10次，100ms一次，值越大說明刷新頻率越快，最Redis性能損耗也越大） 
• 第2、配置redis.conf的maxmemory最大值，當已用內存超過maxmemory限定時，就會觸發主動清理策略

 注意：

• 上邊所說的數據庫指的是內存數據庫，默認狀況下每一臺redis服務器有16個數據庫（關於數據庫的設置，看下邊代碼），默認使用0號數據庫，全部的操做都是對0號數據庫的操做，關於redis數據庫的存儲結構，查看 第八章 Redis數據庫結構與讀寫原理

# 設置數據庫數量。默認爲16個庫，默認使用DB 0，可使用"select 1"來選擇一號數據庫
# 注意：因爲默認使用0號數據庫，那麼咱們所作的全部的緩存操做都存在0號數據庫上，
# 當你在1號數據庫上去查找的時候，就查不到以前set過得緩存
# 若想將0號數據庫上的緩存移動到1號數據庫，可使用"move key 1"
databases 16

• memcached只是用了惰性刪除，而Redis同時使用了惰性刪除與按期刪除，這也是兩者的一個不一樣點（能夠看作是redis優於memcached的一點）
• 對於惰性刪除而言，並非只有獲取key的時候纔會檢查key是否過時，在某些設置key的方法上也會檢查（eg.setnx key2 value2：該方法相似於memcached的add方法，若是設置的key2已經存在，那麼該方法返回false，什麼都不作；若是設置的key2不存在，那麼該方法設置緩存key2-value2。假設調用此方法的時候，發現redis中已經存在了key2，可是該key2已通過期了，若是此時不執行刪除操做的話，setnx方法將會直接返回false，也就是說此時並無從新設置key2-value2成功，因此對於必定要在setnx執行以前，對key2進行過時檢查）

3、Redis採用的過時策略

惰性刪除+按期刪除

• 惰性刪除流程
  • 在進行get或setnx等操做時，先檢查key是否過時，
  • 若過時，刪除key，而後執行相應操做；
  • 若沒過時，直接執行相應操做
• 按期刪除流程（簡單而言，對指定個數個庫的每個庫隨機刪除小於等於指定個數個過時key）
  • 遍歷每一個數據庫（就是redis.conf中配置的"database"數量，默認爲16）
    • 檢查當前庫中的指定個數個key（默認是每一個庫檢查20個key，注意至關於該循環執行20次，循環體時下邊的描述）
      • 若是當前庫中沒有一個key設置了過時時間，直接執行下一個庫的遍歷
      • 隨機獲取一個設置了過時時間的key，檢查該key是否過時，若是過時，刪除key
      • 判判定期刪除操做是否已經達到指定時長，若已經達到，直接退出按期刪除。

4、RDB對過時key的處理

過時key對RDB沒有任何影響

• 從內存數據庫持久化數據到RDB文件
  • 持久化key以前，會檢查是否過時，過時的key不進入RDB文件
• 從RDB文件恢復數據到內存數據庫
  • 數據載入數據庫以前，會對key先進行過時檢查，若是過時，不導入數據庫（主庫狀況）

5、AOF對過時key的處理

過時key對AOF沒有任何影響

• 從內存數據庫持久化數據到AOF文件：
  • 當key過時後，尚未被刪除，此時進行執行持久化操做（該key是不會進入aof文件的，由於沒有發生修改命令）
  • 當key過時後，在發生刪除操做時，程序會向aof文件追加一條del命令（在未來的以aof文件恢復數據的時候該過時的鍵就會被刪掉）
• AOF重寫
  • 重寫時，會先判斷key是否過時，已過時的key不會重寫到aof文件