面試官：你瞭解過Redis對象底層實現嗎

上一章咱們講了Redis的底層數據結構，不瞭解的人可能會有疑問：這個和平時用的五大對象有啥關係呢？這一章咱們就主要解釋他們所創建的聯繫。

看這個文章以前，若是對ziplist、skiplist、intset等數據結構不熟悉的話，建議先回顧一下上一章節：面試官：你看過Redis數據結構底層實現嗎？

0. 五類對象分別是什麼

五類對象就是咱們經常使用的string、list、set、zset、hash

1. 爲何要有對象

咱們平時主要是經過操做對象的api來操做redis，而不是經過它的調用它底層數據結構來完成（外觀模式）。但咱們還須要瞭解其底層，只有這樣才能寫最優化高效的代碼。

1. 跟java同樣，對象使開發更方便簡潔，下降開發門檻。開發者不須要了解其複雜的底層API，直接調用高層接口便可實現開發。

2. Redis根據對象類型來判斷命令是否違法，若是你set key value1 value2就報錯。

3. 對象下能夠包含多種數據結構，使數據存儲更加多態化。(下面主講)

4. Reids基於對象作了垃圾回收(引用計數法)。

5. 對象帶有更豐富的屬性，來幫助redis實現更高級的功能。(好比對象的閒置時間)。

2. Redis對象(RedisObject)源碼分析

typedef struct redisObject {

    // 類型
    unsigned type:4;

    // 編碼
    unsigned encoding:4;

    // 指向底層實現數據結構的指針
    void *ptr;

    // ...

} robj;

 

type字段

記錄對象類型。

咱們平時用的命令type <key>，其實就是返回這個字段的屬性。

 

127.0.0.1:6379> set hello world
OK
127.0.0.1:6379> type hello
string
127.0.0.1:6379> rpush list 1 2 3
(integer) 3
127.0.0.1:6379> type list
list
...

 

那type有多少中類型呢？看下面這個表:

encoding字段

記錄對象使用的編碼(數據結構)，Reids中稱數據結構爲encoding。

咱們能夠這樣查看咱們redis對象中的encoding:

127.0.0.1:6379> object encoding hello
"embstr"
127.0.0.1:6379> object encoding list
"quicklist"
...

 

既然它是標明該redisObject是使用的什麼數據結構，那確定也有個對應的表：

咱們能夠看到，Redis對對象的底層encoding分的很細，String類型就有三個，其它四個對象都分別有兩種不一樣的底層數據結構的實現。他們有一規律，就是用ziplist、intset、embstr來實現少許的數據，數據量一旦龐大，就會升級到skiplist、raw、linkedlist、ht來實現，後面我會仔細講解。

3. 分別分析各個對象的底層編碼實現(數據結構)

3.1 字符串(string)

字符串編碼有三個：int、raw、embstr。

3.1.1 int

當string對象的值所有是數字，就會使用int編碼。

127.0.0.1:6379> set number 123455
OK
127.0.0.1:6379> object encoding number
"int"

3.1.2 embstr

字符串或浮點數長度小於等於39字節，就會使用embstr編碼方式來存儲，embstr存儲內存通常很小，因此redis一次性分配且內存連續(效率高)。

127.0.0.1:6379> set shortStr "suwe suwe suwe"
OK
127.0.0.1:6379> object encoding shortStr
"embstr"

 

3.1.2 raw

當一個字符串或浮點數長度大於39字節，就使用SDS來保存，編碼爲raw，因爲不肯定值的字節大小，因此鍵和值各分配各的，因此就分配兩次內存(回收也是兩次)，同理它必定不是內存連續的。

127.0.0.1:6379> set longStr "hello everyone, we dont need to sleep around to go aheard! do you think?"
OK
127.0.0.1:6379> object encoding longStr
"raw"

 

3.1.3 編碼轉換

前面說過，Redis會自動對編碼進行轉換來適應和優化數據的存儲。

int->raw

條件：數字對象進行append字母，就會發生轉換。

127.0.0.1:6379> object encoding number
"int"
127.0.0.1:6379> append number " is a lucky number"
(integer) 24
127.0.0.1:6379> object encoding number
"raw"

 

embstr->raw

條件：對embstr進行修改，redis會先將其轉換成raw，而後才進行修改。因此embstr其實是隻讀性質的。

127.0.0.1:6379> object encoding shortStr
"embstr"
127.0.0.1:6379> append shortStr "(hhh"
(integer) 18
127.0.0.1:6379> object encoding shortStr
"raw"

 

3.2 列表(list)

列表對象編碼能夠是：ziplist或linkedlist。

1. ziplist壓縮列表不知道你們還記得不，就是zlbytes zltail zllen entry1 entry2 ..end結構,entry節點裏有pre-length、encoding、content屬性，忘記的能夠返回去看下。

2. linkedlist,相似雙向鏈表，也是上一章的知識。

3.2.1 編碼轉換

ziplist->linkedlist

條件：列表對象的全部字符串元素的長度大於等於64字節 & 列表元素數大於等於512. 反之，小於64和小於512會使用ziplist而不是用linkedlist。

這個閾值是能夠修改的，修改選項：list-max-ziplist-value和list-max-ziplist-entriess

3.3 哈希(hash)

哈希對象的編碼有:ziplist和hashtable

3.3.1 編碼轉換

ziplist->hashtable

條件：哈希對象全部鍵和值字符串長度大於等於64字節 & 鍵值對數量大於等於512

這個閾值也是能夠修改的，修改選項：hash-max-ziplist-value和hash-max-ziplist-entriess

3.4. 集合(set)

集合對象的編碼有：intset和hashtable

3.4.1 intset

1. 集合對象全部元素都是整數

2. 集合對象元素數不超過512個

3.4.2 編碼轉換

intset->hashtable

條件：元素不都是整數 & 元素數大於等於512

3.5. 有序集合(zset)

有序集合用到的編碼：ziplist和skiplist

你們可能很好奇阿，ziplist的entry中只有屬性content能夠存放數據，集合也是key-value形式，那怎麼存儲呢?

第一個節點保存key、第二個節點保存value 以此類推...

3.5.1 爲何要用這兩個編碼

1. 若是隻用ziplist來實現，沒法作到元素的排序，不支持範圍查找，能作到元素的快速查找。

2. 若是隻用skiplist來實現，沒法作到快速查找，但能作到元素排序、範圍操做。

3.5.2 編碼轉換

ziplist->skiplist

條件：有序集合元素數 >= 128 & 含有元素的長度 >= 64

這個閾值也是能夠修改的，修改選項：zset-max-ziplist-value和zset-max-ziplist-entriess

4. 垃圾回收

爲何要說內存回收呢，由於redisObject有一個字段：

typedef struct redisObject {

    // ...

    // 引用計數
    int refcount;

    // ...

} robj;

 

redis的垃圾回收採用引用計數法(和jvm同樣)，底層採用一個變量對對象的使用行爲進行計數。

• 初始化爲1

• 對象被引用，+1

• 對象引用消除，-1

• 計數器==0, 回收對象

5. 對象共享

5.1 對象共享的體現

1. redis中，值是整數值且相等的兩個對象，redis會將該對象進行共享，且引用計數+1

2. redis啓動會自動生成0-9999的整數值放到內存中來共享。

5.2 爲何要對象共享

節約內存

5.3 爲何不對字符串進行共享

成本過高。

驗證整數相等只須要O(1)的時間複雜度，而驗證字符串要O(n).

6. 對象的空閒時長

最後，redisObject還有一個字段,記錄了對象最後一次被訪問的時間：

typedef struct redisObject {

    // ...

    unsigned lru:22;

    // ...

} robj;

 

由於這個字段記錄對象最後一次被訪問的時間，因此它能夠用來查看該對象多久未使用，即：用當前時間-lru

127.0.0.1:6379> object idletime hello
(integer) 5110

 

它還關係到redis的熱點數據實現，若是咱們選擇lr算法，當內存超出閾值後會對空閒時長較高的對象進行釋放，回收內存。

參考文獻:

1. 《Redis設計與實現》黃健宏著

2. http://redisbook.com/index.html