分析redis key大小的幾種方法

當redis被用做緩存時，有時咱們但願瞭解key的大小分佈，或者想知道哪些key佔的空間比較大。本文提供了幾種方法。

一. bigKeys

這是redis-cli自帶的一個命令。對整個redis進行掃描，尋找較大的key。例：

redis-cli -h b.redis -p 1959 --bigkeys

輸出

# Scanning the entire keyspace to find biggest keys as well as
# average sizes per key type.  You can use -i 0.1 to sleep 0.1 sec
# per 100 SCAN commands (not usually needed).

[00.00%] Biggest hash   found so far 's_9329222' with 3 fields
[00.00%] Biggest string found so far 'url_http://mini.eastday.com/mobile/170722090206890.html?qid=sgllq&ch=east_sogou_push&pushid=13' with 8 bytes
[00.00%] Biggest string found so far 'foo' with 40 bytes
[00.00%] Biggest hash   found so far 's_9329084' with 4 fields
[00.23%] Biggest zset   found so far 'region_hot_菏澤地' with 625 members
[00.23%] Biggest zset   found so far 'region_hot_葫蘆島' with 914 members
[00.47%] Biggest string found so far 'top_notice_list' with 135193 bytes
[00.73%] Biggest zset   found so far 'region_hot_自貢' with 2092 members
[01.90%] Biggest hash   found so far 'uno_facet_2018-12-20' with 59 fields
[11.87%] Biggest zset   found so far 'region_hot_上海' with 2233 members
[27.05%] Biggest set    found so far 'blacklist_set_key' with 31832 members
[73.87%] Biggest string found so far 'PUSH_NEWS' with 3104237 bytes
[86.18%] Biggest zset   found so far 'region_hot_北京' with 2688 members

-------- summary -------

Sampled 4263 keys in the keyspace!
Total key length in bytes is 174847 (avg len 41.02)

說明：

該命令使用scan方式對key進行統計，因此使用時無需擔憂對redis形成阻塞。
輸出大概分爲兩部分，summary之上的部分，只是顯示了掃描的過程。summary部分給出了每種數據結構中最大的Key。
統計出的最大key只有string類型是以字節長度爲衡量標準的。list,set,zset等都是以元素個數做爲衡量標準，不能說明其佔的內存就必定多。因此，若是你的Key主要以string類型存在，這種方法就比較適合。

二. debug object key

redis的命令，能夠查看某個key序列化後的長度。
例：

鏈接上redis後執行以下命令

b.redis:1959> hmset myhash k1 v1 k2 v2 k3 v3
OK
b.redis:1959> debug object myhash
Value at:0x7f005c6920a0 refcount:1 encoding:ziplist serializedlength:36 lru:3341677 lru_seconds_idle:2

關於輸出的項的說明：

• Value at：key的內存地址
• refcount：引用次數
• encoding：編碼類型
• serializedlength：序列化長度
• lru_seconds_idle：空閒時間

幾個須要注意的問題
serializedlength是key序列化後的長度(redis在將key保存爲rdb文件時使用了該算法)，並非key在內存中的真正長度。這就像一個數組在json_encode後的長度與其在內存中的真正長度並不相同。不過，它側面反應了一個key的長度，能夠用於比較兩個key的大小。
serializedlength會對字串作一些可能的壓縮。若是有些字串的壓縮比特別高，那麼在比較時會出現問題。好比下列：

b.redis:1959> set str1 aaaaaaaaaaaaaaaaaaaaaaaaaaaaaa
OK
b.redis:1959> set str2 abcdefghijklmnopqrstuvwxyz1234
OK
b.redis:1959> debug object str1
Value at:0x7f007c035b80 refcount:1 encoding:embstr serializedlength:12 lru:3342615 lru_seconds_idle:13
b.redis:1959> debug object str2
Value at:0x7f00654df400 refcount:1 encoding:embstr serializedlength:31 lru:3342622 lru_seconds_idle:7

兩個字串的實際長度都是30, 但str1的serializedlength爲12， str2的爲31。

redis的官方文檔不是特別建議在客戶端使用該命令，可能由於計算serializedlength的代價相對高。因此若是要統計的key比較多，就不適合這種方法。
三. redis rdb tools
這是一個redis rdb file的分析工具，能夠根據rdb file生成內存報告。

3.1 安裝
須要python2.4以上版本和pip。

pip install rdbtools

3.2 生成內存報告

首先咱們須要有一份rdb文件，若是你在配置中開啓了rdb，那麼redis會自動生成rdb文件。若是沒有，能夠手動執行bgsave。若是是線上機器，執行時要考慮機器負載等問題。拿到rdb文件後，咱們就能夠生成內存報告了。命令以下：

rdb -c memory file 

　　例：

rdb -c memory /tmp/dump.rdb 
database,type,key,size_in_bytes,encoding,num_elements,len_largest_element,expiry
0,hash,data:index_flow_yingshi,10492,hashtable,1,8992,2019-01-14T08:20:10.236000
0,hash,data:index_movie,22068,hashtable,7,2896,2019-01-14T07:29:19.685000
0,string,block:index_module_novel,8296,string,7694,7694,2019-01-13T00:27:46.128000
0,string,block:index_bottom_baike_aikan,8296,string,7632,7632,2019-01-14T02:27:11.850000
0,string,block:index_bottom_tools,5224,string,4549,4549,2019-01-13T01:02:09.171000
0,string,block:index_module_travel,7272,string,6408,6408,2019-01-13T00:43:39.478000
...

　　

輸出了db，數據類型，key, 大小, 編碼等多列信息。至於分析數據，你能夠用shell，也能夠保存成csv用excel排序，或者乾脆存到db裏，想怎麼排怎麼排。

若是隻要知道最大的N個key, 可使用-l選項。例：

[@sjs_73_171 ~]$ rdb -c memory -l 3 /tmp/dump.rdb  
database,type,key,size_in_bytes,encoding,num_elements,len_largest_element,expiry
0,hash,city_tong,724236,hashtable,3113,216,2019-01-14T01:10:59.407000
0,hash,iplocsearch,406292,hashtable,383,180190,2019-01-30T05:37:56.082000
0,hash,weather_tong3,583844,hashtable,319,1658,2019-01-07T10:22:33.742000

　　

3.3 查看單個key

若是咱們只須要查詢單個key所使用的內存能夠沒必要依賴rdb file, 使用redis-memory-for-key命令便可。
例：

[@sjs_73_171 WEB-INF]$ redis-memory-for-key -s b.redis -p 1959 myhash
Key                             myhash
Bytes                           83
Type                            hash
Encoding                        ziplist
Number of Elements              3
Length of Largest Element       2

[@sjs_73_171 WEB-INF]$ redis-memory-for-key -s b.redis -p 1959 str1
Key                             str1
Bytes                           80
Type                            string

[@sjs_73_171 WEB-INF]$ redis-memory-for-key -s b.redis -p 1959 str2
Key                             str2
Bytes                           80
Type                            string

　　

3.4 更多
工具得出的內存值爲近似值，這點能夠參看做者的說明。「Why doesn’t reported memory match actual memory used?」
工具經過分析rdb file中的key及value，反算出該kv在內存中的大小。計算時充分考慮了數據類型的影響，key自己長度的影響，內存分配等多種因素。雖然得出的大小不是真實值，但用於key大小的比較是徹底能夠的。
rdb的功能不只於此，它還能夠將kv導成json格式，也能夠按正則表達式只導出部分key，
更多使用方法能夠查看
rdb --help
也能夠查看git上的幫助文檔。

四. 總結
若是想粗略的看下最大key, 可使用bigKeys。
若是查詢的key很少，key的壓縮比又沒有明顯差別，可使用debug object key。
若是不介意安裝個工具，那麼redis rdb tools彷佛是最佳選擇。

github地址：

https://github.com/sripathikrishnan/redis-rdb-tools　　

 參考地址：

https://blog.csdn.net/yanyan19880509/article/details/79325191