玩轉Redis-如何高效訪問Redis中的海量數據

時間 2019-11-21

標籤 redis 如何高效訪問海量數據欄目 Redis 简体版

原文原文鏈接

一、前言

Redis以高性能著稱，但性能再好，在面對海量數據時，若不正確的使用，也終將會有性能瓶頸，甚至形成服務宕機。php

在實際項目中你是否會有如下疑問？java

如何訪問Redis中的海量數據，卻不影響其餘請求訪問Redis？
Redis中有百萬/千萬數據，如何高效訪問？
Redis中數據量太大，如何既保證快速訪問，又不至於使服務宕機？

以上問題亦是Redis面試的高頻問題。git

《玩轉Redis》系列文章主要講述Redis的基礎及中高級應用，文章基於Redis5.0.4+，歡迎前往CSDN、訂閱號、開源中國、掘金等平臺搜索【zxiaofan】查看系列文章。github

二、思考

Q1：爲何Redis中的數據量很大時，某些數據操做會致使Redis卡頓，甚至宕機？面試

A1：Redis是單線程服務，全部指令都是順序執行，當某一指令耗時很長時，就會阻塞後續的指令執行。當被積壓的指令愈來愈多時，Redis服務佔用CPU將不斷升高，最終致使Redis實例崩潰甚至服務器宕機。redis

Q2：利用萬能的keys命令查詢任何想查的數據？數據庫

A2：本身電腦幾萬條數據玩玩就行了，線上使用keys命令，Excuse me？你想捲鋪蓋走人了吧。
++「某公司php工程師執行redis keys * 致使數據庫宕機！技術部發生2起本年度PO級特大事故，形成公司資金損失400萬。」++ 這條新聞記憶猶新，警鐘長鳴！數組

Q3：Redis中海量數據的正確操做方式服務器

A3：利用SCAN系列命令（SCAN、SSCAN、HSCAN、ZSCAN）完成數據迭代。微信

Redis的【SCAN系列命令】你瞭解多少呢？

三、SCAN系列命令詳解

SCAN系列命令，並不單純指代SCAN命令，還包含SSCAN、HSCAN、ZSCAN，每種命令操做對象是有區別的，但用法及功能基本相同。

3.一、SCAN系列命令對比分析

cursor：迭代遊標；
MATCH：數據匹配模式；
COUNT：迭代返回數量；

命令	功能	參數	返回值
SCAN	基於遊標迭代DB	cursor [MATCH pattern] [COUNT count]	返回數組，第一個值是下一次迭代的遊標（無符號64bit），第2個值是元素列表（key列表）
SSCAN	基於遊標迭代Sets	key cursor [MATCH pattern] [COUNT count]	返回數組，第一個值是下一次迭代的遊標（無符號64bit），第2個值是元素列表
HSCAN	基於遊標迭代Hashes	key cursor [MATCH pattern] [COUNT count]	返回數組，第2個值是field-value列表
ZSCAN	基於遊標迭代ZSets	key cursor [MATCH pattern] [COUNT count]	返回數組，第2個值是member-score列表

3.二、SCAN系列命令注意事項

SCAN的參數沒有key，由於其迭代對象是DB內數據；
返回值都是數組，第一個值都是下一次迭代遊標；
時間複雜度：每次請求都是O(1)，完成全部迭代須要O(N)，N是元素數量；
可用版本：version >= 2.8.0；

3.三、SCAN系列命令詳解

3.3.一、增量迭代，可用於生產環境

並不像KEYS、SMEMBERS同樣是全量迭代，對大集合執行時可能阻塞服務很長時間；

3.3.二、不保證準確結果

SMEMBERS能夠返回整個set的元素，而SCAN這類增量迭代命令可能出現迭代過程當中元素被改變，因此並不能保證準確的返回結果；

3.3.三、基於遊標迭代

SCAN基於遊標迭代，每次請求將返回下一次須要使用的遊標；
遊標cursor能夠比DB元素總量大，能夠爲負數；
錯誤遊標：使用間斷（不是迭代返回的）、負數、超出範圍或其餘非法遊標，迭代不會報錯，可能產生未定義行爲（沒法保證準確性）；

3.3.四、迭代結束標記

SCAN返回的遊標不必定遞增，某次迭代返回的元素數量可能爲0；
返回元素列表爲空，不表明迭代結束；
一個完整的迭代：SCAN遊標從0開始，返回遊標爲0結束；
迭代狀態由返回的遊標控制。能夠併發執行迭代；可隨時終止迭代；

3.3.五、迭代完整性

遍歷開始到遍歷結束一直存在的數據，必定能被迭代返回；
同一個元素可能返回屢次，數據去重應由應用程序完成；
在迭代過程當中增刪的元素，可能返回，可能不返回；
當數據類型是sets（由integer組成）、hashes、sorted sets且集合較小時，迭代將返回整個集合的數據，與count無關；
迭代結束保證：元素添加速率小於迭代速率。

3.3.六、why有時迭代直接返回整個集合

底層數據結構是hash時，若是數據量較小，Redis有內存優化策略，會使用緊湊的壓縮編碼。此時SCAN操做並非返回有意義的遊標，而是迭代整個集合；
數據量較小？參見官方memory-optimization（內存優化）說明。

3.3.七、參數count說明

count默認值是10；
數據集較大時，若是沒有使用match，返回元素爲count或比count略大；
每次迭代的count參數值能夠不一樣，只要使用上次迭代返回的遊標便可；

3.3.八、參數match說明

和keys的pattern相似；
MATCH操做是在檢索出數據到返回元素前的期間執行，因此若是被匹配的元素較少，那麼可能屢次迭代返回的元素列表均爲空；

四、SCAN系列命令示例

4.一、SCAN示例

詳見《5.二、部分問題解答》

4.二、SSCAN示例

// SSCAN示例 @zxiaofan
127.0.0.1:6378> SADD sscantest sscantest:1 1 sscantest:2 2 sscantest:3 3 sscantest:4 4 sscantest:1a 1a sscantest:2a 2a sscantest:1ab 1ab sscantest:a1 a1 sscantest:aa1 aa1 (integer) 0 // MATCH ?：無匹配數據 127.0.0.1:6378> SSCAN sscantest 0 MATCH ? COUNT 1 1) "24" 2) (empty list or set) 127.0.0.1:6378> SSCAN sscantest 24 MATCH ? COUNT 1 1) "20" 2) (empty list or set) 127.0.0.1:6378> SSCAN sscantest 0 MATCH * COUNT 1 1) "24" 2) 1) "sscantest:3" 2) "sscantest:2a" 127.0.0.1:6378> SSCAN sscantest 24 MATCH * COUNT 1 1) "20" 2) 1) "a1" 複製代碼

4.三、HSCAN示例

// HSCAN示例 @zxiaofan
127.0.0.1:6378> HMSET hscantest hscantest:1 1 hscantest:2 2 hscantest:3 3 hscantest:4 4 hscantest:1a 1a hscantest:2a 2a hscantest:1ab 1ab hscantest:a1 a1 hscantest:aa1 aa1 
OK
127.0.0.1:6378> HSCAN hscantest 0 MATCH hscantest*a COUNT 20
1) "0"
2) 1) "hscantest:1a"
   2) "1a"
   3) "hscantest:2a"
   4) "2a"
127.0.0.1:6378> HSCAN hscantest 0 MATCH hscantest*a COUNT 2
1) "0"
2) 1) "hscantest:1a"
   2) "1a"
   3) "hscantest:2a"
   4) "2a"
127.0.0.1:6378> 

複製代碼

從HSCAN示例能夠看出，即便count參數爲2，也返回了全部匹配的結果。這就是先前提到的，數據量較小時，直接返回全部數據。

4.四、ZSCAN示例

// ZSCAN示例 @zxiaofan
// 【移除】並彈出count個分數最大的元素，count默認爲1
127.0.0.1:6378> ZPOPMAX zscantest 20
 1) "sscantest:1ab"
 2) "6"
 3) "sscantest:2a"
 4) "5"
 5) "sscantest:1a"
 6) "4"
 7) "sscantest:3"
 8) "3"
 9) "zscantest:1"
10) "2"
11) "sscantest:2"
12) "2"
13) "test1"
14) "1"
15) "sscantest:1"
16) "1"
127.0.0.1:6378> ZPOPMAX zscantest 20
(empty list or set)
127.0.0.1:6378> ZADD zscantest 1 zscantest:1 2 zscantest:2 3 zscantest:3 4 zscantest:1a 5 zscantest:2a 6 zscantest:1ab 7 zscantest:a1 8 zscantest:aa1
(integer) 8
// NX：不存在才添加；CH：返回被改變（含新增）的元素個數
127.0.0.1:6378> ZADD zscantest NX CH 1 test1 2 zscantest:1
(integer) 1
127.0.0.1:6378> ZSCAN zscantest 0 MATCH *a COUNT 5
1) "0"
2) 1) "zscantest:1a"
   2) "4"
   3) "zscantest:2a"
   4) "5"
127.0.0.1:6378> 
複製代碼

五、總結

5.一、看看面試時你能答上幾個問題

SCAN迭代能夠併發嗎？
SCAN返回數據爲空就是迭代結束了嗎？
若是首次迭代cursor參數不是0，能實現完整迭代嗎？
能夠嚴格控制每次迭代返回的數據量嗎？
迭代返回的數據必定完整嗎？
爲何迭代返回的元素列表可能爲空？

5.二、部分問題解答

5.2.一、SCAN返回數據爲空就是迭代結束了嗎

// SCAN返回數據爲空就是迭代結束了嗎? @zxiaofan
127.0.0.1:6378> keys k?
1) "k1"
2) "k2"
127.0.0.1:6378> SCAN 0 MATCH k?
1) "88"
2) (empty list or set)
127.0.0.1:6378> SCAN 88 MATCH k?
1) "34"
2) 1) "k1"
127.0.0.1:6378> SCAN 34 MATCH k?
1) "122"
2) (empty list or set)
127.0.0.1:6378> SCAN 122 MATCH k?
1) "14"
2) (empty list or set)
127.0.0.1:6378> SCAN 14 MATCH k?
1) "33"
2) (empty list or set)
127.0.0.1:6378> SCAN 33 MATCH k?
1) "53"
2) (empty list or set)
127.0.0.1:6378> SCAN 53 MATCH k?
1) "93"
2) (empty list or set)
127.0.0.1:6378> SCAN 93 MATCH k?
1) "107"
2) 1) "k2"
127.0.0.1:6378> SCAN 107 MATCH k?
1) "79"
2) (empty list or set)
127.0.0.1:6378> SCAN 79 MATCH k?
1) "0"
2) (empty list or set)
127.0.0.1:6378> 
複製代碼

看上述示例，匹配「k?」的數據實際有2條「k1」、「k2」，在整個迭代過程當中，屢次返回數據爲空，可是迭代不曾結束（由於「k1」、「k2」沒有所有迭代返回）。
因此，只有當遊標返回爲0時，才能說明迭代結束了。

5.2.二、若是首次迭代cursor參數不是0，能實現完整迭代嗎？

// 若是首次迭代cursor參數不是0，能實現完整迭代嗎？ @zxiaofan
127.0.0.1:6378> keys k?
1) "k1"
2) "k2"
127.0.0.1:6378> SCAN 66 MATCH k?
1) "122"
2) (empty list or set)
127.0.0.1:6378> SCAN 122 MATCH k?
1) "14"
2) (empty list or set)
127.0.0.1:6378> SCAN 14 MATCH k?
1) "33"
2) (empty list or set)
127.0.0.1:6378> SCAN 33 MATCH k?
1) "53"
2) (empty list or set)
127.0.0.1:6378> SCAN 53 MATCH k?
1) "93"
2) (empty list or set)
127.0.0.1:6378> SCAN 93 MATCH k?
1) "107"
2) 1) "k2"
127.0.0.1:6378> SCAN 107 MATCH k?
1) "79"
2) (empty list or set)
127.0.0.1:6378> SCAN 79 MATCH k?
1) "0"
2) (empty list or set)
127.0.0.1:6378> 
複製代碼