如何訪問redis中的海量數據?避免事故產生

前言

有時候咱們須要知道線上的redis的使用狀況,尤爲須要知道一些前綴的key值,讓咱們怎麼去查看呢?今天分享一個小知識點面試

事故產生

由於咱們的用戶 token 緩存是採用了【user_token:userid】格式的key,保存用戶的token的值。咱們運維爲了幫助開發小夥伴們查一下線上如今有多少登陸用戶。redis

直接用了keys user_token*方式進行查詢,事故就此發生了。致使redis不可用,假死。算法

分析緣由

咱們線上的登陸用戶有幾百萬,數據量比較多;keys算法是遍歷算法,複雜度是O(n),也就是數據越多,時間複雜度越高。緩存

數據量達到幾百萬,#keys這個指令就會致使 Redis 服務卡頓,由於 Redis 是單線程程序,順序執行全部指令,其它指令必須等到當前的 keys 指令執行完了才能夠繼續服務器

解決方案

那咱們如何去遍歷大數據量呢?這個也是面試常常問的。咱們能夠採用redis的另外一個命令scan。咱們看一下scan的特色運維

一、複雜度雖然也是 O(n) ,可是它是經過遊標分步進行的,不會阻塞線程大數據

二、提供 count 參數,不是結果數量,是redis單次遍歷字典槽位數量(約等於)spa

三、同 keys 同樣,它也提供模式匹配功能;線程

四、服務器不須要爲遊標保存狀態,遊標的惟一狀態就是 scan 返回給客戶端的遊標整數 ;code

五、返回的結果 可能會有重複,須要客戶端去重複,這點很是重要;

六、單次返回的結果是空的並不意味着遍歷結束,而要看返回的遊標值是否爲零。

1、scan命令格式

SCAN cursor [MATCH pattern] [COUNT count]

2、命令解釋:scan 遊標 MATCH <返回和給定模式相匹配的元素> count 每次迭代所返回的元素數量

SCAN命令是 增量的循環 ,每次調用只會返回一小部分的元素 。因此不會讓redis假死 SCAN命令返回的是一個遊標, 從0開始遍歷,到0結束遍歷

3、舉例

redis > scan 0 match user_token* count 5
 1) "6"
 2) 1) "user_token:1000"
 2) "user_token:1001"
 3) "user_token:1010"
 4) "user_token:2300"
 5) "user_token:1389"

從0開始遍歷,返回了遊標6,又返回了數據,繼續scan遍歷,就要從6開始

redis > scan 6 match user_token* count 5
 1) "10"
 2) 1) "user_token:3100"
 2) "user_token:1201"
 3) "user_token:1410"
 4) "user_token:5300"
 5) "user_token:3389"

總結

這個是面試常常會問到的,也是咱們小夥伴在工做的過程常常用的,通常小公司,不會有什麼問題,但數據量多的時候,你的操做方式不對,你的績效就會被扣。

相關文章
相關標籤/搜索