架構祕笈：移花接木。使用mysql模擬redis

原創：小姐姐味道（微信公衆號ID：xjjdog），歡迎分享，轉載請保留出處。

這年頭，你看到的東西未必就是你認爲的東西。一個mysql協議的後面，多是tidb；一個linux機器後面，多是一個精簡的docker；你以爲xjjdog是個女的，但可能ta本身也不太清楚；而當你大呼php萬歲的時候，多是研發人員和你開個玩笑，重寫了後綴，然後端用的倒是java。

你們都知道redis速度快，但它的容量和內存容量有關，很容易達到瓶頸。有些互聯網公司，直接使用redis做爲後端數據庫（在下佩服）。當業務量暴增，就面臨一個redis容量和價格的權衡問題。改業務代碼是來不及了，只好用一些持久化存儲 ，來模擬redis的一些數據結構。

redis支持近十種數據類型，最經常使用的有5種。string、hash、zset、set、list等。本文將針對幾種常見的數據結構，探討一下經常使用操做的模擬實現。

其實，咱們所須要開發的，就是一個redis代理proxy。redis的客戶端，鏈接上咱們的代理以後，會進行協議解析。解析出來的命令，將會被模擬，而後根據配置的路由，定位到相應的mysql中。

也就是你所使用的redis，其實使用mysql來存儲數據的。沒有rdb，也沒有aof。

Redis是文本協議

redis是文本協議，協議名稱叫作RESP。RESP 是 Redis 序列化協議的簡寫。它是一種直觀的文本協議，優點在於實現異常簡單，解析性能極好。

如圖，Redis 協議將傳輸的結構數據，能夠總結爲 5 種最小單元類型。每一個單元結束時，統一加上回車換行符號**\r\n** 。

下面是幾個規則：

單行字符串 以 + 開頭； 
多行字符串 以 $ 開頭，後跟字符串長度； 
整數值 以 : 開頭，後跟整數的字符串形式； 
錯誤消息 以 - 符號開頭； 
數組 以 * 號開頭，後跟數組的長度；
複製代碼

好比，下面這個就是數組[9,9,6]的報文。

*3\r\n:9\r\n:9\r\n:6\r\n
複製代碼

因此這個協議的解析和拼裝，是很是簡單的。拿netty來講，就有codec-redis 模塊供咱們使用。

實現：數據結構設計

在數據表的設計上，咱們發現，kv和hash在效率上沒有什麼差異，由於它可以直接根據key定位到。

反卻是zset，因爲有排序的功能，形成了不少操做的執行效率都不盡人意。

另外，因爲咱們不一樣的數據結構，是使用不一樣的表進行存儲的。因此刪除操做，要在每張表上都執行一遍。

kv設計

kv，即string，是redis裏最基本的數據類型。一個key對應一個value，string類型的值最大能存儲512MB。

設計專用的數據庫表rstore_kv，其中，rkey是主鍵。

rkey        varchar
val     varchar
lastTime    bigint
複製代碼

set操做

insert into rstore_kv("rkey","val","lastTime") values($1,$2,$3) 
on duplicate key update set "val"=$2,"lastTime"=$3
複製代碼

get操做

select val from rstore_kv where "rkey" = $1
複製代碼

del操做

delete from rstore_kv where "rkey" = $1
複製代碼

exists操做

select count(*) as n from rstore_kv where  "rkey" = $1
複製代碼

ttl操做

select lastTIme from rstore_kv  where  "rkey" = $1
複製代碼

hash設計

hash 是一個鍵值(key=>value)對集合。hash 特別適合用於存儲對象。

設計專用的數據庫表rstore_hash，其中，rkey和hkey是聯合主鍵。

rkey        varchar
hkey        varchar
val     varchar
lastTime    bigint
複製代碼

hset操做

insert into rstore_hash("rkey","hkey","val","lastTime") values($1,$2,$3,$4) 
on duplicate key update set "val"=$3,"lastTime"=$4
複製代碼

hget操做

select val from rstore_hash where "rkey" = $1 and "hkey" = $2
複製代碼

hgetall操做

select hkey,val from rstore_hash where "rkey" = $1
複製代碼

hdel操做

delete from rstore_hash where "rkey" = $1 and "hkey" = $2
複製代碼

del操做

delete from rstore_hash where "rkey" = $1
複製代碼

hlen,hexists操做

select count(*) as num from rstore_hash where "rkey" = $1
複製代碼

ttl操做

select max(lastTIme) from rstore_hash  where  "rkey" = $1
複製代碼

zset設計

Redis zset 和 set 同樣也是string類型元素的集合,且不容許重複的成員。不一樣的是每一個元素都會關聯一個double類型的分數。redis正是經過分數來爲集合中的成員進行從小到大的排序。它的底層結構是跳躍表，效率特別高，可是會佔用大量內存。

設計專用的數據庫表rstore_zset，其中，rkey和member是聯合主鍵。

rkey        varchar
member        varchar
score     double
lastTime    bigint
複製代碼

zadd操做

insert into rstore_zset("rkey","member","score","lastTime") values($1,$2,$3,$4) on duplicate key update update set "score"=$3,"lastTime"=$4
複製代碼

zscore操做

select score from rstore_zset where "rkey" = $1 and "member" = $2
複製代碼

zrem操做

delete from rstore_zset where "rkey" = $1 and "member" = $2" 複製代碼

zcard,exists操做

select count(*) as num from rstore_zset where "rkey" = $1
複製代碼

zcount操做

select count(*) as num from rstore_zset where "rkey" = $1 and score>=$2 and score<=$3
複製代碼

zremrangebyscore操做

delete from rstore_zset where "rkey" = $1 and score>=$2 and score<=$3
複製代碼

zrangebyscore操做

select member,score from rstore_zset 
where "rkey" = $1 and score>=$2 and score<=$3 order by score asc,member asc
複製代碼

zrange操做

select member,score from rstore_zset 
where "rkey" = $1 order by score asc offset $2 limit $3
複製代碼

zrank操做

select rank from (select member,rank() over (order by "score" asc, "lastTime" asc) as rank from rstore_zset where "rkey" = $1 ) m where m."member"= $2;
複製代碼

ttl操做

select max(lastTIme) from rstore_zset  where  "rkey" = $1
複製代碼

del操做

delete from rstore_zset where "rkey" = $1
複製代碼

set設計

Redis的Set是string類型的無序集合。

設計專用的數據庫表rstore_set，其中，rkey和member是聯合主鍵。

rkey        varchar
member        varchar
lastTime    bigint
複製代碼

sadd操做

insert into rstore_set("rkey","member","lastTime") values($1,$2,$3) 
on duplicate key update update set "lastTime"=$3
複製代碼

scard操做

select count(*) as num from rstore_set where "rkey" = $1
複製代碼

sismember操做

select member from rstore_set where "rkey" = $1 and "member" = $2
複製代碼

smembers操做

select member from rstore_set where "rkey" = $1
複製代碼

srem操做

delete from rstore_set where "rkey" = $1 and "member" = $2
複製代碼

del操做

delete from rstore_set where "rkey" = $1
複製代碼

ttl操做

select max(lastTIme) from rstore_set  where  "rkey" = $1
複製代碼

End

本篇文章僅僅模擬了最經常使用數據結構的最經常使用功能，有不少不少功能是不支持的，比較明顯的就是分佈式鎖setnx等。因此這個proxy層的開發，要想作到ok，並非那麼簡單。

同時，咱們以一種模擬的視角，來看一下redis的數據結構，在關係型數據庫中的表現形式。這樣，更可以加深咱們對redis的認識，明白它存在的價值。

做者簡介：小姐姐味道 (xjjdog)，一個不容許程序員走彎路的公衆號。聚焦基礎架構和Linux。十年架構，日百億流量，與你探討高併發世界，給你不同的味道。個人我的微信xjjdog0，歡迎添加好友，​進一步交流。​

近期熱門文章​

《必看！java後端，亮劍誅仙》 後端技術索引，中肯火爆

《學完這100多技術，能當架構師麼？（非廣告）》 精準點評100多框架，幫你選型

《Linux上，最經常使用的一批命令解析（10年精選）》 CSDN發佈首日，1k贊。點贊率1/8。

《此次要是講不明白Spring Cloud核心組件，那我就白編這故事了》 用故事講解核心組件，包你滿意

《Linux生產環境上，最經常使用的一套「Sed「技巧》 最經常使用系列Sed篇，簡單易懂。Vim篇更加易懂。