高併發 Nginx+Lua OpenResty系列（5）——Lua開發庫Redis

Redis客戶端

lua-resty-redis是爲基於cosocket API的ngx_lua提供的Lua redis客戶端，經過它能夠完成Redis的操做。默認安裝OpenResty時已經自帶了該模塊，使用文檔可參考https://github.com/openresty/lua-resty-redis。

基本操做

1. 建立redis/test_redis_baisc.lua

local function close_redes( red )
  if not red then
    return
  end
  local ok, err = red:close()
  if not ok then
    ngx.say("close redis error:", err)
  end
end

local redis = require("resty.redis")

-- 建立實例
local red = redis:new()
-- 設置超時(毫秒)
red:set_timeout(2000)
-- 創建鏈接
local ip = "172.19.73.87"
local port = 6379
local ok, err = red:connect(ip, port)
if not ok then
  return
end
local res, err = red:auth("wsy@123456")
if not res then
  ngx.say("connect to redis error : ", err)
  return
end
-- 調用API進行處理
res, err = red:set("msg", "hello world")
if not res then
  ngx.say("set msg error : ", err)
  return close_redes(red)
end

-- 調用API獲取數據
local resp, err = red:get("msg")
if not resp then
  ngx.say("get msg erro:", err)
  return close_redes(red)
end
-- 獲得數據爲空處理
if resp == ngx.null then
  resp = '' -- 好比默認值
end
ngx.say("msg:", resp)

close_redes(red)

基本邏輯很簡單，要注意此處判斷是否爲nil，須要跟ngx.null比較。

2. openResty.conf配置文件

location /lua_redis_basic {  
        default_type 'text/html';  
        lua_code_cache on;  
        content_by_lua_file /usr/openResty/lua/redis/test_redis_basic.lua;  
    }

訪問如http://127.0.0.1/lua_redis_basic進行測試，正常狀況獲得以下信息
msg : hello world

3. 鏈接池

創建TCP鏈接須要三次握手而釋放TCP鏈接須要四次握手，而這些往返時延僅須要一次，之後應該複用TCP鏈接，此時就能夠考慮使用鏈接池，即鏈接池能夠複用鏈接。
咱們只須要將以前的close_redis函數改造爲以下便可：

local function close_redes( red )
  if not red then
    return
  end
  -- 釋放鏈接（鏈接池實現）
  local pool_max_idle_time = 10000 -- 毫秒
  local pool_size = 100 --鏈接池大小
  local ok, err = red:set_keepalive(pool_max_idle_time, pool_size)
  if not ok then
    ngx.say("set keepalive error : ", err)
  end
end

即設置空閒鏈接超時時間防止鏈接一直佔用不釋放；設置鏈接池大小來複用鏈接。


此處假設調用red:set_keepalive()，鏈接池大小經過nginx.conf中http部分的以下指令定義：
默認鏈接池大小，默認30
lua_socket_pool_size 30;
默認超時時間,默認60s
lua_socket_keepalive_timeout 60s;


注意：

1. 鏈接池是每Worker進程的，而不是每Server的；
2. 當鏈接超過最大鏈接池大小時，會按照LRU算法回收空閒鏈接爲新鏈接使用；
3. 鏈接池中的空閒鏈接出現異常時會自動被移除；
4. 鏈接池是經過ip和port標識的，即相同的ip和port會使用同一個鏈接池（即便是不一樣類型的客戶端如Redis、Memcached）；
5. 鏈接池第一次set_keepalive時鏈接池大小就肯定下了，不會再變動；
6. cosocket的鏈接池http://wiki.nginx.org/HttpLuaModule#tcpsock:setkeepalive。

4. pipeline

pipeline即管道，能夠理解爲把多個命令打包而後一塊兒發送；MTU（Maxitum Transmission Unit 最大傳輸單元）爲二層包大小，通常爲1500字節；而MSS（Maximum Segment Size 最大報文分段大小）爲四層包大小，其通常是1500-20（IP報頭）-20（TCP報頭）=1460字節；所以假設咱們執行的多個Redis命令能在一個報文中傳輸的話，能夠減小網絡往返來提升速度。所以能夠根據實際狀況來選擇走pipeline模式將多個命令打包到一個報文發送而後接受響應，而Redis協議也能很簡單的識別和解決粘包。
修改以前的代碼段
test_pipeline.lua

-- local function close_redes( red )
--   if not red then
--     return
--   end
--   local ok, err = red:close()
--   if not ok then
--     ngx.say("close redis error:", err)
--   end
-- end

local function close_redes( red )
  if not red then
    return
  end
  -- 釋放鏈接（鏈接池實現）
  local pool_max_idle_time = 10000 -- 毫秒
  local pool_size = 100 --鏈接池大小
  local ok, err = red:set_keepalive(pool_max_idle_time, pool_size)
  if not ok then
    ngx.say("set keepalive error : ", err)
  end
end

local redis = require("resty.redis")

-- 建立實例
local red = redis:new()
-- 設置超時(毫秒)
red:set_timeout(2000)
-- 創建鏈接
local ip = "172.19.73.87"
local port = 6379
local ok, err = red:connect(ip, port)
if not ok then
  return
end
local res, err = red:auth("wsy@123456")
if not res then
  ngx.say("connect to redis error : ", err)
  return
end

red:init_pipeline()
red:set("msg1", "hello1")
red:set("msg2", "hello2")
red:get("msg1")
red:get("msg2")
local respTable, err = red:commit_pipeline()

-- 獲得數據爲空處理
if respTable == ngx.null then
  respTable = {}
end

-- 結果是按照執行順序返回的一個table
for i, v in ipairs(respTable) do
  ngx.say("msg : ", v, "<br/>")
end

close_redes(red)

經過init_pipeline()初始化，而後經過commit_pipieline()打包提交init_pipeline()以後的Redis命令；返回結果是一個lua table，能夠經過ipairs循環獲取結果；
配置相應location，測試獲得的結果
openResty.conf配置文件

location /lua_redis_pipeline {  
        default_type 'text/html';  
        lua_code_cache on;  
        content_by_lua_file /usr/openResty/lua/redis/test_pipeline.lua;  
    }

msg : OK
msg : OK
msg : hello1
msg : hello2


Redis Lua腳本
利用Redis單線程特性，能夠經過在Redis中執行Lua腳本實現一些原子操做。如以前的red:get(「msg」)能夠經過以下兩種方式實現：
直接eval：

local resp, err = red:eval("return redis.call('get', KEYS[1])", 1, "msg");

script load而後evalsha  SHA1 校驗和，這樣能夠節省腳本自己的服務器帶寬：

local sha1, err = red:script("load",  "return redis.call('get', KEYS[1])");  
if not sha1 then  
   ngx.say("load script error : ", err)  
   return close_redis(red)  
end  
ngx.say("sha1 : ", sha1, "")  
local resp, err = red:evalsha(sha1, 1, "msg");

首先經過script load導入腳本並獲得一個sha1校驗和（僅需第一次導入便可），而後經過evalsha執行sha1校驗和便可，這樣若是腳本很長經過這種方式能夠減小帶寬的消耗。
此處僅介紹了最簡單的redis lua腳本，更復雜的請參考官方文檔學習使用。
另外Redis集羣分片算法該客戶端沒有提供須要本身實現，固然能夠考慮直接使用相似於Twemproxy這種中間件實現。