Nginx流量攔截算法

0x00.About

電商平臺營銷時候，常常會碰到的大流量問題，除了作流量分流處理，可能還要作用戶黑白名單、信譽分析，進而根據用戶ip信譽權重作相應的流量攔截、限制流量。

Nginx自身有的請求限制模塊ngx_http_limit_req_module、流量限制模塊ngx_stream_limit_conn_module基於令牌桶算法，能夠方便的控制令牌速率，自定義調節限流，就能很好的限制請求數量，然而，nginx.conf問題仍是在於沒法熱加載。

以前作過的流量限制方案，《Nginx+Lua+Redis訪問頻率控制》，原理是動態的基於ip，實現簡單的漏桶算法，限制訪問頻率。

這裏的話，就簡單分析下流量限制算法：漏桶算法、令牌桶算法、滑動窗口等在Nginx+Lua中如何動態綁定uri，動態設定rate實現。

0x01.Leaky Bucket Algorithm

漏桶算法能夠很好地限制容量池的大小，從而防止流量暴增。若是針對uri+ip做爲監測的key，就能夠實現定向的設定指定ip對指定uri容量大小，超出的請求作隊列處理（隊列處理要引入消息機制）或者丟棄處理。這也是v2ex對流量攔截的算法，針對uri+ip作流量監測。

漏桶算法實現上來講，就是創建一個隊列，在Redis中以uri:ip做爲key，隊列上實現FIFO，在請求的前奏實現插入，請求完成後實現刪除。

實現方法是在Nginx發送http數據給用戶後，經過ngx.eof()關閉TCP協議，作其餘操做，能夠參見請求返回後繼續執行。

下面是部分代碼：

local _M = { _VERSION = "2015.10.19", OK = 1, BUSY = 2, FORBIDDEN = 3 }

function _M.do_list(red, uri, key, size, rate)
    local ok, err = red:expire(uri .. ":" .. key, size)
    if not ok then
        ngx.log(ngx.WARN, "redis set expire error: ", err)
        return nil
    end
    local ok, err = red:rpush(uri .. ":" .. key, ngx.time())
    if not ok then
        ngx.log(ngx.WARN, "redis rpush error: ", err)
        return nil
    end
    local res, err = red:lrange(uri .. ":" .. key, -(size * rate), -1)
    if not ok then
        ngx.log(ngx.WARN, "redis lrange error: ", err)
        return nil
    end
    if #res < (size * rate) or res[#res] - res[1] < size then
        return _M.OK
    end
    return nil
end

漏桶算法優勢很明顯，簡單、高效，能恰當攔截容量外的暴力流量。

但缺點也明顯，沒法對流量作頻率處理，好比桶size大小設置範圍內，進行併發攻擊依然能大流量併發效果，桶容量不能夠太小，不然容易卡死正經常使用戶。

0x02.Token Bucket Algorithm

令牌桶算法經過發放令牌，根據令牌的rate頻率作請求頻率限制，容量限制等。

• 系統根據rate(r/s)頻率參數向指定桶中添加token，滿則保持，不添加

• 當用戶請求Nginx時候，分析uri是否須要限制流量，限制則執行令牌桶算法

• 若是桶滿了，則請求經過，消耗令牌一枚；若是請求Redis發現key不存在，則經過size裝滿令牌桶；若是桶內令牌空，則廢棄或等待流量。

Nginx + Lua 模型中實現必然不能跑一個程序添加令牌了，這個時候須要在分析令牌時候，經過計算時間間隔一次性添加完令牌桶內令牌。具體算法是：rate * time_distance = token_count令牌數量， if token_count > size 桶容量， token_count = size。

實現的存儲結構是用Hash哈希存儲 uri:ip -> token_count，字段經過EXPIRE設定過時時間，達到長時間不訪問清除桶數據效果。

桶的大小、請求的頻率限制用Redis哈希表存儲，不存在則默認不作流量攔截。

用戶黑白名單經過Order SET設定信譽權重，權重越大，表明危險性越大，進而經過百分比改變接口限定rate頻率。

令牌桶算法優點在於能針對uri作定向rate、size等，不只限制總請求大小，還限制平均頻率大小。缺點是，仍是容易致使誤判等問題，並切用戶的信譽沒法徹底準確。

參考：

1.Token Bucket Algorithm

2.Token Bucket Algorithm

3.電商課題I：集羣環境下業務限流

---

本文出自 夏日小草,轉載請註明出處:http://homeway.me/2015/10/21/nginx-lua-traffic-limit-algorithm

-by小草

2015-10-21 21:49:10