Nginx+Lua開發入門

第二章 Nginx+Lua開發入門

nginxluangx_luaopenresty javascript

Nginx入門

本文目的是學習Nginx+Lua開發,對於Nginx基本知識能夠參考以下文章:html

nginx啓動、關閉、重啓java

http://www.cnblogs.com/derekchen/archive/2011/02/17/1957209.htmlnginx

agentzh 的 Nginx 教程git

http://openresty.org/download/agentzh-nginx-tutorials-zhcn.htmlgithub

Nginx+Lua入門正則表達式

http://17173ops.com/2013/11/01/17173-ngx-lua-manual.shtmlredis

nginx 配置指令的執行順序shell

http://zhongfox.github.io/blog/server/2013/05/15/nginx-exec-order/json

nginx與lua的執行順序和步驟說明

http://www.mrhaoting.com/?p=157

Nginx配置文件nginx.conf中文詳解

http://www.ha97.com/5194.html

Tengine的Nginx開發從入門到精通

http://tengine.taobao.org/book/

官方文檔

http://wiki.nginx.org/Configuration

 

Lua入門

本文目的是學習Nginx+Lua開發,對於Lua基本知識能夠參考以下文章:

Lua簡明教程

http://coolshell.cn/articles/10739.html

lua在線lua學習教程

http://book.luaer.cn/

Lua 5.1 參考手冊

http://www.codingnow.com/2000/download/lua_manual.html

Lua5.3 參考手冊

http://cloudwu.github.io/lua53doc/

Nginx Lua API

和通常的Web Server相似,咱們須要接收請求、處理並輸出響應。而對於請求咱們須要獲取如請求參數、請求頭、Body體等信息;而對於處理就是調用相應的Lua代碼便可;輸出響應須要進行響應狀態碼、響應頭和響應內容體的輸出。所以咱們從如上幾個點出發便可。

 

接收請求

一、example.conf配置文件 

Java代碼 

 收藏代碼

  1. location ~ /lua_request/(\d+)/(\d+) {  
  2.     #設置nginx變量  
  3.     set $a $1;   
  4.     set $b $host;  
  5.     default_type "text/html";  
  6.     #nginx內容處理  
  7.     content_by_lua_file /usr/example/lua/test_request.lua;  
  8.     #內容體處理完成後調用  
  9.     echo_after_body "ngx.var.b $b";  
  10. }  

二、test_request.lua 

Java代碼 

 收藏代碼

  1. --nginx變量  
  2. local var = ngx.var  
  3. ngx.say("ngx.var.a : ", var.a, "<br/>")  
  4. ngx.say("ngx.var.b : ", var.b, "<br/>")  
  5. ngx.say("ngx.var[2] : ", var[2], "<br/>")  
  6. ngx.var.b = 2;  
  7.   
  8. ngx.say("<br/>")  
  9.   
  10. --請求頭  
  11. local headers = ngx.req.get_headers()  
  12. ngx.say("headers begin", "<br/>")  
  13. ngx.say("Host : ", headers["Host"], "<br/>")  
  14. ngx.say("user-agent : ", headers["user-agent"], "<br/>")  
  15. ngx.say("user-agent : ", headers.user_agent, "<br/>")  
  16. for k,v in pairs(headers) do  
  17.     if type(v) == "table" then  
  18.         ngx.say(k, " : ", table.concat(v, ","), "<br/>")  
  19.     else  
  20.         ngx.say(k, " : ", v, "<br/>")  
  21.     end  
  22. end  
  23. ngx.say("headers end", "<br/>")  
  24. ngx.say("<br/>")  
  25.   
  26. --get請求uri參數  
  27. ngx.say("uri args begin", "<br/>")  
  28. local uri_args = ngx.req.get_uri_args()  
  29. for k, v in pairs(uri_args) do  
  30.     if type(v) == "table" then  
  31.         ngx.say(k, " : ", table.concat(v, ", "), "<br/>")  
  32.     else  
  33.         ngx.say(k, ": ", v, "<br/>")  
  34.     end  
  35. end  
  36. ngx.say("uri args end", "<br/>")  
  37. ngx.say("<br/>")  
  38.   
  39. --post請求參數  
  40. ngx.req.read_body()  
  41. ngx.say("post args begin", "<br/>")  
  42. local post_args = ngx.req.get_post_args()  
  43. for k, v in pairs(post_args) do  
  44.     if type(v) == "table" then  
  45.         ngx.say(k, " : ", table.concat(v, ", "), "<br/>")  
  46.     else  
  47.         ngx.say(k, ": ", v, "<br/>")  
  48.     end  
  49. end  
  50. ngx.say("post args end", "<br/>")  
  51. ngx.say("<br/>")  
  52.   
  53. --請求的http協議版本  
  54. ngx.say("ngx.req.http_version : ", ngx.req.http_version(), "<br/>")  
  55. --請求方法  
  56. ngx.say("ngx.req.get_method : ", ngx.req.get_method(), "<br/>")  
  57. --原始的請求頭內容  
  58. ngx.say("ngx.req.raw_header : ",  ngx.req.raw_header(), "<br/>")  
  59. --請求的body內容體  
  60. ngx.say("ngx.req.get_body_data() : ", ngx.req.get_body_data(), "<br/>")  
  61. ngx.say("<br/>")  

ngx.var : nginx變量,若是要賦值如ngx.var.b = 2,此變量必須提早聲明;另外對於nginx location中使用正則捕獲的捕獲組可使用ngx.var[捕獲組數字]獲取;

ngx.req.get_headers:獲取請求頭,默認只獲取前100,若是想要獲取因此能夠調用ngx.req.get_headers(0);獲取帶中劃線的請求頭時請使用如headers.user_agent這種方式;若是一個請求頭有多個值,則返回的是table;

ngx.req.get_uri_args:獲取url請求參數,其用法和get_headers相似;

ngx.req.get_post_args:獲取post請求內容體,其用法和get_headers相似,可是必須提早調用ngx.req.read_body()來讀取body體(也能夠選擇在nginx配置文件使用lua_need_request_body on;開啓讀取body體,可是官方不推薦);

ngx.req.raw_header:未解析的請求頭字符串;

ngx.req.get_body_data:爲解析的請求body體內容字符串。

 

如上方法處理通常的請求基本夠用了。另外在讀取post內容體時根據實際狀況設置client_body_buffer_sizeclient_max_body_size來保證內容在內存而不是在文件中。

 

使用以下腳本測試

Java代碼 

 收藏代碼

  1. wget --post-data 'a=1&b=2' 'http://127.0.0.1/lua_request/1/2?a=3&b=4' -O -   

 

輸出響應 

1.一、example.conf配置文件

Java代碼 

 收藏代碼

  1. location /lua_response_1 {  
  2.     default_type "text/html";  
  3.     content_by_lua_file /usr/example/lua/test_response_1.lua;  
  4. }  

1.二、test_response_1.lua 

Java代碼 

 收藏代碼

  1. --寫響應頭  
  2. ngx.header.a = "1"  
  3. --多個響應頭可使用table  
  4. ngx.header.b = {"2", "3"}  
  5. --輸出響應  
  6. ngx.say("a", "b", "<br/>")  
  7. ngx.print("c", "d", "<br/>")  
  8. --200狀態碼退出  
  9. return ngx.exit(200)  

ngx.header:輸出響應頭;

ngx.print:輸出響應內容體;

ngx.say:通ngx.print,可是會最後輸出一個換行符;

ngx.exit:指定狀態碼退出。

 

2.一、example.conf配置文件

Java代碼 

 收藏代碼

  1. location /lua_response_2 {  
  2.     default_type "text/html";  
  3.     content_by_lua_file /usr/example/lua/test_response_2.lua;  
  4. }  

 

2.二、test_response_2.lua

Java代碼 

 收藏代碼

  1. ngx.redirect("http://jd.com", 302)  

ngx.redirect:重定向; 

 

ngx.status=狀態碼,設置響應的狀態碼;ngx.resp.get_headers()獲取設置的響應狀態碼;ngx.send_headers()發送響應狀態碼,當調用ngx.say/ngx.print時自動發送響應狀態碼;能夠經過ngx.headers_sent=true判斷是否發送了響應狀態碼。

 

其餘API

一、example.conf配置文件

Java代碼 

 收藏代碼

  1. location /lua_other {  
  2.     default_type "text/html";  
  3.     content_by_lua_file /usr/example/lua/test_other.lua;  
  4. }  

 

二、test_other.lua

Java代碼 

 收藏代碼

  1. --未經解碼的請求uri  
  2. local request_uri = ngx.var.request_uri;  
  3. ngx.say("request_uri : ", request_uri, "<br/>");  
  4. --解碼  
  5. ngx.say("decode request_uri : ", ngx.unescape_uri(request_uri), "<br/>");  
  6. --MD5  
  7. ngx.say("ngx.md5 : ", ngx.md5("123"), "<br/>")  
  8. --http time  
  9. ngx.say("ngx.http_time : ", ngx.http_time(ngx.time()), "<br/>")  

 

ngx.escape_uri/ngx.unescape_uri : uri編碼解碼;

ngx.encode_args/ngx.decode_args:參數編碼解碼;

ngx.encode_base64/ngx.decode_base64:BASE64編碼解碼;

ngx.re.match:nginx正則表達式匹配;

 

更多Nginx Lua API請參考 http://wiki.nginx.org/HttpLuaModule#Nginx_API_for_Lua

 

Nginx全局內存

使用過如Java的朋友可能知道如Ehcache等這種進程內本地緩存,Nginx是一個Master進程多個Worker進程的工做方式,所以咱們可能須要在多個Worker進程中共享數據,那麼此時就可使用ngx.shared.DICT來實現全局內存共享。

 

一、首先在nginx.conf的http部分分配內存大小

Java代碼 

 收藏代碼

  1. #共享全局變量,在全部worker間共享  
  2. lua_shared_dict shared_data 1m;  

 

二、example.conf配置文件

Java代碼 

 收藏代碼

  1. location /lua_shared_dict {  
  2.     default_type "text/html";  
  3.     content_by_lua_file /usr/example/lua/test_lua_shared_dict.lua;  
  4. }  

三、 test_lua_shared_dict.lua

Java代碼 

 收藏代碼

  1. --一、獲取全局共享內存變量  
  2. local shared_data = ngx.shared.shared_data  
  3.   
  4. --二、獲取字典值  
  5. local i = shared_data:get("i")  
  6. if not i then  
  7.     i = 1  
  8.     --三、惰性賦值  
  9.     shared_data:set("i", i)  
  10.     ngx.say("lazy set i ", i, "<br/>")  
  11. end  
  12. --遞增  
  13. i = shared_data:incr("i", 1)  
  14. ngx.say("i=", i, "<br/>")  

更多API請參考http://wiki.nginx.org/HttpLuaModule#ngx.shared.DICT。 

 

 

到此基本的Nginx Lua API就學完了,對於請求處理和輸出響應如上介紹的API徹底夠用了,更多API請參考官方文檔。

 

Nginx Lua模塊指令

Nginx共11個處理階段,而相應的處理階段是能夠作插入式處理,便可插拔式架構;另外指令能夠在http、server、server if、location、location if幾個範圍進行配置:

指令

所到處理階段

使用範圍

解釋

init_by_lua

init_by_lua_file

loading-config

http

nginx Master進程加載配置時執行;

一般用於初始化全局配置/預加載Lua模塊

init_worker_by_lua

init_worker_by_lua_file

starting-worker

http

每一個Nginx Worker進程啓動時調用的計時器,若是Master進程不容許則只會在init_by_lua以後調用;

一般用於定時拉取配置/數據,或者後端服務的健康檢查

set_by_lua

set_by_lua_file

rewrite

server,server if,location,location if

設置nginx變量,能夠實現複雜的賦值邏輯;此處是阻塞的,Lua代碼要作到很是快;

rewrite_by_lua

rewrite_by_lua_file

rewrite tail

http,server,location,location if

rrewrite階段處理,能夠實現複雜的轉發/重定向邏輯;

access_by_lua

access_by_lua_file

access tail

http,server,location,location if

請求訪問階段處理,用於訪問控制

content_by_lua

content_by_lua_file

content

location,location if

內容處理器,接收請求處理並輸出響應

header_filter_by_lua

header_filter_by_lua_file

output-header-filter

http,server,location,location if

設置header和cookie

body_filter_by_lua

body_filter_by_lua_file

output-body-filter

http,server,location,location if

對響應數據進行過濾,好比截斷、替換。

log_by_lua

log_by_lua_file

log

http,server,location,location if

log階段處理,好比記錄訪問量/統計平均響應時間

 

更詳細的解釋請參考http://wiki.nginx.org/HttpLuaModule#Directives。如上指令不少並不經常使用,所以咱們只拿其中的一部分作演示。

 

init_by_lua

每次Nginx從新加載配置時執行,能夠用它來完成一些耗時模塊的加載,或者初始化一些全局配置;在Master進程建立Worker進程時,此指令中加載的全局變量會進行Copy-OnWrite,即會複製到全部全局變量到Worker進程。

 

一、nginx.conf配置文件中的http部分添加以下代碼

Java代碼 

 收藏代碼

  1. #共享全局變量,在全部worker間共享  
  2. lua_shared_dict shared_data 1m;  
  3.   
  4. init_by_lua_file /usr/example/lua/init.lua;  

  

二、init.lua

Java代碼 

 收藏代碼

  1. --初始化耗時的模塊  
  2. local redis = require 'resty.redis'  
  3. local cjson = require 'cjson'  
  4.   
  5. --全局變量,不推薦  
  6. count = 1  
  7.   
  8. --共享全局內存  
  9. local shared_data = ngx.shared.shared_data  
  10. shared_data:set("count", 1)  

 

三、test.lua

Java代碼 

 收藏代碼

  1. count = count + 1  
  2. ngx.say("global variable : ", count)  
  3. local shared_data = ngx.shared.shared_data  
  4. ngx.say(", shared memory : ", shared_data:get("count"))  
  5. shared_data:incr("count", 1)  
  6. ngx.say("hello world")  

   

四、訪問如http://192.168.1.2/lua 會發現全局變量一直不變,而共享內存一直遞增

global variable : 2 , shared memory : 8 hello world 

 

另外注意必定在生產環境開啓lua_code_cache,不然每一個請求都會建立Lua VM實例。

 

init_worker_by_lua

用於啓動一些定時任務,好比心跳檢查,定時拉取服務器配置等等;此處的任務是跟Worker進程數量有關係的,好比有2個Worker進程那麼就會啓動兩個徹底同樣的定時任務。

 

一、nginx.conf配置文件中的http部分添加以下代碼

Java代碼 

 收藏代碼

  1. init_worker_by_lua_file /usr/example/lua/init_worker.lua;  

  

二、init_worker.lua

Java代碼 

 收藏代碼

  1. local count = 0  
  2. local delayInSeconds = 3  
  3. local heartbeatCheck = nil  
  4.   
  5. heartbeatCheck = function(args)  
  6.    count = count + 1  
  7.    ngx.log(ngx.ERR, "do check ", count)  
  8.   
  9.    local ok, err = ngx.timer.at(delayInSeconds, heartbeatCheck)  
  10.   
  11.    if not ok then  
  12.       ngx.log(ngx.ERR, "failed to startup heartbeart worker...", err)  
  13.    end  
  14. end  
  15.   
  16. heartbeatCheck()  

ngx.timer.at:延時調用相應的回調方法;ngx.timer.at(秒單位延時,回調函數,回調函數的參數列表);能夠將延時設置爲0即獲得一個當即執行的任務,任務不會在當前請求中執行不會阻塞當前請求,而是在一個輕量級線程中執行。

 

另外根據實際狀況設置以下指令

lua_max_pending_timers 1024;  #最大等待任務數

lua_max_running_timers 256;    #最大同時運行任務數

 

 

set_by_lua 

設置nginx變量,咱們用的set指令即便配合if指令也很難實現負責的賦值邏輯;

 

1.一、example.conf配置文件

Java代碼 

 收藏代碼

  1. location /lua_set_1 {  
  2.     default_type "text/html";  
  3.     set_by_lua_file $num /usr/example/lua/test_set_1.lua;  
  4.     echo $num;  
  5. }  

set_by_lua_file:語法set_by_lua_file $var lua_file arg1 arg2...; 在lua代碼中能夠實現全部複雜的邏輯,可是要執行速度很快,不要阻塞;

 

1.二、test_set_1.lua

Java代碼 

 收藏代碼

  1. local uri_args = ngx.req.get_uri_args()  
  2. local i = uri_args["i"] or 0  
  3. local j = uri_args["j"] or 0  
  4.   
  5. return i + j  

獲得請求參數進行相加而後返回。

 

訪問如http://192.168.1.2/lua_set_1?i=1&j=10進行測試。 若是咱們用純set指令是沒法實現的。

 

再舉個實際例子,咱們實際工做時常常涉及到網站改版,有時候須要新老並存,或者切一部分流量到新版

 

2.一、首先在example.conf中使用map指令來映射host到指定nginx變量,方便咱們測試

Java代碼 

 收藏代碼

  1. ############ 測試時使用的動態請求  
  2. map $host $item_dynamic {  
  3.     default                     "0";  
  4.     item2014.jd.com            "1";  
  5. }  

如綁定hosts

192.168.1.2 item.jd.com;

192.168.1.2 item2014.jd.com;

 

此時咱們想訪問item2014.jd.com時訪問新版,那麼咱們能夠簡單的使用如

Java代碼 

 收藏代碼

  1. if ($item_dynamic = "1") {  
  2.    proxy_pass http://new;  
  3. }  
  4. proxy_pass http://old;  

 

可是咱們想把商品編號爲爲8位(好比品類爲圖書的)沒有改版完成,須要按照相應規則跳轉到老版,可是其餘的到新版;雖然使用if指令能實現,可是比較麻煩,基本須要這樣

Java代碼 

 收藏代碼

  1. set jump "0";  
  2. if($item_dynamic = "1") {  
  3.     set $jump "1";  
  4. }  
  5. if(uri ~ "^/6[0-9]{7}.html") {  
  6.    set $jump "${jump}2";  
  7. }  
  8. #非強制訪問新版,且訪問指定範圍的商品  
  9. if (jump == "02") {  
  10.    proxy_pass http://old;  
  11. }  
  12. proxy_pass http://new;  

以上規則仍是比較簡單的,若是涉及到更復雜的多重if/else或嵌套if/else實現起來就更痛苦了,可能須要到後端去作了;此時咱們就能夠藉助lua了:

Java代碼 

 收藏代碼

  1. set_by_lua $to_book '  
  2.      local ngx_match = ngx.re.match  
  3.      local var = ngx.var  
  4.      local skuId = var.skuId  
  5.      local r = var.item_dynamic ~= "1" and ngx.re.match(skuId, "^[0-9]{8}$")  
  6.      if r then return "1" else return "0" end;  
  7. ';  
  8. set_by_lua $to_mvd '  
  9.      local ngx_match = ngx.re.match  
  10.      local var = ngx.var  
  11.      local skuId = var.skuId  
  12.      local r = var.item_dynamic ~= "1" and ngx.re.match(skuId, "^[0-9]{9}$")  
  13.      if r then return "1" else return "0" end;  
  14. ';  
  15. #自營圖書  
  16. if ($to_book) {  
  17.     proxy_pass http://127.0.0.1/old_book/$skuId.html;  
  18. }  
  19. #自營音像  
  20. if ($to_mvd) {  
  21.     proxy_pass http://127.0.0.1/old_mvd/$skuId.html;  
  22. }  
  23. #默認  
  24. proxy_pass http://127.0.0.1/proxy/$skuId.html;  

  

 rewrite_by_lua 

執行內部URL重寫或者外部重定向,典型的如僞靜態化的URL重寫。其默認執行在rewrite處理階段的最後。

 

1.一、example.conf配置文件

Java代碼 

 收藏代碼

  1. location /lua_rewrite_1 {  
  2.     default_type "text/html";  
  3.     rewrite_by_lua_file /usr/example/lua/test_rewrite_1.lua;  
  4.     echo "no rewrite";  
  5. }  

 

1.二、test_rewrite_1.lua

Java代碼 

 收藏代碼

  1. if ngx.req.get_uri_args()["jump"] == "1" then  
  2.    return ngx.redirect("http://www.jd.com?jump=1", 302)  
  3. end  

當咱們請求http://192.168.1.2/lua_rewrite_1時發現沒有跳轉,而請求http://192.168.1.2/lua_rewrite_1?jump=1時發現跳轉到京東首頁了。 此處須要301/302跳轉根據本身需求定義。

 

2.一、example.conf配置文件

Java代碼 

 收藏代碼

  1. location /lua_rewrite_2 {  
  2.     default_type "text/html";  
  3.     rewrite_by_lua_file /usr/example/lua/test_rewrite_2.lua;  
  4.     echo "rewrite2 uri : $uri, a : $arg_a";  
  5. }  

 

2.二、test_rewrite_2.lua

Java代碼 

 收藏代碼

  1. if ngx.req.get_uri_args()["jump"] == "1" then  
  2.    ngx.req.set_uri("/lua_rewrite_3", false);  
  3.    ngx.req.set_uri("/lua_rewrite_4", false);  
  4.    ngx.req.set_uri_args({a = 1, b = 2});  
  5. end   

ngx.req.set_uri(uri, false):能夠內部重寫uri(能夠帶參數),等價於 rewrite ^ /lua_rewrite_3;經過配合if/else能夠實現 rewrite ^ /lua_rewrite_3 break;這種功能;此處二者都是location內部url重寫,不會從新發起新的location匹配;

ngx.req.set_uri_args:重寫請求參數,能夠是字符串(a=1&b=2)也能夠是table;

 

訪問如http://192.168.1.2/lua_rewrite_2?jump=0時獲得響應

rewrite2 uri : /lua_rewrite_2, a :

 

訪問如http://192.168.1.2/lua_rewrite_2?jump=1時獲得響應

rewrite2 uri : /lua_rewrite_4, a : 1

 

3.一、example.conf配置文件

Java代碼 

 收藏代碼

  1. location /lua_rewrite_3 {  
  2.     default_type "text/html";  
  3.     rewrite_by_lua_file /usr/example/lua/test_rewrite_3.lua;  
  4.     echo "rewrite3 uri : $uri";  
  5. }  

 

3.二、test_rewrite_3.lua

Java代碼 

 收藏代碼

  1. if ngx.req.get_uri_args()["jump"] == "1" then  
  2.    ngx.req.set_uri("/lua_rewrite_4", true);  
  3.    ngx.log(ngx.ERR, "=========")  
  4.    ngx.req.set_uri_args({a = 1, b = 2});  
  5. end  

ngx.req.set_uri(uri, true):能夠內部重寫uri,即會發起新的匹配location請求,等價於 rewrite ^ /lua_rewrite_4 last;此處看error log是看不到咱們記錄的log。

 

因此請求如http://192.168.1.2/lua_rewrite_3?jump=1會到新的location中獲得響應,此處沒有/lua_rewrite_4,因此匹配到/lua請求,獲得相似以下的響應

global variable : 2 , shared memory : 1 hello world

 

rewrite ^ /lua_rewrite_3;                 等價於  ngx.req.set_uri("/lua_rewrite_3", false);

rewrite ^ /lua_rewrite_3 break;       等價於  ngx.req.set_uri("/lua_rewrite_3", false); 加 if/else判斷/break/return

rewrite ^ /lua_rewrite_4 last;           等價於  ngx.req.set_uri("/lua_rewrite_4", true);

 

注意,在使用rewrite_by_lua時,開啓rewrite_log on;後也看不到相應的rewrite log。

 

access_by_lua 

用於訪問控制,好比咱們只容許內網ip訪問,可使用以下形式

Java代碼 

 收藏代碼

  1. allow     127.0.0.1;  
  2. allow     10.0.0.0/8;  
  3. allow     192.168.0.0/16;  
  4. allow     172.16.0.0/12;  
  5. deny      all;  

 

1.一、example.conf配置文件

Java代碼 

 收藏代碼

  1. location /lua_access {  
  2.     default_type "text/html";  
  3.     access_by_lua_file /usr/example/lua/test_access.lua;  
  4.     echo "access";  
  5. }  

 

 1.二、test_access.lua

Java代碼 

 收藏代碼

  1. if ngx.req.get_uri_args()["token"] ~= "123" then  
  2.    return ngx.exit(403)  
  3. end  

即若是訪問如http://192.168.1.2/lua_access?token=234將獲得403 Forbidden的響應。這樣咱們能夠根據如cookie/用戶token來決定是否有訪問權限。

 

 

content_by_lua   

此指令以前已經用過了,此處就不講解了。

 

另外在使用PCRE進行正則匹配時須要注意正則的寫法,具體規則請參考http://wiki.nginx.org/HttpLuaModule中的Special PCRE Sequences部分。還有其餘的注意事項也請閱讀官方文檔。

相關文章
相關標籤/搜索