做者: 李佶澳 轉載請保留:原文地址 發佈時間:2018-09-29 15:41:50 +0800css
說明
Nginx、OpenRestry、Kong這三個項目緊密相連: Nginx是模塊化設計的反向代理軟件,C語言開發; OpenResty是以Nginx爲核心的Web開發平臺,能夠解析執行Lua腳本(OpenResty與Lua的關係,相似於Jvm與Java,不過Java能夠作的事情太多了,OpenResty主要用來作Web、API等); Kong是一個OpenResty應用,是一個api gateway,具備API管理和請求代理的功能。html
Nginx
Nginx是HTTP Server、反向代理服務器、郵件代理服務器、通用的TCP/UDP代理服務器。nginx features詳細列出了nginx的功能特性。nginx
Nginx配置文件,指令與變量
Nginx的配置文件由單指令(simple directive)
和塊指令(block directive)
組成,單指令只有一行,以「;」結尾,塊指令後面是用「{ }」包裹的多行內容。git
有些塊指令後的花括號中能夠繼續包含單指令,這樣的塊指令被成爲配置上下文(context)
,這樣的指令有:events、http、server、location等。github
context是嵌套的,最外層的context是main context
,配置文件中不在{}
的中指令都是位於main context
中。web
events和http指令位於main context,server位於http context,location位於server context:正則表達式
-
-
-
-
-
配置文件示例見: Beginner’s Guide,例如:sql
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
location ~ \.(gif|jpg|png)$ {
-
-
-
-
-
-
-
-
-
-
-
-
fastcgi_pass localhost:
9000;
-
fastcgi_param SCRIPT_FILENAME $document_root$fastcgi_script_name;
-
fastcgi_param QUERY_STRING $query_string;
-
-
-
上面的例子中的proxy_pass
和factcgi_pass
分別是nginx的http proxy module和http fastcgi moudle中指令。docker
Nginx有不少的module,在Nginx Documents中能夠查看每一個modules的用法。數據庫
Nginx: Alphabetical index of directives中列出了Nginx的全部指令。
Nginx: Alphabetical index of variables中列出了能夠在配置文件中使用的全部變量。
在查看Nginx指令用法的時候,注意指令的context:
-
-
-
Context: http, server, location,
if in location # 可使用gzip指令的地方
Nginx做爲TCP/UDP負載均衡器
Nginx本來只能作7層(http)代理,在1.9.0版本中增長了4層(TCP/UDP)代理功能。
4層代理功能在Nginx的ngx_stream_core_module模塊中實現,但默認沒有編譯,須要在編譯時指定: –with-stream。
使用配置以下:
-
-
-
error_log /var/
log/nginx/error.log info;
-
-
-
-
-
-
-
-
hash $remote_addr consistent;
-
-
server backend1.example.com:12345 weight=5;
-
server 127.0.0.1:12345 max_fails=3 fail_timeout=30s;
-
server unix:/tmp/backend3;
-
-
-
-
server 192.168.0.1:53535;
-
server dns.example.com:53;
-
-
-
-
-
proxy_connect_timeout
1s;
-
-
-
-
-
-
listen
127.0.0.1:53 udp reuseport;
-
-
-
-
-
-
-
proxy_pass unix:/tmp/stream.socket;
-
-
Nginx模塊
理解Nginx Module很重要,由於後面的OpenResty就是標準的Nginx加上不少Nginx Module。
Nginx是用C語言開發軟件,採用模塊化設計,能夠經過開發模塊擴展Nginx的功能。
Nginx Development guide中介紹了Nginx模塊開發的方法Nginx Module develop。
插件能夠編譯成.so之後動態加載,也能夠直接編譯到nginx中,編譯是經過--add-module
指定要集成的模塊。
例如lua-nginx-module:
-
./configure --prefix=
/opt/nginx \
-
--
with-ld-opt="-Wl,-rpath,/path/to/luajit-or-lua/lib" \
-
--add-
module=/path/to/ngx_devel_kit \
-
--add-
module=/path/to/lua-nginx-module
OpenResty
OpenResty是一個集成了Nginx、LuaJIT和其它不少moudels的平臺,用來託管完整的web應用——包含業務邏輯,而不單純是靜態文件服務器: OpenResty® aims to run your server-side web app completely in the Nginx server, leveraging Nginx’s event model to do non-blocking I/O not only with the HTTP clients, but also with remote backends like MySQL, PostgreSQL, Memcached, and Redis.
OpenResty Components中列出了OpenResty集成的組件,數量很多,這裏就不列出來了。
先經過OpenResty Getting Started感覺一下OpenResty是咋回事。
OpenResty安裝
Centos安裝方式:
-
sudo yum
install yum-utils
-
-
sudo yum
install openresty
-
sudo yum
install openresty-resty
經過源代碼編譯:
-
-
tar -xvf openresty
-1.13.6.2.tar.gz
-
-
./configure --
with-pcre-jit --with-http_ssl_module --with-http_realip_module --with-http_stub_status_module --with-http_v2_module
-
-
-
export PATH=/usr/local/openresty/bin:$PATH
爲了後面順利的使用kong,configure時要指定kong依賴的模塊。
都包含如下文件:
-
$ tree -L 2 /usr/local/openresty/
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
注意openresty命令就是nginx命令,OpenResty能夠理解爲一個集成了不少模塊的定製版nginx:
-
-
nginx version: openresty/1.13.6.2
-
Usage: nginx [-?hvVtTq] [-s signal] [-c filename] [-p prefix] [-g directives]
-
-
-
-
-v :
show version and exit
-
-V :
show version and configure options then exit
-
-t :
test configuration and exit
-
-T :
test configuration, dump it and exit
-
-q : suppress non-
error messages during configuration testing
-
-s signal : send signal
to a master process: stop, quit, reopen, reload
-
-p prefix :
set prefix path (default: /usr/local/openresty/nginx/)
-
-c filename :
set configuration file (default: conf/nginx.conf)
-
-g directives :
set global directives out of configuration file
能夠在openresty的配置文件中寫入lua代碼:
-
-
-
error_log logs/
error.log;
-
-
-
-
-
-
-
-
-
-
ngx.say(
"<p>hello, world</p>")
-
-
-
-
啓動:
openresty -p `pwd` -c nginx.conf
而後訪問」127.0.0.1:8080」,能夠看到輸出:
-
-
Kong
Kong是一個OpenResty應用,用來管理api。
Kong編譯安裝
Kong編譯安裝時須要先安裝有OpenResty。
還須要lua包管理工具luarocks:
-
-
./configure --lua-suffix=jit --
with-lua=/usr/local/openresty/luajit --with-lua-include=/usr/local/openresty/luajit/include/luajit-2.1
-
下載kong代碼編譯:
-
-
-
編譯完成以後會在當前目錄生成一個bin目錄:
-
-
查看bin/kong的內容,能夠發現這是一個用resty執行的腳本文件:
-
-
-
-
require "luarocks.loader"
-
-
package.path =
"./?.lua;./?/init.lua;" .. package.path
-
-
require("kong.cmd.init")(arg)
啓動Kong
先準備數據庫,kong支持PostgreSQL和Cassandra 3.x.x,這裏使用PostgreSQL(須要版本在9.4及以上):
注意,若是使用其它版本的PostgreSQL,將下面的9.6換成對應版本號。
-
yum
install https://download.postgresql.org/pub/repos/yum/9.6/redhat/rhel-7-x86_64/pgdg-centos96-9.6-3.noarch.rpm
-
-
yum
install postgresql96-server
-
export PATH=$PATH:/usr/pgsql-9.6/bin/
-
postgresql96-setup initdb
-
systemctl
start postgresql-9.6
-
-
-
CREATE USER kong; CREATE DATABASE kong OWNER kong;
-
alter user kong with encrypted password '123456';
-
在/var/lib/pgsql/9.6/data/pg_hba.conf的開始處
添加規則下面規則:
host kong kong 127.0.0.1/32 md5
而後重啓PostgreSQL
,確保下面的命令能登錄PostgreSQL:
-
-
-
-
-
-
PostgreSQL的部署使用和經過密碼登錄方式的設置參考:PostgresSQL數據庫的基本使用、PostgreSQL的用戶究竟是這麼回事?新用戶怎樣才能用密碼登錄?。
準備kong的配置文件,
-
cp kong.conf.default kong.conf
-
# 在
kong.conf中填入數據地址、用戶、密碼等
建立kong的數據庫:
./bin/kong migrations up -c ./kong.conf
啓動kong:
./bin/kong start -c ./kong.conf
kong默認的代理地址是:
proxy_listen = 0.0.0.0:8000, 0.0.0.0:8443
默認的管理地址是:
admin_listen = 127.0.0.1:8001, 127.0.0.1:8444 ssl
返回的是json字符串:
-
$ curl -i
http://localhost:8001/
-
-
Date: Sat, 29 Sep 2018 08:56:51 GMT
-
Content-
Type: application/json; charset=utf-8
-
-
Access-Control-Allow-
Origin: *
-
-
-
-
{
"plugins":{"enabled_in_cluster":[],"availab...
-
部署Kong Dashboard
PGBI/kong-dashboard是一個第三方的Dashboard。
-
-
-
Kong的使用
中止:
kong stop
從新加載:
kong reload
註冊API:添加服務、配置路由
添加服務Configuring a Service。
添加一個名爲example-service
的服務,服務地址是http://mockbin.org
:
-
-
-
--
data 'name=example-service' \
-
--
data 'url=http://mockbin.org'
執行後返回:
-
-
"connect_timeout": 60000,
-
"created_at": 1538213979,
-
-
"id": "ebed2707-e2fb-4694-9e8e-fb66fe9dd7c8",
-
"name": "example-service",
-
-
-
-
-
-
"updated_at": 1538213979,
-
-
爲example-service
添加一個route
,知足route的請求將被轉發給example-service,執行:
-
-
-
--
data 'hosts[]=example.com'
這裏配置的route條件是:host爲example.com。
返回:
-
-
"created_at": 1538185340,
-
-
-
-
"id": "4738ae2c-b64a-4fe5-9e2a-5855e769a9e8",
-
-
-
-
-
-
-
-
-
-
"id": "ebed2707-e2fb-4694-9e8e-fb66fe9dd7c8"
-
-
-
-
這時候訪問kong的proxy地址
時,若是host爲example.com
,請求被轉發到http://mockbin.org
:
-
-
-
--header
'Host: example.com'
能夠在/etc/hostsname中將example.com地址配置爲kong所在的機器的地址:
10.10.192.35 example.com
而後就能夠經過example.com:8000
打開http://mockbin.org。
插件啓用方法
插件是用來擴展API的,例如爲API添加認證、設置ACL、限制速率等、集成oauth、ldap等。
Kong Plugins中列出了已有的全部插件。
這裏演示key-auth插件的用法,Kong Enabling Plugins,。
-
-
-
返回:
-
-
-
-
"hide_credentials": false,
-
-
-
-
-
-
-
"created_at": 1538218948000,
-
-
"id": "f25f3952-d0d4-4923-baac-860554fc2fc1",
-
-
"service_id": "ebed2707-e2fb-4694-9e8e-fb66fe9dd7c8"
-
這時候直接訪問example.com,會返回401:
-
-
-
> --header
'Host: example.com'
-
HTTP/
1.1 401 Unauthorized
-
Date: Sat, 29 Sep 2018 11:03:55 GMT
-
Content-Type: application/json; charset=utf
-8
-
-
WWW-Authenticate: Key realm=
"kong"
-
-
在kong中建立一個名爲Jason的用戶:
-
-
-
返回:
-
-
"created_at": 1538219225,
-
-
"id": "f2450962-e4bb-477f-8df6-85984eb94e09",
-
-
將Jason的密碼設置爲123456:
-
-
-
返回:
-
-
"consumer_id": "f2450962-e4bb-477f-8df6-85984eb94e09",
-
"created_at": 1538219311000,
-
"id": "0332d36f-61b9-425a-b563-510c11a85e85",
-
-
這時候能夠用Jason的key訪問API:
-
-
-
--header
"Host: example.com" \
-
--header
"apikey: 123456"
返回的是mockbin.org的首頁。
key-auth插件的詳細用法參考Kong Plugin: key-auth。插件的做用範圍能夠是全局(global)、服務(service)、路由(router)。
啓用key-auth後,經過認證的請求被轉發給上游服務時,key-auth會增設下面的字段:
-
X-Consumer-ID, the ID
of the Consumer on Kong
-
X-Consumer-
Custom-ID, the custom_id of the Consumer (if set)
-
X-Consumer-Username, the username
of the Consumer (if set)
-
X-Credential-Username, the username
of the Credential (only if the consumer is not the
-
X-Anonymous-Consumer, will be
set to true when authentication failed, and the
Kong的插件
Kong Plugins中列出了已有的全部插件,有些插件只能在企業版使用,有些插件是社區成員開發的,大部分是Kong公司開發,並集成到社區版中。
下面是社區版集成的、Kong公司維護的插件(2018-09-30 14:33:03):
認證插件:
-
-
-
-
-
-
安全插件:
-
-
-
流控插件:
-
-
-
-
-
微服務插件:
-
-
-
-
分析和監控插件:
-
-
-
內容修改插件(Transformations):
-
-
-
日誌插件:
-
-
-
-
-
-
-
Kong與Kubernetes的集成
通過前面的學習,對Api網關是什麼,以及Kong可以作什麼已經有了足夠的瞭解。如今Kubernetes一統計算資源與應用發佈編排的趨勢已經造成,咱們更關心Kong可否和Kubernetes結合。
Kong是一個Api網關,也是一個特性更豐富的反向代理,既然它有代理流量的功能,那麼能不能直接成爲Kubernetes的流量入口?使Kubernetes內部的服務都經過Kong發佈。
Kong實現了一個Kubernetes Ingress Controller來作這件事。在Kubernetes中部署kong的方法見Kong CE or EE on Kubernetes。
這部份內容比較多,單獨開篇了: Kubernetes與API網關Kong的集成。
遇到的問題
ERROR: module ‘socket’ not found:No LuaRocks module found for socket
啓動的時候:
-
-
-
ERROR: ./kong/globalpatches.lua:
63: module 'socket' not found:No LuaRocks module found for socket
-
這是由於編譯kong以後,從新編譯了luarocks,而且將luarocks安裝在了其它位置。從新編譯kong以後解決。
ERROR: function to_regclass(unknown) does not exist (8)
建立數據庫的時候:
-
# kong migrations up -c ./kong.conf
-
-
[postgres
error] could not retrieve current migrations: [postgres error] ERROR: function to_regclass(unknown) does not exist (8)
-
這是由於PostgreSQL的版本過低了,to_regclass
在PostgreSQL 9.4及以上的版本中才存在。
-
yum
install https://download.postgresql.org/pub/repos/yum/9.6/redhat/rhel-7-x86_64/pgdg-centos96-9.6-3.noarch.rpm
-
-
yum
install postgresql96-server
nginx: [emerg] unknown directive "real_ip_header" in /usr/local/kong/nginx-kong.conf:73
這是由於編譯的openresty的時候,沒有指定--with-http_realip_module
,從新編譯安裝:
-
-
-
make
install //默認安裝在/usr/local/bin/openresty
-
export PATH=/usr/local/openresty/bin:$PATH
參考
- nginx website
- OpenResty website
- Kong website
- Kong Compile Source
- nginx features
- nginx documentation
- Nginx Example Configuration & Directives
- Nginx: Alphabetical index of directives
- Nginx: Alphabetical index of variables
- Beginner’s Guide
- Nginx: ngx_http_fastcgi_module
- Nginx: ngx_http_proxy_module
- Nginx Documents
- Nginx: Module ngx_stream_core_module
- OpenResty website
- OpenResty Components
- OpenResty Getting Started
- Nginx Development guide
- Nginx Module develop
- PostgreSQL的用戶究竟是這麼回事?新用戶怎樣才能用密碼登錄?
- PostgresSQL數據庫的基本使用
- Kong Enabling Plugins
- Kong Plugin: key-auth
- Kong Plugins
- Kong CE or EE on Kubernetes
- Kong/kubernetes-ingress-controller
- PGBI/kong-dashboard
限時活動,每邀請一人即返回25元!
相關文章
《深刻剖析Kubernetes》專欄的閱讀筆記(持續更新)
Kubernetes網絡方案Flannel的學習筆記
《左耳聽風》陳皓專欄的閱讀筆記(持續更新)
Kubernetes1.12從零開始(五):本身動手部署Kubernetes(待續)
Kubernetes1.12從零開始(四):必須先講一下基本概念
Kubernetes1.12從零開始(三):用minikube與kubeadm部署
Kubernetes1.12從零開始(二):部署環境準備
Kubernetes1.12從零開始(一):官方文檔彙總
API網關Kong與Kubernetes的集成方法
PostgreSQL的用戶究竟是這麼回事?新用戶怎樣才能用密碼登錄?