ingress 能夠理解爲 Service 的 Service,即在現有 Service 的前面再搭建一層 Service,做爲外部流量的統一入口,進行請求路由的轉發。html
說白了就是在前端搭建一個 nginx或者haproxy,將不一樣 host 或 url 轉發到對應的後端 Service,再由 Service 轉給 Pod。只不過 ingress 對 nginx/haproxy 進行了一些解耦和抽象。前端
ingress 彌補了默認 Service 暴露外網訪問時候的一些缺陷,如不能進行統一入口處的7層 URL 規則,如一個默認 Service 只能對應一種後端服務。node
一般說的 ingress 包含 ingress-controller 和 ingress 對象兩部分。linux
ingress-controller 對應 nginx/haproxy 程序,以 Pod 形式運行。nginx
ingress 對象 對應 nginx/haproxy 配置文件。git
ingress-controller 使用 ingress 對象中描述的信息修改自身 Pod 中 nginx/haproxy 的規則。github
準備測試資源vim
部署2個服務, 訪問服務1,返回 Version 1 訪問服務2,返回 Version 2
兩個服務的程序配置後端
# cat deployment.yaml apiVersion: apps/v1 kind: Deployment metadata: name: hello-v1.0 spec: selector: matchLabels: app: v1.0 replicas: 3 template: metadata: labels: app: v1.0 spec: containers: - name: hello-v1 image: anjia0532/google-samples.hello-app:1.0 ports: - containerPort: 8080 --- apiVersion: apps/v1 kind: Deployment metadata: name: hello-v2.0 spec: selector: matchLabels: app: v2.0 replicas: 3 template: metadata: labels: app: v2.0 spec: containers: - name: hello-v2 image: anjia0532/google-samples.hello-app:2.0 ports: - containerPort: 8080 --- apiVersion: v1 kind: Service metadata: name: service-v1 spec: selector: app: v1.0 ports: - port: 8081 targetPort: 8080 protocol: TCP --- apiVersion: v1 kind: Service metadata: name: service-v2 spec: selector: app: v2.0 ports: - port: 8081 targetPort: 8080 protocol: TCP
讓容器運行在 8080 上,service 運行在 8081 上。api
啓動兩個服務和對應的 Pod
# kubectl apply -f deployment.yaml deployment.apps/hello-v1.0 created deployment.apps/hello-v2.0 created service/service-v1 created service/service-v2 created
查看啓動狀況,每一個服務對應3個 Pod
# kubectl get pod,service -o wide NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES pod/hello-v1.0-6594bd8499-lt6nn 1/1 Running 0 37s 192.10.205.234 work01 <none> <none> pod/hello-v1.0-6594bd8499-q58cw 1/1 Running 0 37s 192.10.137.190 work03 <none> <none> pod/hello-v1.0-6594bd8499-zcmf4 1/1 Running 0 37s 192.10.137.189 work03 <none> <none> pod/hello-v2.0-6bd99fb9cd-9wr65 1/1 Running 0 37s 192.10.75.89 work02 <none> <none> pod/hello-v2.0-6bd99fb9cd-pnhr8 1/1 Running 0 37s 192.10.75.91 work02 <none> <none> pod/hello-v2.0-6bd99fb9cd-sx949 1/1 Running 0 37s 192.10.205.236 work01 <none> <none> NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE SELECTOR service/service-v1 ClusterIP 192.20.92.221 <none> 8081/TCP 37s app=v1.0 service/service-v2 ClusterIP 192.20.255.0 <none> 8081/TCP 36s app=v2.0
查看 Service 後端 Pod 掛載狀況
[root@master01 ~]# kubectl get ep service-v1 NAME ENDPOINTS AGE service-v1 192.10.137.189:8080,192.10.137.190:8080,192.10.205.234:8080 113s [root@master01 ~]# kubectl get ep service-v2 NAME ENDPOINTS AGE service-v2 192.10.205.236:8080,192.10.75.89:8080,192.10.75.91:8080 113s
能夠看到兩個服務均成功掛載了對應的 Pod。
下面部署前端 ingress-controller。
首先指定 work01/work02 兩臺服務器運行 ingress-controller
kubectl label nodes work01 ingress-ready=true kubectl label nodes work02 ingress-ready=true
ingress-controller 使用官方 nginx 版本
wget -O ingress-controller.yaml https://raw.githubusercontent.com/kubernetes/ingress-nginx/master/deploy/static/provider/kind/deploy.yaml
修改成啓動 2 個 ingress-controller
# vim ingress-controller.yaml apiVersion: apps/v1 kind: Deployment 。。。。。。 。。。。。。 revisionHistoryLimit: 10 replicas: 2 # 新增該行
修改成國內鏡像
# vim ingress-controller.yaml spec: dnsPolicy: ClusterFirst containers: - name: controller #image: us.gcr.io/k8s-artifacts-prod/ingress-nginx/controller:v0.34.1@sha256:0e072dddd1f7f8fc8909a2ca6f65e76c5f0d2fcfb8be47935ae3457e8bbceb20 image: registry.cn-hangzhou.aliyuncs.com/google_containers/nginx-ingress-controller:0.32.0 imagePullPolicy: IfNotPresent
部署 ingress-controller
kubectl apply -f ingress-controller.yaml
查看運行狀況
# kubectl get pod,service -n ingress-nginx -o wide NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES pod/ingress-nginx-admission-create-ld4nt 0/1 Completed 0 15m 192.10.137.188 work03 <none> <none> pod/ingress-nginx-admission-patch-p5jmd 0/1 Completed 1 15m 192.10.75.85 work02 <none> <none> pod/ingress-nginx-controller-75f89c4965-vxt4d 1/1 Running 0 15m 192.10.205.233 work01 <none> <none> pod/ingress-nginx-controller-75f89c4965-zmjg2 1/1 Running 0 15m 192.10.75.87 work02 <none> <none> NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE SELECTOR service/ingress-nginx-controller NodePort 192.20.105.10 192.168.10.17,192.168.10.17 80:30698/TCP,443:31303/TCP 15m app.kubernetes.io/component=controller,app.kubernetes.io/instance=ingress-nginx,app.kubernetes.io/name=ingress-nginx service/ingress-nginx-controller-admission ClusterIP 192.20.80.208 <none> 443/TCP 15m app.kubernetes.io/component=controller,app.kubernetes.io/instance=ingress-nginx,app.kubernetes.io/name=ingress-nginx
能夠看到 work01/02 上運行了 ingress-nginx-controller Pod。
編寫訪問請求轉發規則
# cat ingress.yaml apiVersion: networking.k8s.io/v1beta1 kind: Ingress metadata: name: nginx-ingress spec: rules: - host: test-v1.com http: paths: - path: / backend: serviceName: service-v1 servicePort: 8081 - host: test-v2.com http: paths: - path: / backend: serviceName: service-v2 servicePort: 8081
啓用規則
# kubectl apply -f ingress.yaml ingress.networking.k8s.io/nginx-ingress created
能夠看到 ingress-controller Pod 裏面 nginx 配置已經生效了
# kubectl exec ingress-nginx-controller-75f89c4965-vxt4d -n ingress-nginx -- cat /etc/nginx/nginx.conf | grep -A 30 test-v1.com server { server_name test-v1.com ; listen 80 ; listen 443 ssl http2 ; set $proxy_upstream_name "-"; ssl_certificate_by_lua_block { certificate.call() } location / { set $namespace "default"; set $ingress_name "nginx-ingress"; set $service_name "service-v1"; set $service_port "8081"; set $location_path "/";
咱們在集羣外部訪問測試。
首先解析域名到work01
# cat /etc/hosts 192.168.10.15 test-v1.com 192.168.10.15 test-v2.com
訪問測試
# curl test-v1.com Hello, world! Version: 1.0.0 Hostname: hello-v1.0-6594bd8499-svjnf # curl test-v1.com Hello, world! Version: 1.0.0 Hostname: hello-v1.0-6594bd8499-zqjtm # curl test-v1.com Hello, world! Version: 1.0.0 Hostname: hello-v1.0-6594bd8499-www76 # curl test-v2.com Hello, world! Version: 2.0.0 Hostname: hello-v2.0-6bd99fb9cd-h8862 # curl test-v2.com Hello, world! Version: 2.0.0 Hostname: hello-v2.0-6bd99fb9cd-sn84j
能夠看到不一樣域名的請求去到了正確的 Service 下面的不一樣 Pod 中。
再請求 work02
# cat /etc/hosts 192.168.10.16 test-v1.com 192.168.10.16 test-v2.com # curl test-v1.com Hello, world! Version: 1.0.0 Hostname: hello-v1.0-6594bd8499-www76 # curl test-v1.com Hello, world! Version: 1.0.0 Hostname: hello-v1.0-6594bd8499-zqjtm # curl test-v2.com Hello, world! Version: 2.0.0 Hostname: hello-v2.0-6bd99fb9cd-sn84j # curl test-v2.com Hello, world! Version: 2.0.0 Hostname: hello-v2.0-6bd99fb9cd-h8862
也沒問題。
如何高可用
在 work01 / work02 前面再掛2臺 LVS+keepalived 就能夠實現對 work01/02 的高可用訪問了。 也能夠在 work01 / work02 上直接使用 keepalived 漂一個VIP,不須要額外機器,這樣節約成本。
本文使用了 Deployment + NodePort Service 的方式部署 Ingress。
用 Deployment 管理 ingress-controller 的 Pod,使用 NodePort 方式暴露 ingress Service。
查看 ingress service
# kubectl get service -o wide -n ingress-nginx NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE SELECTOR ingress-nginx-controller NodePort 192.20.105.10 192.168.10.17,192.168.10.17 80:30698/TCP,443:31303/TCP 22m app.kubernetes.io/component=controller,app.kubernetes.io/instance=ingress-nginx,app.kubernetes.io/name=ingress-nginx
能夠看到對外暴露了 30698 端口,訪問任何節點的 30698 端口便可訪問到 v1/v2 版本的 Pod。
但該端口是隨機的,而且重建後會變化,咱們能夠直接訪問運行 ingress-controller Pod 的 work01/02 的 80 端口。
work01/02前面再弄一套 LVS+keepalived 進行高可用負載。
work01/02 上使用 iptables -t nat -L -n -v 能夠看到 80 端口是經過 NAT 模式開放的,高流量會有瓶頸。
能夠使用 DaemonSet + HostNetwork 的方式來部署 ingress-controller。
這樣 work01/02 上暴露的 80 端口直接使用宿主機的網絡,不走NAT映射,能夠避免性能問題。
微信公衆號:zuolinux_com