k8s控制平面apiserver 部署高可用組件

時間 2019-12-14

標籤 k8s 控制平面 apiserver 部署可用組件简体版

原文原文鏈接

說明：本部署文章參照了 https://github.com/opsnull/follow-me-install-kubernetes-cluster ，歡迎給做者star

本文檔講解使用 keepalived 和 haproxy 實現 kube-apiserver 高可用的步驟：node

keepalived 提供 kube-apiserver 對外服務的 VIP；
haproxy 監聽 VIP，後端鏈接全部 kube-apiserver 實例，提供健康檢查和負載均衡功能；

運行 keepalived 和 haproxy 的節點稱爲 LB 節點。因爲 keepalived 是一主多備運行模式，故至少兩個 LB 節點。git

本文檔複用 master 節點的三臺機器，haproxy 監聽的端口(8443) 須要與 kube-apiserver 的端口 6443 不一樣，避免衝突。github

keepalived 在運行過程當中週期檢查本機的 haproxy 進程狀態，若是檢測到 haproxy 進程異常，則觸發從新選主的過程，VIP 將飄移到新選出來的主節點，從而實現 VIP 的高可用。後端

全部組件（如 kubeclt、apiserver、controller-manager、scheduler 等）都經過 VIP 和 haproxy 監聽的 8443 端口訪問 kube-apiserver 服務。api

1.安裝軟件包

source /opt/k8s/bin/environment.sh
for node_ip in 192.168.161.150 192.168.161.151 192.168.161.152
  do
    echo ">>> ${node_ip}"
    ssh root@${node_ip} "yum install -y keepalived haproxy"
  done

2.配置和下發 haproxy 配置文件

haproxy 配置文件：瀏覽器

cat > haproxy.cfg <<EOF
global
    log /dev/log    local0
    log /dev/log    local1 notice
    chroot /var/lib/haproxy
    stats socket /var/run/haproxy-admin.sock mode 660 level admin
    stats timeout 30s
    user haproxy
    group haproxy
    daemon
    nbproc 1

defaults
    log     global
    timeout connect 5000
    timeout client  10m
    timeout server  10m

listen  admin_stats
    bind 0.0.0.0:10080
    mode http
    log 127.0.0.1 local0 err
    stats refresh 30s
    stats uri /status
    stats realm welcome login\ Haproxy
    stats auth admin:123456
    stats hide-version
    stats admin if TRUE

listen kube-master
    bind 0.0.0.0:8443
    mode tcp
    option tcplog
    balance source
    server 192.168.161.150 192.168.161.150:6443 check inter 2000 fall 2 rise 2 weight 1
    server 192.168.161.151 192.168.161.151:6443 check inter 2000 fall 2 rise 2 weight 1
    server 192.168.161.152 192.168.161.152:6443 check inter 2000 fall 2 rise 2 weight 1
EOF

haproxy 在 10080 端口輸出 status 信息；
haproxy 監聽全部接口的 8443 端口，該端口與環境變量 ${KUBE_APISERVER} 指定的端口必須一致；
server 字段列出全部 kube-apiserver 監聽的 IP 和端口；

分發 haproxy.cfg 到全部 master 節點：負載均衡

source /opt/k8s/bin/environment.sh
for node_ip in 192.168.161.150 192.168.161.151 192.168.161.152
  do
    echo ">>> ${node_ip}"
    scp haproxy.cfg root@${node_ip}:/etc/haproxy
  done

3.啓動 haproxy 服務

source /opt/k8s/bin/environment.sh
for node_ip in 192.168.161.150 192.168.161.151 192.168.161.152
  do
    echo ">>> ${node_ip}"
    ssh root@${node_ip} "systemctl enable haproxy && systemctl restart haproxy"
  done

4.檢查 haproxy 服務狀態

source /opt/k8s/bin/environment.sh
for node_ip in 192.168.161.150 192.168.161.151 192.168.161.152
  do
    echo ">>> ${node_ip}"
    ssh root@${node_ip} "systemctl status haproxy|grep Active"
  done

確保狀態爲 active (running)，不然查看日誌，確認緣由：ssh

journalctl -u haproxy

檢查 haproxy 是否監聽 8443 端口：socket

source /opt/k8s/bin/environment.sh
for node_ip in 192.168.161.150 192.168.161.151 192.168.161.152
  do
    echo ">>> ${node_ip}"
    ssh root@${node_ip} "netstat -lnpt|grep haproxy"
  done

確保輸出相似於:tcp

>>> 192.168.161.150
tcp 0 0 0.0.0.0:8443 0.0.0.0:* LISTEN 7181/haproxy
tcp 0 0 0.0.0.0:10080 0.0.0.0:* LISTEN 7181/haproxy
>>> 192.168.161.151
tcp 0 0 0.0.0.0:8443 0.0.0.0:* LISTEN 16475/haproxy
tcp 0 0 0.0.0.0:10080 0.0.0.0:* LISTEN 16475/haproxy
>>> 192.168.161.152
tcp 0 0 0.0.0.0:8443 0.0.0.0:* LISTEN 7212/haproxy
tcp 0 0 0.0.0.0:10080 0.0.0.0:* LISTEN 7212/haproxy

配置和下發 keepalived 配置文件

keepalived 是一主（master）多備（backup）運行模式，故有兩種類型的配置文件。master 配置文件只有一份，backup 配置文件視節點數目而定，對於本文檔而言，規劃以下：

master: 192.168.161.150
backup：192.168.161.15一、192.168.161.152

master 配置文件：

source /opt/k8s/bin/environment.sh
cat  > keepalived-master.conf <<EOF
global_defs {
    router_id lb-master-105
}

vrrp_script check-haproxy {
    script "killall -0 haproxy"
    interval 5
    weight -30
}

vrrp_instance VI-kube-master {
    state MASTER
    priority 120
    dont_track_primary
    interface ${VIP_IF}
    virtual_router_id 68
    advert_int 3
    track_script {
        check-haproxy
    }
    virtual_ipaddress {
        ${MASTER_VIP}
    }
}
EOF

VIP 所在的接口（interface ${VIP_IF}）爲 eno16777736；
使用 killall -0 haproxy 命令檢查所在節點的 haproxy 進程是否正常。若是異常則將權重減小（-30）,從而觸發從新選主過程；
router_id、virtual_router_id 用於標識屬於該 HA 的 keepalived 實例，若是有多套 keepalived HA，則必須各不相同；

backup 配置文件：

source /opt/k8s/bin/environment.sh
cat  > keepalived-backup.conf <<EOF
global_defs {
    router_id lb-backup-105
}

vrrp_script check-haproxy {
    script "killall -0 haproxy"
    interval 5
    weight -30
}

vrrp_instance VI-kube-master {
    state BACKUP
    priority 110
    dont_track_primary
    interface ${VIP_IF}
    virtual_router_id 68
    advert_int 3
    track_script {
        check-haproxy
    }
    virtual_ipaddress {
        ${MASTER_VIP}
    }
}
EOF

VIP 所在的接口（interface ${VIP_IF}）爲 eno16777736；
使用 killall -0 haproxy 命令檢查所在節點的 haproxy 進程是否正常。若是異常則將權重減小（-30）,從而觸發從新選主過程；
router_id、virtual_router_id 用於標識屬於該 HA 的 keepalived 實例，若是有多套 keepalived HA，則必須各不相同；
priority 的值必須小於 master 的值；

下發 keepalived 配置文件

下發 master 配置文件：

scp keepalived-master.conf root@192.168.161.150:/etc/keepalived/keepalived.conf

下發 backup 配置文件：

scp keepalived-backup.conf root@192.168.161.151:/etc/keepalived/keepalived.conf
scp keepalived-backup.conf root@192.168.161.152:/etc/keepalived/keepalived.conf

啓動 keepalived 服務

source /opt/k8s/bin/environment.sh
for node_ip in 192.168.161.150 192.168.161.151 192.168.161.152
  do
    echo ">>> ${node_ip}"
    ssh root@${node_ip} "systemctl enable keepalived &&systemctl restart keepalived" 
done

檢查 keepalived 服務

source /opt/k8s/bin/environment.sh
for node_ip in 192.168.161.150 192.168.161.151 192.168.161.152
  do
    echo ">>> ${node_ip}"
    ssh root@${node_ip} "systemctl status keepalived|grep Active"
  done

確保狀態爲 active (running)，不然查看日誌，確認緣由：

journalctl -u keepalived

查看 VIP 所在的節點，確保能夠 ping 通 VIP：

source /opt/k8s/bin/environment.sh
for node_ip in 192.168.161.150 192.168.161.151 192.168.161.152
  do
    echo ">>> ${node_ip}"
    ssh ${node_ip} "/usr/sbin/ip addr show ${VIP_IF}"
    ssh ${node_ip} "ping -c 1 ${MASTER_VIP}"
  done