k8s控制平面 scheduler部署

說明：本部署文章參照了 https://github.com/opsnull/follow-me-install-kubernetes-cluster ，歡迎給做者star

本文檔介紹部署高可用 kube-scheduler 集羣的步驟。

該集羣包含 3 個節點，啓動後將經過競爭選舉機制產生一個 leader 節點，其它節點爲阻塞狀態。當 leader 節點不可用後，剩餘節點將再次進行選舉產生新的 leader 節點，從而保證服務的可用性。

爲保證通訊安全，本文檔先生成 x509 證書和私鑰，kube-scheduler 在以下兩種狀況下使用該證書：

1. 與 kube-apiserver 的安全端口通訊;
2. 在安全端口(https，10251) 輸出 prometheus 格式的 metrics；

建立 kube-scheduler 證書和私鑰

建立證書籤名請求：

cd /opt/k8s/work/

cat > kube-scheduler-csr.json <<EOF
{
    "CN": "system:kube-scheduler",
    "hosts": [
      "127.0.0.1",
      "192.168.161.150",
      "192.168.161.151",
      "192.168.161.152"
    ],
    "key": {
        "algo": "rsa",
        "size": 2048
    },
    "names": [
      {
        "C": "CN",
        "ST": "BeiJing",
        "L": "BeiJing",
        "O": "system:kube-scheduler",
        "OU": "4Paradigm"
      }
    ]
}
EOF

• hosts 列表包含全部 kube-scheduler 節點 IP；
• CN 爲 system:kube-scheduler、O 爲 system:kube-scheduler，kubernetes 內置的 ClusterRoleBindings system:kube-scheduler 將賦予 kube-scheduler 工做所需的權限。

生成證書和私鑰：

cfssl gencert -ca=/etc/kubernetes/cert/ca.pem \
  -ca-key=/etc/kubernetes/cert/ca-key.pem \
  -config=/etc/kubernetes/cert/ca-config.json \
  -profile=kubernetes kube-scheduler-csr.json | cfssljson -bare kube-scheduler

建立和分發 kubeconfig 文件

kubeconfig 文件包含訪問 apiserver 的全部信息，如 apiserver 地址、CA 證書和自身使用的證書:

cd /opt/k8s/work
source /opt/k8s/bin/environment.sh
kubectl config set-cluster kubernetes \
  --certificate-authority=/opt/k8s/work/ca.pem \
  --embed-certs=true \
  --server=${KUBE_APISERVER} \
  --kubeconfig=kube-scheduler.kubeconfig

kubectl config set-credentials system:kube-scheduler \
  --client-certificate=kube-scheduler.pem \
  --client-key=kube-scheduler-key.pem \
  --embed-certs=true \
  --kubeconfig=kube-scheduler.kubeconfig

kubectl config set-context system:kube-scheduler \
  --cluster=kubernetes \
  --user=system:kube-scheduler \
  --kubeconfig=kube-scheduler.kubeconfig

kubectl config use-context system:kube-scheduler --kubeconfig=kube-scheduler.kubeconfig

 

• 上一步建立的證書、私鑰以及 kube-apiserver 地址被寫入到 kubeconfig 文件中；

分發 kubeconfig 到全部 master 節點：

source /opt/k8s/bin/environment.sh
for node_ip in 192.168.161.150 192.168.161.151 192.168.161.152
  do
    echo ">>> ${node_ip}"
    scp kube-scheduler.kubeconfig root@${node_ip}:/etc/kubernetes/
  done

 

建立 kube-scheduler 配置文件

cat <<EOF | sudo tee kube-scheduler.yaml
apiVersion: kubescheduler.config.k8s.io/v1alpha1
kind: KubeSchedulerConfiguration
clientConnection:
  kubeconfig: "/etc/kubernetes/kube-scheduler.kubeconfig"
leaderElection:
  leaderElect: true
EOF

 

• --kubeconfig：指定 kubeconfig 文件路徑，kube-scheduler 使用它鏈接和驗證 kube-apiserver；
• --leader-elect=true：集羣運行模式，啓用選舉功能；被選爲 leader 的節點負責處理工做，其它節點爲阻塞狀態；
• componentconfig/v1alpha1 has been deprecated since 1.9 is not supported in 1.13 :https://github.com/kelseyhightower/kubernetes-the-hard-way/issues/427

分發 kube-scheduler 配置文件到全部 master 節點：

cd /opt/k8s/work
source /opt/k8s/bin/environment.sh
for node_ip in 192.168.161.150 192.168.161.151 192.168.161.152
  do
    echo ">>> ${node_ip}"
    scp kube-scheduler.yaml root@${node_ip}:/etc/kubernetes/
  done

 

建立和分發 kube-scheduler systemd unit 文件

cd /opt/k8s/work
cat > kube-scheduler.service <<EOF
[Unit]
Description=Kubernetes Scheduler
Documentation=https://github.com/GoogleCloudPlatform/kubernetes

[Service]
WorkingDirectory=${K8S_DIR}/kube-scheduler
ExecStart=/opt/k8s/bin/kube-scheduler \\
  --config=/etc/kubernetes/kube-scheduler.yaml \\
  --address=127.0.0.1 \\
  --kube-api-qps=100 \\
  --logtostderr=true \\
  --v=2
Restart=always
RestartSec=5
StartLimitInterval=0

[Install]
WantedBy=multi-user.target
EOF

 

• --address：在 127.0.0.1:10251 端口接收 http /metrics 請求；kube-scheduler 目前還不支持接收 https 請求；
• --kubeconfig：指定 kubeconfig 文件路徑，kube-scheduler 使用它鏈接和驗證 kube-apiserver；
• --leader-elect=true：集羣運行模式，啓用選舉功能；被選爲 leader 的節點負責處理工做，其它節點爲阻塞狀態；
• User=k8s：使用 k8s 帳戶運行；

完整 unit 見 kube-scheduler.service。

分發 systemd unit 文件到全部 master 節點：

source /opt/k8s/bin/environment.sh
for node_ip in 192.168.161.150 192.168.161.151 192.168.161.152
  do
    echo ">>> ${node_ip}"
    scp kube-scheduler.service root@${node_ip}:/etc/systemd/system/
  done

啓動 kube-scheduler 服務

source /opt/k8s/bin/environment.sh
for node_ip in 192.168.161.150 192.168.161.151 192.168.161.152
  do
    echo ">>> ${node_ip}"
    ssh root@${node_ip} "mkdir -p ${K8S_DIR}/kube-scheduler"
    ssh root@${node_ip} "systemctl daemon-reload && systemctl enable kube-scheduler && systemctl restart kube-scheduler"
  done

• 必須先建立日誌目錄；

檢查服務運行狀態

source /opt/k8s/bin/environment.sh
for node_ip in 192.168.161.150 192.168.161.151 192.168.161.152
  do
    echo ">>> ${node_ip}"
    ssh root@${node_ip} "systemctl status kube-scheduler|grep Active"
  done

 

確保狀態爲 active (running)，不然查看日誌，確認緣由：

journalctl -u kube-scheduler

查看輸出的 metric

注意：如下命令在 kube-scheduler 節點上執行。

kube-scheduler 監聽 10251 端口，接收 http 請求：

[root@k8s-master1 ~]# sudo netstat -lnpt|grep kube-sche
tcp6       0      0 :::10251                :::*                    LISTEN      5934/kube-scheduler 
tcp6       0      0 :::10259                :::*                    LISTEN      5934/kube-scheduler 

• --secure-port int默認值：10259 經過身份驗證和受權爲HTTPS提供服務的端口。若是爲0，則根本不提供HTTPS。
• --port int默認值：10251DEPRECATED：不安全地提供HTTP服務的端口，無需身份驗證和受權。若是爲0，則根本不提供HTTPS。請參閱--secure-port。
• https://kubernetes.io/docs/reference/command-line-tools-reference/kube-scheduler/

[root@k8s-master1 work]# curl -s http://127.0.0.1:10251/metrics |head
# HELP apiserver_audit_event_total Counter of audit events generated and sent to the audit backend.
# TYPE apiserver_audit_event_total counter
apiserver_audit_event_total 0
# HELP apiserver_client_certificate_expiration_seconds Distribution of the remaining lifetime on the certificate used to authenticate a request.
# TYPE apiserver_client_certificate_expiration_seconds histogram
apiserver_client_certificate_expiration_seconds_bucket{le="0"} 0
apiserver_client_certificate_expiration_seconds_bucket{le="21600"} 0
apiserver_client_certificate_expiration_seconds_bucket{le="43200"} 0
apiserver_client_certificate_expiration_seconds_bucket{le="86400"} 0
apiserver_client_certificate_expiration_seconds_bucket{le="172800"} 0

 

測試 kube-scheduler 集羣的高可用

隨便找一個或兩個 master 節點，停掉 kube-scheduler 服務，看其它節點是否獲取了 leader 權限（systemd 日誌）。

查看當前的 leader

可見，當前的 leader 爲從k8s-master1切換到了k8s-master2。