使用 tke-autoscaling-placeholder 實現秒級彈性伸縮

背景

當 TKE 集羣配置了節點池並啓用了彈性伸縮，在節點資源不夠時能夠觸發節點的自動擴容 (自動買機器並加入集羣)，但這個擴容流程須要必定的時間才能完成，在一些流量突高的場景，這個擴容速度可能會顯得太慢，影響業務。 tke-autoscaling-placeholder 能夠用於在 TKE 上實現秒級伸縮，應對這種流量突高的場景。

原理是什麼?

tke-autoscaling-placeholder 實際就是利用低優先級的 Pod 對資源進行提早佔位(帶 request 的 pause 容器，實際不怎麼消耗資源)，爲一些可能會出現流量突高的高優先級業務預留部分資源做爲緩衝，當須要擴容 Pod 時，高優先級的 Pod 就能夠快速搶佔低優先級 Pod 的資源進行調度，而低優先級的 tke-autoscaling-placeholder 的 Pod 則會被 "擠走"，狀態變成 Pending，若是配置了節點池並啓用彈性伸縮，就會觸發節點的擴容。這樣，因爲有了一些資源做爲緩衝，即便節點擴容慢，也能保證一些 Pod 可以快速擴容並調度上，實現秒級伸縮。要調整預留的緩衝資源多少，可根據實際需求調整 tke-autoscaling-placeholder的 request 或副本數。

有什麼使用限制?

使用該應用要求集羣版本在 1.18 以上。

如何使用?

安裝 tke-autoscaling-placeholder

在應用市場找到 tke-autoscaling-placeholder，點擊進入應用詳情，再點 建立應用:

選擇要部署的集羣 id 與 namespace，應用的配置參數中最重要的是 replicaCount 與 resources.request，分別表示 tke-autoscaling-placeholder 的副本數與每一個副本佔位的資源大小，它們共同決定緩衝資源的大小，能夠根據流量突高須要的額外資源量來估算進行設置。

最後點擊建立，你能夠查看這些進行資源佔位的 Pod 是否啓動成功:

$ kubectl get pod -n default
tke-autoscaling-placeholder-b58fd9d5d-2p6ww   1/1     Running   0          8s
tke-autoscaling-placeholder-b58fd9d5d-55jw7   1/1     Running   0          8s
tke-autoscaling-placeholder-b58fd9d5d-6rq9r   1/1     Running   0          8s
tke-autoscaling-placeholder-b58fd9d5d-7c95t   1/1     Running   0          8s
tke-autoscaling-placeholder-b58fd9d5d-bfg8r   1/1     Running   0          8s
tke-autoscaling-placeholder-b58fd9d5d-cfqt6   1/1     Running   0          8s
tke-autoscaling-placeholder-b58fd9d5d-gmfmr   1/1     Running   0          8s
tke-autoscaling-placeholder-b58fd9d5d-grwlh   1/1     Running   0          8s
tke-autoscaling-placeholder-b58fd9d5d-ph7vl   1/1     Running   0          8s
tke-autoscaling-placeholder-b58fd9d5d-xmrmv   1/1     Running   0          8s

tke-autoscaling-placeholder 的完整配置參考下面的表格:

參數	描述	默認值
replicaCount	placeholder 的副本數	10
image	placeholder 的鏡像地址	ccr.ccs.tencentyun.com/library/pause:latest
resources.requests.cpu	單個 placeholder 副本佔位的 cpu 資源大小	300m
resources.requests.memory	單個 placeholder 副本佔位的內存大小	600Mi
lowPriorityClass.create	是否建立低優先級的 PriorityClass (用於被 placeholder 引用)	true
lowPriorityClass.name	低優先級的 PriorityClass 的名稱	low-priority
nodeSelector	指定 placeholder 被調度到帶有特定 label 的節點	{}
tolerations	指定 placeholder 要容忍的污點	[]
affinity	指定 placeholder 的親和性配置	{}

部署高優先級 Pod

tke-autoscaling-placeholder 的優先級很低，咱們的業務 Pod 能夠指定一個高優先的 PriorityClass，方便搶佔資源實現快速擴容，若是沒有能夠先建立一個:

apiVersion: scheduling.k8s.io/v1
kind: PriorityClass
metadata:
  name: high-priority
value: 1000000
globalDefault: false
description: "high priority class"

在咱們的業務 Pod 中指定 priorityClassName 爲高優先的 PriorityClass:

apiVersion: apps/v1
kind: Deployment
metadata:
  name: nginx
spec:
  replicas: 8
  selector:
    matchLabels:
      app: nginx
  template:
    metadata:
      labels:
        app: nginx
    spec:
      priorityClassName: high-priority # 這裏指定高優先的 PriorityClass
      containers:
      - name: nginx
        image: nginx
        resources:
          requests:
            cpu: 400m
            memory: 800Mi

當集羣節點資源不夠，擴容出來的高優先級業務 Pod 就能夠將低優先級的 tke-autoscaling-placeholder 的 Pod 資源搶佔過來並調度上，而後 tke-autoscaling-placeholder 的 Pod 再 Pending:

$ kubectl get pod -n default
NAME                                          READY   STATUS    RESTARTS   AGE
nginx-bf79bbc8b-5kxcw                         1/1     Running   0          23s