kubernetes系列教程（七）深刻玩轉pod調度

關於做者 劉海平（HappyLau ）雲計算高級顧問 目前在騰訊雲從事公有云相關工做，曾就任於酷狗，EasyStack，擁有多年公有云+私有云計算架構設計，運維，交付相關經驗，參與了酷狗，南方電網，國泰君安等大型私有云平臺建設，精通Linux，Kubernetes，OpenStack，Ceph等開源技術，在雲計算領域具備豐富實戰經驗，擁有RHCA/OpenStack/Linux授課經驗。

寫在前面

上一篇文章中kubernetes系列教程（六）kubernetes資源管理和服務質量初步介紹了kubernetes中的resource資源調度和服務質量Qos，介紹了kubernetes中如何定義pod的資源和資源調度，以及設置resource以後的優先級別Qos，接下來介紹kubernetes系列教程pod的調度機制。

1. Pod調度

1.1 pod調度概述

kubernets是容器編排引擎，其中最主要的一個功能是容器的調度，經過kube-scheduler實現容器的徹底自動化調度，調度週期分爲：調度週期Scheduling Cycle和綁定週期Binding Cycle，其中調度週期細分爲過濾filter和weight稱重，按照指定的調度策略將知足運行pod節點的node賽選出來，而後進行排序；綁定週期是通過kube-scheduler調度優選的pod後，由特定的node節點watch而後經過kubelet運行。

​

過濾階段包含預選Predicate和scoring排序，預選是篩選知足條件的node，排序是最知足條件的node打分並排序，預選的算法包含有：

• CheckNodeConditionPred 節點是否ready
• MemoryPressure 節點內存是否壓力大（內存是否足夠）
• DiskPressure 節點磁盤壓力是否大（空間是否足夠）
• PIDPressure 節點Pid是否有壓力（Pid進程是否足夠）
• GeneralPred 匹配pod.spec.hostname字段
• MatchNodeSelector 匹配pod.spec.nodeSelector標籤
• PodFitsResources 判斷resource定義的資源是否知足
• PodToleratesNodeTaints 能容忍的污點pod.spec.tolerations
• CheckNodeLabelPresence
• CheckServiceAffinity
• CheckVolumeBinding
• NoVolumeZoneConflict

過濾條件須要檢查node上知足的條件，能夠經過kubectl describe node node-id方式查看，以下圖：

優選調度算法有：

• least_requested 資源消耗最小的節點
• balanced_resource_allocation 各項資源消耗最均勻的節點
• node_prefer_avoid_pods 節點傾向
• taint_toleration 污點檢測，檢測有污點條件的node，得分越低
• selector_spreading 節點selector
• interpod_affinity pod親和力遍歷
• most_requested 資源消耗最大的節點
• node_label node標籤

1. 2 指定nodeName調度

nodeName是PodSpec中的一個字段，能夠經過pod.spec.nodeName指定將pod調度到某個具體的node節點上，該字段比較特殊通常都爲空，若是有設置nodeName字段，kube-scheduler會直接跳過調度，在特定節點上經過kubelet啓動pod。經過nodeName調度並不是是集羣的智能調度，經過指定調度的方式可能會存在資源不均勻的狀況，建議設置Guaranteed的Qos，防止資源不均時候Pod被驅逐evince。以下以建立一個pod運行在node-3上爲例：

1. 編寫yaml將pod指定在node-3節點上運行

[root@node-1 demo]# cat nginx-nodeName.yaml 
apiVersion: v1
kind: Pod
metadata:
  name: nginx-run-on-nodename
  annotations:
    kubernetes.io/description: "Running the Pod on specific nodeName"
spec:
  containers:
  - name: nginx-run-on-nodename
    image: nginx:latest
    ports:
    - name: http-80-port
      protocol: TCP
      containerPort: 80 
  nodeName: node-3       #經過nodeName指定將nginx-run-on-nodename運行在特定節點node-3上

2. 運行yaml配置使之生效

[root@node-1 demo]# kubectl apply -f nginx-nodeName.yaml 
pod/nginx-run-on-nodename created

3. 查看確認pod的運行狀況，已運行在node-3節點

[root@node-1 demo]# kubectl get pods nginx-run-on-nodename -o wide 
NAME                    READY   STATUS    RESTARTS   AGE     IP            NODE     NOMINATED NODE   READINESS GATES
nginx-run-on-nodename   1/1     Running   0          6m52s   10.244.2.15   node-3   <none>           <none>

1.2. 經過nodeSelector調度

nodeSelector是PodSpec中的一個字段，nodeSelector是最簡單實現將pod運行在特定node節點的實現方式，其經過指定key和value鍵值對的方式實現，須要node設置上匹配的Labels，節點調度的時候指定上特定的labels便可。以下以node-2添加一個app:web的labels，調度pod的時候經過nodeSelector選擇該labels：

1. 給node-2添加labels

[root@node-1 demo]# kubectl label node node-2 app=web
node/node-2 labeled

2. 查看校驗labels設置狀況，node-2增長多了一個app=web的labels

[root@node-1 demo]# kubectl get nodes --show-labels 
NAME     STATUS   ROLES    AGE   VERSION   LABELS
node-1   Ready    master   15d   v1.15.3   beta.kubernetes.io/arch=amd64,beta.kubernetes.io/os=linux,kubernetes.io/arch=amd64,kubernetes.io/hostname=node-1,kubernetes.io/os=linux,node-role.kubernetes.io/master=
node-2   Ready    <none>   15d   v1.15.3   app=web,beta.kubernetes.io/arch=amd64,beta.kubernetes.io/os=linux,kubernetes.io/arch=amd64,kubernetes.io/hostname=node-2,kubernetes.io/os=linux
node-3   Ready    <none>   15d   v1.15.3   beta.kubernetes.io/arch=amd64,beta.kubernetes.io/os=linux,kubernetes.io/arch=amd64,kubernetes.io/hostname=node-3,kubernetes.io/os=linux

3. 經過nodeSelector將pod調度到app=web所屬的labels

[root@node-1 demo]# cat nginx-nodeselector.yaml 
apiVersion: v1
kind: Pod
metadata:
  name: nginx-run-on-nodeselector
  annotations:
    kubernetes.io/description: "Running the Pod on specific node by nodeSelector"
spec:
  containers:
  - name: nginx-run-on-nodeselector
    image: nginx:latest
    ports:
    - name: http-80-port
      protocol: TCP
      containerPort: 80 
  nodeSelector:     #經過nodeSelector將pod調度到特定的labels
    app: web

4. 應用yaml文件生成pod

[root@node-1 demo]# kubectl apply -f nginx-nodeselector.yaml 
pod/nginx-run-on-nodeselector created

5. 檢查驗證pod的運行狀況，已經運行在node-2節點

[root@node-1 demo]# kubectl get pods nginx-run-on-nodeselector -o wide 
NAME                        READY   STATUS    RESTARTS   AGE   IP            NODE     NOMINATED NODE   READINESS GATES
nginx-run-on-nodeselector   1/1     Running   0          51s   10.244.1.24   node-2   <none>           <none>

系統默認預先定義有多種內置的labels，這些labels能夠標識node的屬性，如arch架構，操做系統類型，主機名等

• beta.kubernetes.io/arch=amd64
• beta.kubernetes.io/os=linux
• kubernetes.io/arch=amd64
• kubernetes.io/hostname=node-3
• kubernetes.io/os=linux

1.3 node Affinity and anti-affinity

affinity/anti-affinity和nodeSelector功能相相似，相比於nodeSelector，affinity的功能更加豐富，將來會取代nodeSelector，affinity增長了以下的一些功能加強：

• 表達式更加豐富，匹配方式支持多樣，如In,NotIn, Exists, DoesNotExist. Gt, and Lt；
• 可指定soft和preference規則，soft表示須要知足的條件，經過requiredDuringSchedulingIgnoredDuringExecution來設置，preference則是優選選擇條件，經過preferredDuringSchedulingIgnoredDuringExecution指定
• affinity提供兩種級別的親和和反親和：基於node的node affinity和基於pod的inter-pod affinity/anti-affinity，node affinity是經過node上的labels來實現親和力的調度，而pod affinity則是經過pod上的labels實現親和力的調度，二者做用的範圍有所不一樣。

下面經過一個例子來演示node affinity的使用，requiredDuringSchedulingIgnoredDuringExecution指定須要知足的條件，preferredDuringSchedulingIgnoredDuringExecution指定優選的條件，二者之間取與關係。

1. 查詢node節點的labels，默認包含有多個labels，如kubernetes.io/hostname

[root@node-1 ~]# kubectl get nodes --show-labels 
NAME  STATUS  ROLES AGE  VERSION  LABELS
node-1  Ready master  15d  v1.15.3  beta.kubernetes.io/arch=amd64,beta.kubernetes.io/os=linux,kubernetes.io/arch=amd64,kubernetes.io/hostname=node-1,kubernetes.io/os=linux,node-role.kubernetes.io/master=
node-2  Ready <none>  15d  v1.15.3  app=web,beta.kubernetes.io/arch=amd64,beta.kubernetes.io/os=linux,kubernetes.io/arch=amd64,kubernetes.io/hostname=node-2,kubernetes.io/os=linux
node-3  Ready <none>  15d  v1.15.3  beta.kubernetes.io/arch=amd64,beta.kubernetes.io/os=linux,kubernetes.io/arch=amd64,kubernetes.io/hostname=node-3,kubernetes.io/os=linux

2. 經過node affiinity實現調度，經過requiredDuringSchedulingIgnoredDuringExecution指定知足條件kubernetes.io/hostname爲node-2和node-3，經過preferredDuringSchedulingIgnoredDuringExecution優選條件需知足app=web的labels

[root@node-1 demo]# cat nginx-node-affinity.yaml 
apiVersion: v1
kind: Pod
metadata:
  name: nginx-run-node-affinity
  annotations:
    kubernetes.io/description: "Running the Pod on specific node by node affinity"
spec:
  containers:
  - name: nginx-run-node-affinity
    image: nginx:latest
    ports:
    - name: http-80-port
      protocol: TCP
      containerPort: 80 
  affinity:
    nodeAffinity:
      requiredDuringSchedulingIgnoredDuringExecution:
        nodeSelectorTerms:
        - matchExpressions:
          - key: kubernetes.io/hostname
            operator: In
            values:
            - node-1
            - node-2
            - node-3
      preferredDuringSchedulingIgnoredDuringExecution:
      - weight: 1
        preference:
          matchExpressions:
          - key: app
            operator: In
            values: ["web"]

3. 應用yaml文件生成pod

[root@node-1 demo]# kubectl apply -f nginx-node-affinity.yaml 
pod/nginx-run-node-affinity created

4. 確認pod所屬的node節點，知足require和 preferre條件的節點是node-2

[root@node-1 demo]# kubectl get pods --show-labels nginx-run-node-affinity -o wide 
NAME                      READY   STATUS    RESTARTS   AGE    IP            NODE     NOMINATED NODE   READINESS GATES   LABELS
nginx-run-node-affinity   1/1     Running   0          106s   10.244.1.25   node-2   <none>           <none>            <none>

寫在最後

本文介紹了kubernetes中的調度機制，默認建立pod是全自動調度機制，調度由kube-scheduler實現，調度過程分爲兩個階段調度階段（過濾和沉重排序）和綁定階段（在node上運行pod）。經過干預有四種方式：

1. 指定nodeName
2. 經過nodeSelector
3. 經過node affinity和anti-affinity
4. 經過pod affinity和anti-affinity

附錄

調度框架介紹：https://kubernetes.io/docs/concepts/configuration/scheduling-framework/

Pod調度方法：https://kubernetes.io/docs/concepts/configuration/assign-pod-node/

​

---

當你的才華撐不起你的野心時，你就應該靜下心來學習

返回kubernetes系列教程目錄

​