8. 老闆 不加薪，我用了 這篇 加了 3K

時間  2020-10-23
標籤 html nginx web docker shell json api 服務器 微信 網絡 欄目 HTML 简体版
原文   原文鏈接

在K8S中，容器自己是非持久化的，當容器崩潰後，kubelet將以鏡像的初始狀態從新啓動容器，可是此時以前容器的數據已經丟失，咱們該如何保護好容器的數據呢？html

在同一Pod中的容器每每須要共享一些數據，此時咱們又該如何實現呢？nginx

這個時候就須要存儲來解決這兩個問題。web

1、ConfigMap

undefined

ConfigMap功能在 Kubernetes1.2版本中引入，許多應用程序會從配置文件、命令行參數或環境變量中讀取配置信息。 ConfigMap API給咱們提供了向容器中注入配置信息的機制， ConfigMap能夠被用來保存單個屬性，也能夠用來保存整個配置文件或者 JSON二進制大對象。docker

1.1 ConfigMap 的建立

① 使用目錄建立shell

[root@master configmap]
apple=8.0
orange=3.5
[root@master configmap]
beef=55.0
pork=28.0

[root@master configmap]
configmap/shop-config created

[root@master configmap]
NAME          DATA   AGE
shop-config   2      8s

[root@master configmap]
[root@master configmap]

② 使用文件建立json

[root@master configmap]
tea=3.0
coffee=4.0

[root@master configmap]
configmap/drink-config created

[root@master configmap]

③ 使用字面值建立api

使用文字值建立，利用 --from-literal參數傳遞配置信息，該參數可使用屢次，格式以下：服務器

[root@master configmap]
configmap/snacks-config created

[root@master configmap]

1.2 使用 ConfigMap

使用 ConfigMap有三種方式，一種是經過環境變量的方式，直接傳遞 pod，另外一種是經過在 pod的命令行下運行的方式，第三種是使用 volume的方式掛載入到 pod內。微信

① 使用 ConfigMap 來替代環境變量網絡

[root@master configmap]
apiVersion: v1
kind: ConfigMap
metadata:
  name: animal-config
  namespace: default
data:
  cat: cute
  dog: lovely

[root@master configmap]
configmap/animal-config created

[root@master configmap]
apiVersion: v1
kind: Pod
metadata:
  name: use-configmap-pod
spec:
  containers:
    - name: test-container
      image: hub.hc.com/library/myapp:v1
      command: [ "/bin/sh", "-c", "env" ]
      env:
        - name: animal-config-cat
          valueFrom:
            configMapKeyRef:
              name: animal-config
              key: cat
        - name: animal-config-coffee
          valueFrom:
            configMapKeyRef:
              name: animal-config
              key: dog
      envFrom:
        - configMapRef:
            name: snacks-config
  restartPolicy: Never

[root@master configmap]
pod/use-configmap-pod created

[root@master configmap]

② 用 ConfigMap 設置命令行參數

apiVersion: v1
kind: Pod
metadata:
  name: use--configmap-pod2
spec:
  containers:
    - name: test-container
      image: hub.hc.com/library/myapp:v1
      command: [ "/bin/sh", "-c", "echo $(animal-config-cat) $(animal-config-dog)" ]
      env:
        - name: animal-config-cat
          valueFrom:
            configMapKeyRef:
              name: animal-config
              key: cat
        - name: animal-config-dog
          valueFrom:
            configMapKeyRef:
              name: animal-config
              key: dog
  restartPolicy: Never

③ 經過數據卷插件使用 ConfigMap

在數據卷裏面使用這個 ConfigMap，有不一樣的選項。最基本的就是將文件填入數據卷，在這個文件中，鍵就是文件名，鍵值就是文件內容。

apiVersion: v1
kind: Pod
metadata:
  name: use-configmap-pod3
spec:
  containers:
    - name: test-container
      image: hub.hc.com/library/myapp:v1
      command: [ "/bin/sh", "-c", "ls /etc/config" ]
      volumeMounts:
      - name: config-volume
        mountPath: /etc/config
  volumes:
    - name: config-volume
      configMap:
        name: animal-config
  restartPolicy: Never

1.3 ConfigMap 熱更新

[root@master configmap]
apiVersion: extensions/v1beta1
kind: Deployment
metadata:
  name: my-nginx
spec:
  replicas: 1
  template:
    metadata:
      labels:
        run: my-nginx
    spec:
      containers:
      - name: my-nginx
        image: hub.hc.com/library/myapp:v1
        ports:
        - containerPort: 80
        volumeMounts:
        - name: config-volume
          mountPath: /etc/config
      volumes:
        - name: config-volume
          configMap:
            name: snacks-config

[root@master configmap]
deployment.extensions/my-nginx created
[root@master configmap]
NAME                       READY   STATUS    RESTARTS   AGE
my-nginx-bc7499bd8-hrgl9   1/1     Running   0          2s

[root@master configmap]
6.9

[root@master configmap]

[root@master configmap]
8.8

2、Secret

Secret 解決了密碼、token、密鑰等敏感數據的配置問題，而不須要把這些敏感數據暴露到鏡像或者 Pod Spec中。Secret 能夠以 Volume 或者環境變量的方式使用

Secret有三種類型：

  • Service Account：用來訪問 Kubernetes API，由 Kubernetes自動建立，而且會自動掛載到 Pod的 /run/secrets/kubernetes.io/serviceaccount目錄中
  • Opaque： base64編碼格式的 Secert，用來存儲密碼、密鑰等
  • kubernetes.io/dockerconfigjson：用來存儲私有 docker registry的認證信息

2.1 Service Account

[root@master ~]

ca.crt	namespace  token

2.2 Opaque

Opaque類型的數據是一個 map類型，要求 value是 base64編碼格式：

[root@master ~]
YWRtaW4=
[root@master ~]
MWYyZDFlMmU2N2Rm

建立 Opaque類型的 secret:

[root@master secert]
apiVersion: v1
kind: Secret
metadata:
  name: mysecret
type: Opaque
data:
  username: YWRtaW4=
  password: MWYyZDFlMmU2N2Rm

[root@master secert]
secret/mysecret created
[root@master secert]
NAME                  TYPE                                  DATA   AGE
mysecret              Opaque                                2      93s

將 Secret 掛載到 Volume 中：

[root@master secert]
apiVersion: v1
kind: Pod
metadata:
  labels:
    name: secret-test
  name: secret-test
spec:
  volumes:
  - name: secrets
    secret:
      secretName: mysecret
  containers:
  - image: hub.hc.com/library/myapp:v1
    name: db
    volumeMounts:
    - name: secrets
      mountPath: /etc/config

[root@master secert]
pod/secret-test created
[root@master secert]
/

/etc/config
1f2d1e2e67df
admin

將 Secret 導出到環境變量中：

[root@master secert]
apiVersion: extensions/v1beta1
kind: Deployment
metadata:
  name: pod-deployment
spec:
  replicas: 2
  template:
    metadata:
      labels:
        app: pod-deployment
    spec:
      containers:
      - name: pod-1
        image: hub.hc.com/library/myapp:v1
        command: [ "/bin/sh", "-c", "env" ]
        ports:
        - containerPort: 80
        env:
        - name: TEST_USER
          valueFrom:
            secretKeyRef:
              name: mysecret
              key: username
        - name: TEST_PASSWORD
          valueFrom:
            secretKeyRef:
              name: mysecret
              key: password

[root@master secert]
deployment.extensions/pod-deployment created

2.3 kubernetes.io/dockerconfigjson

[root@master secert]
secret "myregistrykey" created

[root@master secert]
apiVersion: v1
kind: Pod
metadata:
  name: foo
spec:
  containers:
    - name: foo
      image: roc/awangyang:v1
  imagePullSecrets:
    - name: myregistrykey

undefined

3、Volume

容器磁盤上的文件的生命週期是短暫的，這就使得在容器中運行重要應用時會出現一些問題。首先，當容器崩潰時， kubelet會重啓它，可是容器中的文件將丟失，容器以乾淨的狀態（鏡像最初的狀態）從新啓動。其次，在 Pod中同時運行多個容器時，這些容器之間一般須要共享文件。 Kubernetes中的 Volume抽象就很好的解決了這些問題。

Kubernetes中的卷（ Volume）有明確的壽命，與封裝它的 Pod相同。所f以，卷的生命比 Pod中的全部容器都長，當這個容器重啓時數據仍然得以保存。固然，當 Pod再也不存在時，卷也將不復存在。 Kubernetes支持多種類型的卷， Pod能夠同時使用任意數量的卷。

3.1 emptyDir

當 Pod被分配給節點時，首先建立 emptyDir卷，而且只要該 Pod在該節點上運行，該卷就會存在。正如卷的名字所述，它最初是空的。 Pod中的容器能夠讀取和寫入 emptyDir卷中的相同文件，儘管該卷能夠掛載到每一個容器中的相同或不一樣路徑上。當出於任何緣由從節點中刪除 Pod時， emptyDir中的數據將被永久刪除。

emptyDir 的用法有：

  • 暫存空間，例如用於基於磁盤的合併排序
  • 用做長時間計算崩潰恢復時的檢查點
  • Web服務器容器提供數據時，保存內容管理器容器提取的文件
[root@master volume]
apiVersion: v1
kind: Pod
metadata:
  name: test-pd
spec:
  containers:
  - image: hub.hc.com/library/myapp:v1
    name: test-container
    volumeMounts:
    - mountPath: /cache
      name: cache-volume
  - image: busybox
    name: test-container2
    imagePullPolicy: IfNotPresent
    command: ['/bin/sh','-c','sleep 3600']
    volumeMounts:
    - mountPath: /test
      name: cache-volume
  volumes:
  - name: cache-volume
    emptyDir: {}

[root@master volume]

[root@master volume]
'NAME                      READY   STATUS    RESTARTS   AGE
test-pd                   2/2     Running   0          8m32s

[root@master volume]
/
/cache
/cache
Wed Aug 12 07:43:08 UTC 2020

[root@master ~]
/
/test
Wed Aug 12 07:43:08 UTC 2020

3.2 hostPath

hostPath卷將主機節點的文件系統中的文件或目錄掛載到集羣中

hostPath 的用途以下：

  • 運行須要訪問 Docker內部的容器；使用 /var/lib/docker的 hostPath
  • 在容器中運行 cAdvisor；使用 /dev/cgroups的 hostPath

除了所需的 path屬性以外，用戶還能夠爲 hostPath卷指定 type：

值行爲空空字符串（默認）用於向後兼容，這意味着在掛載 hostPath 卷以前不會執行任何檢查DirectoryOrCreate若是在給定的路徑上沒有任何東西存在，那麼將根據須要在那裏建立一個空目錄，權限設置爲0755，與Kubelet具備相同的組和全部權。Directory給定的路徑下必須存在目錄FileOrCreate若是在給定的路徑上沒有任何東西存在，那麼會根據須要建立一個空文件，權限設置爲0644，與Kubelet具備相同的組和全部權。File給定的路徑下必須存在文件Socket給定的路徑下必須存在UNIX套接字CharDevice給定的路徑下必須存在字符設備BlockDevice給定的路徑下必須存在塊設備

使用這種卷類型時請注意：

  • 因爲每一個節點上的文件都不一樣，具備相同配置（例如從 podTemplate建立的）的 pod在不一樣節點上的行爲可能會有所不一樣
  • 當 Kubernetes按照計劃添加資源感知調度時，將沒法考慮 hostPath使用的資源
  • 在底層主機上建立的文件或目錄只能由 root寫入。您須要在特權容器中以 root身份運行進程，或修改主機上的文件權限以便寫入 hostPath卷
[root@master volume]
apiVersion: v1
kind: Pod
metadata:
  name: test-pd
spec:
  containers:
  - image: hub.hc.com/library/myapp:v1
    name: test-container
    volumeMounts:
    - mountPath: /test-pd
      name: test-volume
  volumes:
  - name: test-volume
    hostPath:

      path: /data

      type: Directory

[root@master volume]
[root@master volume]
/
/test-pd

[root@worker1 data]

[root@worker2 data]
2020年 08月 12日 星期三 17:52:43 CST

4、PV-PVC

4.1 相關概念

① PersistentVolume（PV）
是由管理員設置的存儲，它是羣集的一部分。就像節點是集羣中的資源同樣， PV也是集羣中的資源。 PV是 Volume之類的卷插件，但具備獨立於使用 PV的 Pod的生命週期。此 API對象包含存儲實現的細節，即 NFS、 iSCSI或特定於雲供應商的存儲系統

② PersistentVolumeClaim（PVC）
是用戶存儲的請求，它與 Pod類似。 Pod消耗節點資源， PVC消耗 PV資源。 Pod能夠請求特定級別的資源（ CPU和內存）。聲明能夠請求特定的大小和訪問模式（例如，能夠以讀/寫一次或只讀屢次模式掛載）

③ 靜態 pv
集羣管理員建立一些 PV，它們帶有可供羣集用戶使用的實際存儲的細節。它們存在於 Kubernetes API中，可用於消費

④ 動態
當管理員建立的靜態 PV都不匹配用戶的 PersistentVolumeClaim時，集羣可能會嘗試動態地爲 PVC建立卷。此配置基於 StorageClasses： PVC必須請求 [存儲類]，而且管理員必須建立並配置該類才能進行動態建立。聲明該類爲""能夠有效地禁用其動態配置要啓用基於存儲級別的動態存儲配置，集羣管理員須要啓用 API server上的 DefaultStorageClass[准入控制器]。例如，經過確保 DefaultStorageClass位於 API server組件的 --admission-control標誌，使用逗號分隔的有序值列表中，能夠完成此操做

⑤ 綁定
master中的控制環路監視新的 PVC，尋找匹配的 PV（若是可能），並將它們綁定在一塊兒。若是爲新的 PVC動態調配 PV，則該環路將始終將該 PV綁定到 PVC。不然，用戶總會獲得他們所請求的存儲，可是容量可能超出要求的數量。一旦 PV 和 PVC綁定後， PersistentVolumeClaim綁定是排他性的，無論它們是如何綁定的。 PVC跟 PV綁定是一對一的映射

4.2 PV說明

PVC的保護
PVC保護的目的是確保由 pod正在使用的 PVC不會從系統中移除，由於若是被移除的話可能會致使數據丟失當啓用 PVC保護 alpha功能時，若是用戶刪除了一個 pod正在使用的 PVC，則該 PVC不會被當即刪除。 PVC的刪除將被推遲，直到 PVC再也不被任何 pod使用

PV演示代碼

apiVersion: v1
kind: PersistentVolumemeta
data:
  name: pv0003
spec:
  capacity:
    storage: 5Gi
  volumeMode: Filesystem
  accessModes:
    - ReadWriteOnce
  persistentVolumeReclaimPolicy: Recycle
  storageClassName: slow
  mountOptions:
    - hard
    - nfsvers=4.1
  nfs:
    path: /tmp
    server: 172.17.0.2

PV類型
PV類型以插件形式實現。 K8S目前支持如下插件類型：

PV訪問模式
PV能夠以資源提供者支持的任何方式掛載到主機上。以下表所示，供應商具備不一樣的功能，每一個 PV的訪問模式都將被設置爲該卷支持的特定模式。例如， NFS能夠支持多個讀/寫客戶端，但特定的 NFS PV可能以只讀方式導出到服務器上。每一個 PV都有一套本身的用來描述特定功能的訪問模式：

  • ReadWriteOnce：該卷能夠被單個節點以讀/寫模式掛載
  • ReadOnlyMany：該卷能夠被多個節點以只讀模式掛載
  • ReadWriteMany：該卷能夠被多個節點以讀/寫模式掛載

在命令行中，訪問模式縮寫爲

  • RWO： ReadWriteOnce
  • ROX： ReadOnlyMany
  • RWX： ReadWriteMany


回收策略

  • Retain（保留）——手動回收
  • Recycle（回收）——基本擦除（ rm -rf /thevolume/*）
  • Delete（刪除）——關聯的存儲資產（例如 AWS EBS、 GCE PD、 Azure Disk 和 OpenStack Cinder卷）將被刪除

當前，只有 NFS和 HostPath支持回收策略。 AWS EBS、 GCE PD、 Azure Disk和 Cinder卷支持刪除策略

狀態
卷能夠處於如下的某種狀態：

  • Available（可用）——一塊空閒資源尚未被任何聲明綁定
  • Bound（已綁定）——卷已經被聲明綁定
  • Released（已釋放）——聲明被刪除，可是資源還未被集羣從新聲明
  • Failed（失敗）——該卷的自動回收失敗

命令行會顯示綁定到 PV的 PVC的名稱

4.3 持久化演示說明 - NFS

① 安裝 NFS 服務器

[root@master ~]
[root@master ~]
[root@master ~]
/nfs *(rw,no_root_squash,no_all_squash,sync)
[root@master ~]

[root@worker1 ~]
[root@worker1 ~]
Export list for 192.168.182.100:
/nfs *
[root@worker1 ~]
[root@worker1 /]

② 部署 PV

[root@master pv]
apiVersion: v1
kind: PersistentVolume
metadata:
  name: nfs-pv1
spec:
  capacity:
    storage: 1Gi
  accessModes:
    - ReadWriteOnce
  persistentVolumeReclaimPolicy: Retain
  storageClassName: nfs
  nfs:
    path: /nfs
    server: 192.168.182.100
[root@master pv]
persistentvolume/nfs-pv1 created
[root@master pv]
NAME      CAPACITY   ACCESS MODES   RECLAIM POLICY   STATUS      CLAIM   STORAGECLASS   REASON   AGE
nfs-pv1   1Gi        RWO            Retain           Available           nfs                     5s

③ 建立服務並使用 PVC

[root@master /]
[root@master /]
[root@master /]
/nfs *(rw,no_root_squash,no_all_squash,sync)
/nfs2 *(rw,no_root_squash,no_all_squash,sync)
/nfs3 *(rw,no_root_squash,no_all_squash,sync)

[root@master pv]

[root@master pv]
apiVersion: v1
kind: PersistentVolume
metadata:
  name: nfs-pv1
spec:
  capacity:
    storage: 1Gi
  accessModes:
    - ReadWriteOnce
  persistentVolumeReclaimPolicy: Retain
  storageClassName: nfs
  nfs:
    path: /nfs
    server: 192.168.182.100
---
apiVersion: v1
kind: PersistentVolume
metadata:
  name: nfs-pv2
spec:
  capacity:
    storage: 5Gi
  accessModes:
    - ReadOnlyMany
  persistentVolumeReclaimPolicy: Retain
  storageClassName: nfs
  nfs:
    path: /nfs2
    server: 192.168.182.100
---
apiVersion: v1
kind: PersistentVolume
metadata:
  name: nfs-pv3
spec:
  capacity:
    storage: 1Gi
  accessModes:
    - ReadWriteOnce
  persistentVolumeReclaimPolicy: Retain
  storageClassName: slow
  nfs:
    path: /nfs3
    server: 192.168.182.100
[root@master pv]

NAME      CAPACITY   ACCESS MODES   RECLAIM POLICY   STATUS      CLAIM   STORAGECLASS   REASON   AGE
nfs-pv1   1Gi        RWO            Retain           Available           nfs                     23s
nfs-pv2   5Gi        ROX            Retain           Available           nfs                     23s
nfs-pv3   1Gi        RWX            Retain           Available           slow                     23s

[root@master pv]
apiVersion: v1
kind: Service
metadata:
  name: nginx
  labels:
    app: nginx
spec:
  ports:
  - port: 80
    name: web
  clusterIP: None
  selector:
    app: nginx
---
apiVersion: apps/v1
kind: StatefulSet
metadata:
  name: web
spec:
  selector:
    matchLabels:
      app: nginx
  serviceName: "nginx"
  replicas: 2
  template:
    metadata:
      labels:
        app: nginx
    spec:
      containers:
      - name: nginx
        image: hub.hc.com/library/myapp:v1
        ports:
        - containerPort: 80
          name: web
        volumeMounts:
        - name: www
          mountPath: /usr/share/nginx/html
  volumeClaimTemplates:
  - metadata:
      name: www
    spec:
      accessModes: ["ReadWriteOnce"]
      storageClassName: "nfs"
      resources:
        requests:
          storage: 1Gi

[root@master pv]
NAME                      READY   STATUS    RESTARTS   AGE
web-0                     1/1     Running   0          7s
web-1                     0/1     Pending   0          5s

[root@master pv]
NAME      CAPACITY   ACCESS MODES   RECLAIM POLICY   STATUS      CLAIM               STORAGECLASS   REASON   AGE
nfs-pv1   1Gi        RWO            Retain           Bound       default/www-web-0   nfs                     4m40s
nfs-pv2   5Gi        ROX            Retain           Available                       nfs                     4m40s
nfs-pv3   1Gi        RWO            Retain           Bound       default/www-web-1   nfs                     4m40s
[root@master pv]
NAME                      READY   STATUS    RESTARTS   AGE   IP            NODE      NOMINATED NODE   READINESS GATES
web-0                     1/1     Running   0          15m   10.244.2.84   worker2   <none>           <none>
web-1                     1/1     Running   0          15m   10.244.1.58   worker1   <none>           <none>

[root@master pv]
Hello PV
[root@master pv]
Hello PV
[root@master pv]
pod "web-0" deleted
[root@master pv]
NAME                      READY   STATUS    RESTARTS   AGE   IP            NODE      NOMINATED NODE   READINESS GATES
web-0                     1/1     Running   0          3s    10.244.2.85   worker2   <none>           <none>
web-1                     1/1     Running   0          18m   10.244.1.58   worker1   <none>           <none>

[root@master pv]
Hello PV

4.4 關於 StatefulSet

  • 匹配 Pod name ( 網絡標識 ) 的模式爲： $(statefulset&#x540D;&#x79F0;)-$(&#x5E8F;&#x53F7;)，好比上面的示例： web-0、 web-1
  • StatefulSet爲每一個 Pod副本建立了一個 DNS域名，這個域名的格式爲： $(podname).(headless servername)，也就意味着服務間是經過 Pod域名來通訊而非 Pod IP，由於當 Pod所在 Node發生故障時， Pod會被飄移到其它 Node上， Pod IP會發生變化，可是 Pod域名不會有變化
  • StatefulSet使用 Headless服務來控制 Pod的域名，這個域名的 FQDN爲： $(servicename).$(namespace).svc.cluster.local，其中， cluster.local指的是集羣的域名
  • 根據 volumeClaimTemplates，爲每一個 Pod建立一個 pvc， pvc的命名規則匹配模式： (volumeClaimTemplates.name)-(pod_name)，好比上面的 volumeMounts.name=www， Podname=web-[0-2]，所以建立出來的 PVC是 www-web-0、 www-web-1
  • 刪除 Pod不會刪除其 pvc，手動刪除 pvc將自動釋放 pv

Statefulset 的啓停順序：

  • 有序部署：部署 StatefulSet時，若是有多個 Pod副本，它們會被順序地建立（從 0到 N-1）而且，在下一個 Pod運行以前全部以前的 Pod必須都是 Running和 Ready狀態
  • 有序刪除：當 Pod被刪除時，它們被終止的順序是從 N-1到 0
  • 有序擴展：當對 Pod執行擴展操做時，與部署同樣，它前面的 Pod必須都處於 Running和 Ready狀態

StatefulSet 使用場景：

  • 穩定的持久化存儲，即Pod從新調度後仍是能訪問到相同的持久化數據，基於 PVC來實現
  • 穩定的網絡標識符，即 Pod從新調度後其 PodName和 HostName不變
  • 有序部署，有序擴展，基於 init containers來實現
  • 有序收縮

微信搜一搜 : 全棧小劉 ，獲取文章 pdf 版本

相關文章
相關標籤/搜索
每日一句
    每一个你不满意的现在，都有一个你没有努力的曾经。
本站公眾號
   歡迎關注本站公眾號,獲取更多信息
聯繫我們 最近搜索 最新文章 沪ICP备13005482号-10 MyBatis教程 SQL 教程 MySQL教程 Java 教程 Thymeleaf 教程 Hibernate教程 Spring教程 Redis教程