使用容器化塊存儲OpenEBS在K3s中實現持久化存儲

時間 2020-05-28

標籤使用容器存儲 openebs k3s 實現持久简体版

原文原文鏈接

做者簡介node

Giridhara Prasad，Mayadata Inc.首席工程師。在軟件測試自動化、混沌工程（chaos engineering）方面有豐富的經驗。目前，他正在研究開源混沌工程項目Litmus。git

原文連接：
https://openebs.io/blog/getting-started-with-k3s-in-vsphere-and-openebs-cstor/github

K3OS是一個Linux發行版，專爲輕量級Kubernetes發行版K3s打造的輕量操做系統。它爲K3s的順利運行專門設計了一些功能。在本文中，我將介紹安裝K3OS的步驟以及如何設置OpenEBS。OpenEBS是一個CNCF項目，是一款針對Kubernetes有狀態工做負載的開源容器化存儲解決方案。api

在vSphere中設置K3OS

K3OS的內核是從Ubuntu-18.04 LTS中fork出來的，它的用戶空間二進制文件來自alpine。所以在建立虛擬機時，須要選擇Ubuntu Linux（64位）做爲客戶操做系統。服務器

從Github上的release頁面下載最新的K3OS iso文件（撰寫文章時最新版本爲v0.9.0，目前已經更新到v0.10.1），將iso文件添加到虛擬機中，而後使用實時安裝選項啓動它，以下所示：網絡

選擇K3OS LiveCD & Install，並啓動操做系統。app

成功啓動以後，你將進入登陸提示。K3OS中的默認用戶是rancher，你無需密碼便可登陸該用戶。ssh

執行了實時安裝以後，你須要將操做系統安裝到磁盤並將機器配置爲server（master）或agent（worker）。這能夠經過運行命令sudo k3os install來執行。測試

選擇選項1，即Install to disk，以將K3OS安裝到磁盤。而且須要爲rancher用戶設置新密碼，以啓用與服務器的ssh通訊。spa

安裝到磁盤中

你須要選擇server或agent以在計算機中安裝相關組件。如今，咱們選擇server來部署K3s server組件。你能夠設置token或集羣密鑰，當須要將K3s agent加入server時可使用。

完成安裝以後，屏幕以下所示：

K3s server已經被成功配置。若是未配置DHCP，則須要使用connmanctl分配IP地址和其餘詳細的網絡信息，而後以rancher用戶身份登陸server，輸入在上一步中配置的密碼。經過執行如下命令，讓咱們找到綁定在eth0設備上的connman網絡服務：

sudo connmanctl services

執行以上命令以後，將會列出以下服務：

驗證服務後，你能夠經過如下命令分配IP地址、網絡掩碼、網關和DNS服務。

sudo connmanctl config <ethernet service> --ipv4 manual <IP Address> <Netmask> <gateway> --nameservers <DNS Address>

執行以上命令以後，能夠經過ifconfig命令，確保網絡是否已經配置正確。在完成網絡設置以後，重啓機器。

安裝K3s agent

在K3s術語中，Kubernetes worker被稱爲agent。將K3OS安裝到磁盤中時，你須要選擇選項2，agent，以在計算機中配置K3s agent。

選擇了Agent以後，你須要提供agent必須配置到的server的URL。K3s server的URL能夠經過如下方式生成。

https://<K3s Server IP Address>:6443

鍵入URL以後，你須要提供集羣密鑰，該密鑰在server安裝過程已經配置完成。在輸入完成以上內容以後，啓動agent部署。

開始配置網絡，方式與上述配置server網絡相同，而後重啓計算機。重啓以後，請按照如下步驟檢查server中的集羣狀態。

k3os-1374 [~]$ kubectl get nodes
NAME         STATUS   ROLES    AGE     VERSION
k3os-1374    Ready    master   10m    v1.17.2+k3s1
k3os-15360   Ready    <none>   10m    v1.17.2+k3s1
k3os-1091    Ready    <none>   10m    v1.17.2+k3s1

執行如下命令，檢查集羣組件是否已經配置成功，而且全部pod是否已經成功運行。

k3os-1374 [~]$ kubectl get pods -n kube-system
NAME                                      READY   STATUS      RESTARTS   AGE
helm-install-traefik-nmjvj                0/1     Completed   0          3d
svclb-traefik-gp9ff                       2/2     Running     1         2d23h
svclb-traefik-qgdlx                       2/2     Running     0         2d23h
local-path-provisioner-58fb86bdfd-wkdtm   1/1     Running     1         3d
metrics-server-6d684c7b5-mrxsr            1/1     Running     0         3d
svclb-traefik-c4v7l                       2/2     Running     0         3d
coredns-d798c9dd-td5tr                    1/1     Running     0         3d
traefik-6787cddb4b-n57jz                  1/1     Running     0         3d

安裝OpenEBS

OpenEBS是一個CNCF項目，能夠爲Kubernetes中部署的工做負載提供持久性塊存儲。除了Jiva和Local PV以外，cStor也是OpenEBS提供的存儲引擎之一。而根據這一issue（https://github.com/rancher/k3os/issues/151 ）經過在v0.9.0中添加了對udev的支持纔在K3OS中支持cStor。

k3os-1374 [~]$ kubectl apply -f openebs-operator-1.7.0.yaml 
namespace/openebs created
serviceaccount/openebs-maya-operator created
clusterrole.rbac.authorization.k8s.io/openebs-maya-operator created
clusterrolebinding.rbac.authorization.k8s.io/openebs-maya-operator created
deployment.apps/maya-apiserver created
service/maya-apiserver-service created
deployment.apps/openebs-provisioner created
deployment.apps/openebs-snapshot-operator created
configmap/openebs-ndm-config created
daemonset.apps/openebs-ndm created
deployment.apps/openebs-ndm-operator created
deployment.apps/openebs-admission-server created
deployment.apps/openebs-localpv-provisioner created

檢查是否全部的OpenEBS組件都成功運行。

k3os-1374 [~]$ kubectl get pods -n openebs
NAME                                           READY   STATUS    RESTARTS   AGE
openebs-admission-server-f67f77588-8kl78       1/1     Running   0          65s
openebs-provisioner-7b8c68bf44-7bjw8           1/1     Running   0          66s
openebs-ndm-qp26v                              1/1     Running   0          66s
openebs-ndm-84zb4                              1/1     Running   0          66s
openebs-ndm-dzghs                              1/1     Running   0          66s
openebs-localpv-provisioner-5c87bbd974-55486   1/1     Running   0          65s
openebs-ndm-operator-5fccfb7976-dvhj6          1/1     Running   0          66s
openebs-snapshot-operator-6c4c64d4bc-qxdwd     2/2     Running   0          66s
maya-apiserver-84785d7fbd-ck7sh                1/1     Running   0          66s

OpenEBS cStor引擎須要將外部磁盤鏈接到組成cStor池的agent上。磁盤或塊設備由稱爲節點磁盤管理器（簡稱爲NDM）的組件管理。將磁盤鏈接到agent計算機後，經過執行如下命令來檢查塊設備。

k3os-1374 [~]$ kubectl get blockdevices -n openebs
NAME                                           NODENAME     SIZE          CLAIMSTATE   STATUS   AGE
blockdevice-30a3eb18f5b9e2d470de45e39f1036b0   k3os-15360   17179869184   Unclaimed    Active   1h
blockdevice-86fc964305abe8970fc1508538a61dbc   k3os-1374    17179869184   Unclaimed    Active   1h
blockdevice-b8735721689d5843bca10e7028f60a4e   k3os-1091    17179869184   Unclaimed    Active   1h

在本例中，每一個K3s agent計算機上都已鏈接1個塊設備。讓咱們在spec.blockDevices下的池中建立manifest，而後建立池。

apiVersion: openebs.io/v1alpha1
kind: StoragePoolClaim
metadata:
  name: cstor-disk-pool
  annotations:
    cas.openebs.io/config: |
      - name: PoolResourceRequests
        value: |-
            memory: 2Gi
      - name: PoolResourceLimits
        value: |-
            memory: 4Gi
spec:
  name: cstor-disk-pool
  type: disk
  poolSpec:
    poolType: striped
  blockDevices:
    blockDeviceList:
    - blockdevice-30a3eb18f5b9e2d470de45e39f1036b0
    - blockdevice-86fc964305abe8970fc1508538a61dbc 
    - blockdevice-b8735721689d5843bca10e7028f60a4e

應用以上定義以後，經過執行如下命令檢查池是否建立成功。

k3os-1374 [~]$ kubectl get csp
NAME                   ALLOCATED   FREE    CAPACITY   STATUS    TYPE      AGE
cstor-disk-pool-rgy3   270K        15.9G   15.9G      Healthy   striped   2m3s
cstor-disk-pool-gij4   270K        15.9G   15.9G      Healthy   striped   2m2s
cstor-disk-pool-09l1   270K        15.9G   15.9G      Healthy   striped   2m2s

全部的池實例應該是健康的而且每一個實例運行一個pod，經過執行如下命令能夠找到pod：

k3os-1374 [~]$ kubectl get pods -n openebs -l app=cstor-pool
NAME                                    READY   STATUS    RESTARTS   AGE
cstor-disk-pool-rgy3-57f965b48c-srz2x   3/3     Running   0          8m33s
cstor-disk-pool-gij4-77bb4b8f44-s6k89   3/3     Running   0          8m33s
cstor-disk-pool-09l1-56d444996b-m698h   3/3     Running   0          8m33s

建立cStor池以後，咱們能夠開始建立volume。爲了可以說明清楚，咱們部署一個帶有cStor volume的busybox，做爲其持久性存儲。在建立池以前，咱們須要建立一個storage class，它會指定在上述步驟中建立的storagePoolClaim，具體以下所示：

apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
  name: openebs-cstor
  annotations:
    openebs.io/cas-type: cstor
    cas.openebs.io/config: |
      - name: StoragePoolClaim
        value: "cstor-disk-pool"
      - name: ReplicaCount
        value: "3"
provisioner: openebs.io/provisioner-iscsi

根據上述定義中的要求，填充storagePoolClaim和ReplicaCount並建立storage class。建立PVC時必須使用此類存儲。

kind: PersistentVolumeClaim
apiVersion: v1
metadata:
  name: openebs-pvc
spec:
  storageClassName: openebs-cstor
  accessModes:
    - ReadWriteOnce
  resources:
    requests:
      storage: 10Gi
---
apiVersion: v1
kind: Service
metadata:
  labels:
    name: busybox
  name: busybox
spec:
  clusterIP: None
  selector:
    app: busybox
---
apiVersion: apps/v1
kind: Deployment
metadata:
  name: busybox
  labels:
    app: busybox
spec:
  selector:
    matchLabels:
      app: busybox
  template:
    metadata:
      labels:
        app: busybox
    spec:
      containers:
      - name: app-busybox
        imagePullPolicy: IfNotPresent
        image: busybox
        command: ["/bin/sh"]
        args: ["-c", "while true; do sleep 10;done"]
        env:
        volumeMounts:
        - name: data-vol
          mountPath: /busybox
      volumes:
      - name: data-vol
        persistentVolumeClaim:
          claimName: openebs-pvc

在上述manifest中升級storage class以後，讓咱們經過應用以上定義來部署busybox應用程序。經過查看它們的狀態來檢查PVC是否在應用程序pod上成功建立和成功掛載。

k3os-1374 [~]$ kubectl get pvc
NAME          STATUS   VOLUME                                     CAPACITY   ACCESS MODES   STORAGECLASS    AGE
openebs-pvc   Bound    pvc-6cd2b30a-49ed-4605-b1e0-dd23c45e548d   10Gi       RWO            openebs-cstor   4m35s

k3os-1374 [~]$ kubectl get pods
NAME                       READY   STATUS    RESTARTS   AGE
busybox-748fb77c75-9lwzz   1/1     Running   0          4m42s

因爲咱們在storage class中將ReplicaCount指定爲3，所以須要建立3個volume副本，你能夠經過執行如下命令來找到它們。

k3os-1374 [~]$ kubectl get cvr -n openebs
NAME                                                            USED    ALLOCATED   STATUS    AGE
pvc-6cd2b30a-49ed-4605-b1e0-dd23c45e548d-cstor-disk-pool-09l1   7.95M   116K        Healthy   6m37s
pvc-6cd2b30a-49ed-4605-b1e0-dd23c45e548d-cstor-disk-pool-rgy3   7.95M   116K        Healthy   6m37s
pvc-6cd2b30a-49ed-4605-b1e0-dd23c45e548d-cstor-disk-pool-gij4   7.95M   116K        Healthy   6m37s

所以，可使用cStor引擎爲K3s中的工做負載提供持久卷。