kunbernetes存儲系統-基於NFS的PV服務

kunbernetes存儲系統-基於NFS的PV服務

• Kubernetes-NFS Server的Helm部署，http://www.javashuo.com/article/p-yubpkszi-mq.html

1、NFS介紹

NFS是Network File System的簡寫，即網絡文件系統，NFS是FreeBSD支持的文件系統中的一種。NFS基於RPC(Remote Procedure Call)遠程過程調用實現，其容許一個系統在網絡上與它人共享目錄和文件。經過使用NFS，用戶和程序就能夠像訪問本地文件同樣訪問遠端系統上的文件。NFS是一個很是穩定的，可移植的網絡文件系統。具有可擴展和高性能等特性，達到了企業級應用質量標準。因爲網絡速度的增長和延遲的下降，NFS系統一直是經過網絡提供文件系統服務的有競爭力的選擇 。

1.1 nfs原理

NFS 使用RPC(Remote Procedure Call)的機制進行實現，RPC使得客戶端能夠調用服務端的函數。同時，因爲有 VFS 的存在，客戶端能夠像使用其它普通文件系統同樣使用 NFS 文件系統。經由操做系統的內核，將 NFS 文件系統的調用請求經過 TCP/IP 發送至服務端的 NFS 服務。NFS服務器執行相關的操做，並將操做結果返回給客戶端。

NFS服務主要進程包括：

• rpc.nfsd：最主要的NFS進程，管理客戶端是否可登陸
• rpc.mountd：掛載和卸載NFS文件系統，包括權限管理
• rpc.lockd：非必要，管理文件鎖，避免同時寫出錯
• rpc.statd：非必要，檢查文件一致性，可修復文件

nfs的關鍵工具包括：

• 主要配置文件：/etc/exports；
• NFS文件系統維護命令：/usr/bin/exportfs；
• 共享資源的日誌文件： /var/lib/nfs/*tab；
• 客戶端查詢共享資源命令： /usr/sbin/showmount；
• 端口配置： /etc/sysconfig/nfs。

1.2 共享配置

在NFS服務器端的主要配置文件爲/etc/exports時，經過此配置文件能夠設置共享文件目錄。每條配置記錄由NFS共享目錄、NFS客戶端地址和參數這3部分組成，格式以下：

[NFS共享目錄] [NFS客戶端地址1(參數1,參數2,參數3……)] [客戶端地址2(參數1,參數2,參數3……)]

• NFS共享目錄：服務器上共享出去的文件目錄；
• NFS客戶端地址：容許其訪問的NFS服務器的客戶端地址，能夠是客戶端IP地址，也能夠是一個網段(192.168.64.0/24)；
• 訪問參數：括號中逗號分隔項，主要是一些權限選項。

1）訪問權限參數

序號	選項	描述
1	ro	客戶端對於共享文件目錄爲只讀權限。（默認設置）
2	rw	客戶端對共享文件目錄具備讀寫權限。

2）用戶映射參數

序號	選項	描述
1	root_squash	使客戶端使用root帳戶訪問時，服務器映射爲服務器本地的匿名帳號。
2	no_root_squash	客戶端鏈接服務端時若是使用的是root的話，那麼也擁有對服務端分享的目錄的root權限。
3	all_squash	將全部客戶端用戶請求映射到匿名用戶或用戶組（nfsnobody）。
4	no_all_squash	與上相反（默認設置）。
5	anonuid=xxx	將遠程訪問的全部用戶都映射爲匿名用戶，並指定該用戶爲本地用戶（UID=xxx）。
6	anongid=xxx	將遠程訪問的全部用戶組都映射爲匿名用戶組帳戶，並指定該匿名用戶組帳戶爲本地用戶組帳戶（GID=xxx）。

3）其它配置參數

序號	選項	描述
1	sync	同步寫操做，數據寫入存儲設備後返回成功信息。（默認設置）
2	async	異步寫操做，數據在未徹底寫入存儲設備前就返回成功信息，實際還在內存。
3	wdelay	延遲寫入選項，將多個寫操請求合併後寫入硬盤，減小I/O次數，NFS非正常關閉數據可能丟失（默認設置）。
4	no_wdelay	與上相反，不與async同時生效，若是NFS服務器主要收到小且不相關的請求，該選項實際會下降性能。
5	subtree	若輸出目錄是一個子目錄，則nfs服務器將檢查其父目錄的權限(默認設置)；
6	no_subtree	即便輸出目錄是一個子目錄，nfs服務器也不檢查其父目錄的權限，這樣能夠提升效率
7	secure	限制客戶端只能從小於1024的tcp/ip端口鏈接nfs服務器（默認設置）。
8	insecure	容許客戶端從大於1024的tcp/ip端口鏈接服務器。

 

2、nfs服務端配置

在nfs做爲網絡文件存儲系統前，首先，須要安裝nfs和rpcbind服務；接着，須要建立使用共享目錄的用戶；而後，須要對共享目錄進行配置，這是其中相對重要和複雜的一個步驟；最後，須要啓動rpcbind和nfs服務，以供應用使用。

2.1 安裝nfs服務

1）經過yum目錄安裝nfs服務和rpcbind服務：

$ yum -y install nfs-utils rpcbind

2）檢查nfs服務是否正常安裝

$ rpcinfo -p localhost

2.2 建立用戶

爲NFS服務其添加用戶，並建立共享目錄，以及設置用戶設置共享目錄的訪問權限：

$ useradd -u nfs

$ mkdir -p /nfs-share 
$ chmod a+w /nfs-share

2.3 配置共享目錄

在nfs服務器中爲客戶端配置共享目錄：

$ echo "/nfs-share 172.16.0.0(rw,async,no_root_squash)" >> /etc/exports

經過執行以下命令是配置生效：

$exportfs -r

2.4 啓動服務

1）因爲必須先啓動rpcbind服務，再啓動nfs服務，這樣才能讓nfs服務在rpcbind服務上註冊成功：

$ systemctl start rpcbind

2）啓動nfs服務：

$ systemctl start nfs-server

3）設置rpcbind和nfs-server開機啓動：

$ systemctl enable rpcbind

$ systemctl enable nfs-server

2.5 檢查nfs服務是否正常啓動

$ showmount -e localhost

$ mount -t nfs 127.0.0.1:/data /mnt

3、nfs做爲volume

nfs能夠直接做爲存儲卷使用，下面是一個redis部署的YAML配置文件。在此示例中，redis在容器中的持久化數據保存在/data目錄下；存儲卷使用nfs，nfs的服務地址爲：192.168.8.150，存儲路徑爲：/k8s-nfs/redis/data。容器經過volumeMounts.name的值肯定所使用的存儲卷。

apiVersion: apps/v1 # for versions before 1.9.0 use apps/v1beta2
kind: Deployment
metadata:
  name: redis
spec:
  selector:
    matchLabels:
      app: redis
  revisionHistoryLimit: 2
  template:
    metadata:
      labels:
        app: redis
    spec:
      containers:
      # 應用的鏡像
      - image: redis
        name: redis
        imagePullPolicy: IfNotPresent
        # 應用的內部端口
        ports:
        - containerPort: 6379
          name: redis6379
        env:
        - name: ALLOW_EMPTY_PASSWORD
          value: "yes"
        - name: REDIS_PASSWORD
          value: "redis"   
        # 持久化掛接位置，在docker中 
        volumeMounts:
        - name: redis-persistent-storage
          mountPath: /data
      volumes:
      # 宿主機上的目錄
      - name: redis-persistent-storage
        nfs:
          path: /k8s-nfs/redis/data
          server: 192.168.8.150

4、nfs做爲PersistentVolume

在Kubernetes當前版本的中，能夠建立類型爲nfs的持久化存儲卷，用於爲PersistentVolumClaim提供存儲卷。在下面的PersistenVolume YAML配置文件中，定義了一個名爲nfs-pv的持久化存儲卷，此存儲卷提供了5G的存儲空間，只能由一個PersistentVolumClaim進行可讀可寫操做。此持久化存儲卷使用的nfs服務器地址爲192.168.5.150，存儲的路徑爲/tmp。

apiVersion: v1 
kind: PersistentVolume 
metadata: 
  name: nfs-pv 
spec: 
  capacity: 
    storage: 5Gi 
  volumeMode: Filesystem 
  accessModes: 
  - ReadWriteOnce 
  persistentVolumeReclaimPolicy: Recycle 
  storageClassName: slow 
  mountOptions: 
  - hard 
  - nfsvers=4.1
  # 此持久化存儲卷使用nfs插件 
  nfs:
    # nfs共享目錄爲/tmp 
    path: /tmp 
    # nfs服務器的地址
    server: 192.168.5.150

經過執行以下的命令能夠建立上述持久化存儲卷：

$ kubectl create -f {path}/nfs-pv.yaml

存儲卷建立成功後將處於可用狀態，等待PersistentVolumClaim使用。PersistentVolumClaim會經過訪問模式和存儲空間自動選擇合適存儲卷，並與其進行綁定。

5、nfs做爲動態存儲提供

5.1 部署nfs-provisioner

爲nfs-provisioner實例選擇存儲狀態和數據的存儲卷，並將存儲卷掛接到容器的/export 命令。

...
 volumeMounts:
    - name: export-volume
      mountPath: /export
volumes:
  - name: export-volume
    hostPath:
      path: /tmp/nfs-provisioner
...

爲StorageClass選擇一個供應者名稱，並在deploy/kubernetes/deployment.yaml進行設置。

args:
  - "-provisioner=example.com/nfs"
...

完整的deployment.yaml文件內容以下：

kind: Service
apiVersion: v1
metadata:
  name: nfs-provisioner
  labels:
    app: nfs-provisioner
spec:
  ports:
    - name: nfs
      port: 2049
    - name: mountd
      port: 20048
    - name: rpcbind
      port: 111
    - name: rpcbind-udp
      port: 111
      protocol: UDP
  selector:
    app: nfs-provisioner
---

apiVersion: extensions/v1beta1
kind: Deployment
metadata:
  name: nfs-provisioner
spec:
  replicas: 1
  strategy:
    type: Recreate
  template:
    metadata:
      labels:
        app: nfs-provisioner
    spec:
      containers:
        - name: nfs-provisioner
          image: quay.io/kubernetes_incubator/nfs-provisioner:v1.0.8
          ports:
            - name: nfs
              containerPort: 2049
            - name: mountd
              containerPort: 20048
            - name: rpcbind
              containerPort: 111
            - name: rpcbind-udp
              containerPort: 111
              protocol: UDP
          securityContext:
            capabilities:
              add:
                - DAC_READ_SEARCH
                - SYS_RESOURCE
          args:
            # 定義提供者的名稱，存儲類經過此名稱指定提供者
            - "-provisioner=nfs-provisioner"
          env:
            - name: POD_IP
              valueFrom:
                fieldRef:
                  fieldPath: status.podIP
            - name: SERVICE_NAME
              value: nfs-provisioner
            - name: POD_NAMESPACE
              valueFrom:
                fieldRef:
                  fieldPath: metadata.namespace
          imagePullPolicy: "IfNotPresent"
          volumeMounts:
            - name: export-volume
              mountPath: /export
      volumes:
        - name: export-volume
          hostPath:
            path: /srv

在設置好deploy/kubernetes/deployment.yaml文件後，經過kubectl create命令在Kubernetes集羣中部署nfs-provisioner。

$ kubectl create -f {path}/deployment.yaml

5.2 建立StorageClass

下面是example-nfs的StorageClass配置文件，此配置文件定義了一個名稱爲nfs-storageclass的存儲類，此存儲類的提供者爲nfs-provisioner。

apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
  name: nfs-storageclass
  provisioner: nfs-provisioner

經過kubectl create -f命令使用上面的配置文件建立：

$ kubectl create -f deploy/kubernetes/class.yaml

storageclass 「example-nfs」 created

在存儲類被正確建立後，就能夠建立PersistenetVolumeClaim來請求StorageClass，而StorageClass將會爲PersistenetVolumeClaim自動建立一個可用PersistentVolume。

5.3 建立PersistenetVolumeClaim

PersistenetVolumeClaim是對PersistenetVolume的聲明，即PersistenetVolume爲存儲的提供者，而PersistenetVolumeClaim爲存儲的消費者。下面是PersistentVolumeClaim的YAML配置文件，此配置文件經過metadata.annotations[].volume.beta.kubernetes.io/storage-class字段指定所使用的存儲儲類。

在此配置文件中，使用nfs-storageclass存儲類爲PersistenetVolumeClaim建立PersistenetVolume，所要求的PersistenetVolume存儲空間大小爲1Mi，能夠被多個容器進行讀取和寫入操做。

apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: nfs-pvc
  annotations:
    volume.beta.kubernetes.io/storage-class: "nfs-storageclass"
spec:
  accessModes:
  - ReadWriteMany
  resources:
    requests:
      storage: 1Mi

經過kubectl create命令建立上述的持久化存儲卷聲明：

$ kubectl create -f {path}/claim.yaml

 5.4 建立使用PersistenVolumeClaim的部署

 在這裏定義名爲busybox-deployment的部署YAML配置文件，使用的鏡像爲busybox。基於busybox鏡像的容器須要對/mnt目錄下的數據進行持久化，在YAML文件指定使用名稱爲nfs的PersistenVolumeClaim對容器的數據進行持久化。

# This mounts the nfs volume claim into /mnt and continuously
# overwrites /mnt/index.html with the time and hostname of the pod. 
apiVersion: v1
kind: Deployment
metadata:  
  name: busybox-deployment
spec:  
  replicas: 2  
  selector:    
    name: busybox-deployment
  template:    
    metadata:      
      labels:        
        name: busybox-deployment    
    spec:      
      containers:      
      - image: busybox        
        command:          
        - sh          
        - -c          
        - 'while true; do date > /mnt/index.html; hostname >> /mnt/index.html; sleep $(($RANDOM % 5 + 5)); done'        
        imagePullPolicy: IfNotPresent        
        name: busybox        
        volumeMounts:          
        # name must match the volume name below          
        - name: nfs            
          mountPath: "/mnt"     
     # 
     volumes:      
     - name: nfs        
       persistentVolumeClaim:          
         claimName: nfs-pvc

經過kubectl create建立busy-deployment部署：

$ kubectl create -f {path}/nfs-busybox-deployment.yaml

參考資料

1. 《Persistent Volumes》地址：https://kubernetes.io/docs/concepts/storage/persistent-volumes/
2. 《Storage Classes》地址：https://kubernetes.io/docs/concepts/storage/storage-classes/
3. 《Dynamic Volume Provisioning》地址：https://kubernetes.io/docs/concepts/storage/dynamic-provisioning/
4. 《Volums》地址：https://kubernetes.io/docs/concepts/storage/volumes/
5. 《nfs》地址：https://github.com/kubernetes-incubator/external-storage/tree/master/nfs

做者簡介： 季向遠，北京神舟航天軟件技術有限公司產品經理。本文版權歸原做者全部。