007.Kubernetes二進制部署Flannel

一 部署flannel

1.1 安裝flannel

kubernetes 要求集羣內各節點(包括 master 節點)能經過 Pod 網段互聯互通。flannel 使用 vxlan 技術爲各節點建立一個能夠互通的 Pod 網絡，使用的端口爲 UDP 8472。

flanneld 第一次啓動時，從 etcd 獲取配置的 Pod 網段信息，爲本節點分配一個未使用的地址段，而後建立 flannedl.1 網絡接口（也多是其它名稱，如 flannel1 等）。

flannel 將分配給本身的 Pod 網段信息寫入 /run/flannel/docker 文件，docker 後續使用這個文件中的環境變量設置 docker0 網橋，從而從這個地址段爲本節點的全部 Pod 容器分配 IP。

更多flannel參考：《008.Docker Flannel+Etcd分佈式網絡部署》。

 1 [root@k8smaster01 ~]# cd /opt/k8s/work/
 2 [root@k8smaster01 work]# mkdir flannel
 3 [root@k8smaster01 work]# wget https://github.com/coreos/flannel/releases/download/v0.11.0/flannel-v0.11.0-linux-amd64.tar.gz
 4 [root@k8smaster01 work]# tar -xzvf flannel-v0.11.0-linux-amd64.tar.gz -C flannel

1.2 分發flannel

 1 [root@k8smaster01 ~]# cd /opt/k8s/work
 2 [root@k8smaster01 work]# source /opt/k8s/bin/environment.sh
 3 [root@k8smaster01 work]# for master_ip in ${MASTER_IPS[@]}
 4   do
 5     echo ">>> ${master_ip}"
 6     scp flannel/{flanneld,mk-docker-opts.sh} root@${master_ip}:/opt/k8s/bin/
 7     ssh root@${master_ip} "chmod +x /opt/k8s/bin/*"
 8   done

1.3 建立flannel證書和密鑰

 1 [root@k8smaster01 ~]# cd /opt/k8s/work
 2 [root@k8smaster01 work]# cat > flanneld-csr.json <<EOF
 3 {
 4     "CN": "flanneld",
 5     "hosts": [],
 6     "key": {
 7         "algo": "rsa",
 8         "size": 2048
 9     },
 10     "names": [
 11         {
 12             "C": "CN",
 13             "ST": "Shanghai",
 14             "L": "Shanghai",
 15             "O": "k8s",
 16             "OU": "System"
 17         }
 18     ]
 19 }
 20 EOF
 21 #建立flanneld的CA證書請求文件

解釋：

該證書只會被 kubectl 當作 client 證書使用，因此 hosts 字段爲空。

 1 [root@k8smaster01 ~]# cd /opt/k8s/work
 2 [root@k8smaster01 work]# cfssl gencert -ca=/opt/k8s/work/ca.pem \
 3 -ca-key=/opt/k8s/work/ca-key.pem -config=/opt/k8s/work/ca-config.json \
 4 -profile=kubernetes flanneld-csr.json | cfssljson -bare flanneld	#生成CA密鑰（ca-key.pem）和證書（ca.pem）

1.4 分發證書和私鑰

 1 [root@k8smaster01 ~]# cd /opt/k8s/work
 2 [root@k8smaster01 work]# source /opt/k8s/bin/environment.sh
 3 [root@k8smaster01 work]# for master_ip in ${MASTER_IPS[@]}
 4   do
 5     echo ">>> ${master_ip}"
 6     ssh root@${master_ip} "mkdir -p /etc/flanneld/cert"
 7     scp flanneld*.pem root@${master_ip}:/etc/flanneld/cert
 8   done

1.5 寫入集羣 Pod 網段信息

 1 [root@k8smaster01 ~]# cd /opt/k8s/work
 2 [root@k8smaster01 work]# source /opt/k8s/bin/environment.sh
 3 [root@k8smaster01 work]# etcdctl \
 4   --endpoints=${ETCD_ENDPOINTS} \
 5   --ca-file=/opt/k8s/work/ca.pem \
 6   --cert-file=/opt/k8s/work/flanneld.pem \
 7   --key-file=/opt/k8s/work/flanneld-key.pem \
 8   mk ${FLANNEL_ETCD_PREFIX}/config '{"Network":"'${CLUSTER_CIDR}'", "SubnetLen": 21, "Backend": {"Type": "vxlan"}}'

注意：注意：本步驟只需執行一次。

提示：flanneld 當前版本 (v0.11.0) 不支持 etcd v3，故使用 etcd v2 API 寫入配置 key 和網段數據；

寫入的 Pod 網段 ${CLUSTER_CIDR} 地址段（如 /16）必須小於 SubnetLen，必須與 kube-controller-manager 的 --cluster-cidr 參數值一致。

1.6 建立flanneld的systemd

 1 [root@k8smaster01 ~]# cd /opt/k8s/work
 2 [root@k8smaster01 work]# source /opt/k8s/bin/environment.sh
 3 [root@k8smaster01 work]# cat > flanneld.service << EOF
 4 [Unit]
 5 Description=Flanneld overlay address etcd agent
 6 After=network.target
 7 After=network-online.target
 8 Wants=network-online.target
 9 After=etcd.service
 10 Before=docker.service
 11 
 12 [Service]
 13 Type=notify
 14 ExecStart=/opt/k8s/bin/flanneld \\
 15   -etcd-cafile=/etc/kubernetes/cert/ca.pem \\
 16   -etcd-certfile=/etc/flanneld/cert/flanneld.pem \\
 17   -etcd-keyfile=/etc/flanneld/cert/flanneld-key.pem \\
 18   -etcd-endpoints=${ETCD_ENDPOINTS} \\
 19   -etcd-prefix=${FLANNEL_ETCD_PREFIX} \\
 20   -iface=${IFACE} \\
 21   -ip-masq
 22 ExecStartPost=/opt/k8s/bin/mk-docker-opts.sh -k DOCKER_NETWORK_OPTIONS -d /run/flannel/docker
 23 Restart=always
 24 RestartSec=5
 25 StartLimitInterval=0
 26 
 27 [Install]
 28 WantedBy=multi-user.target
 29 RequiredBy=docker.service
 30 EOF

解釋：

mk-docker-opts.sh：該腳本將分配給 flanneld 的 Pod 子網段信息寫入 /run/flannel/docker 文件，後續 docker 啓動時使用這個文件中的環境變量配置 docker0 網橋；

flanneld：使用系統缺省路由所在的接口與其它節點通訊，對於有多個網絡接口（如內網和公網）的節點，能夠用 -iface 參數指定通訊接口;

flanneld：運行時須要 root 權限；

-ip-masq: flanneld 爲訪問 Pod 網絡外的流量設置 SNAT 規則，同時將傳遞給 Docker 的變量 --ip-masq（/run/flannel/docker 文件中）設置爲 false，這樣 Docker 將再也不建立 SNAT 規則； Docker 的 --ip-masq 爲 true 時，建立的 SNAT 規則比較「暴力」：將全部本節點 Pod 發起的、訪問非 docker0 接口的請求作 SNAT，這樣訪問其餘節點 Pod 的請求來源 IP 會被設置爲 flannel.1 接口的 IP，致使目的 Pod 看不到真實的來源 Pod IP。 flanneld 建立的 SNAT 規則比較溫和，只對訪問非 Pod 網段的請求作 SNAT。

1.7 分發flannel systemd

 1 [root@k8smaster01 ~]# cd /opt/k8s/work
 2 [root@k8smaster01 work]# source /opt/k8s/bin/environment.sh
 3 [root@k8smaster01 work]# for master_ip in ${MASTER_IPS[@]}
 4   do
 5     echo ">>> ${master_ip}"
 6     scp flanneld.service root@${master_ip}:/etc/systemd/system/
 7   done

二 啓動並驗證

2.1 啓動flannel

 1 [root@k8smaster01 ~]# source /opt/k8s/bin/environment.sh
 2 [root@k8smaster01 ~]# for master_ip in ${MASTER_IPS[@]}
 3   do
 4     echo ">>> ${master_ip}"
 5     ssh root@${master_ip} "systemctl daemon-reload && systemctl enable flanneld && systemctl restart flanneld"
 6   done

2.2 檢查flannel啓動

 1 [root@k8smaster01 ~]# source /opt/k8s/bin/environment.sh
 2 [root@k8smaster01 ~]# for master_ip in ${MASTER_IPS[@]}
 3   do
 4     echo ">>> ${master_ip}"
 5     ssh root@${master_ip} "systemctl status flanneld|grep Active"
 6   done

2.3 檢查pod網段信息

 1 [root@k8smaster01 ~]# source /opt/k8s/bin/environment.sh
 2 [root@k8smaster01 ~]# etcdctl \
 3   --endpoints=${ETCD_ENDPOINTS} \
 4   --ca-file=/etc/kubernetes/cert/ca.pem \
 5   --cert-file=/etc/flanneld/cert/flanneld.pem \
 6   --key-file=/etc/flanneld/cert/flanneld-key.pem \
 7   get ${FLANNEL_ETCD_PREFIX}/config			#查看集羣 Pod 網段(/16)

 1 [root@k8smaster01 ~]# source /opt/k8s/bin/environment.sh
 2 [root@k8smaster01 ~]# etcdctl \
 3   --endpoints=${ETCD_ENDPOINTS} \
 4   --ca-file=/etc/kubernetes/cert/ca.pem \
 5   --cert-file=/etc/flanneld/cert/flanneld.pem \
 6   --key-file=/etc/flanneld/cert/flanneld-key.pem \
 7   ls ${FLANNEL_ETCD_PREFIX}/subnets			#查看已分配的 Pod 子網段列表(/24)
 8 [root@k8smaster01 ~]# source /opt/k8s/bin/environment.sh
 9 [root@k8smaster01 ~]# etcdctl \
 10   --endpoints=${ETCD_ENDPOINTS} \
 11   --ca-file=/etc/kubernetes/cert/ca.pem \
 12   --cert-file=/etc/flanneld/cert/flanneld.pem \
 13   --key-file=/etc/flanneld/cert/flanneld-key.pem \
 14   get ${FLANNEL_ETCD_PREFIX}/subnets/172.30.32.0-21	#查看某一 Pod 網段對應的節點 IP 和 flannel 接口地址

解釋：

172.30.32.0/21 被分配給節點 k8smaster01 （172.24.8.71）；

VtepMAC 爲 k8smaster01 節點的 flannel.1 網卡 MAC 地址。

2.4 檢查flannel網絡信息

 1 [root@k8smaster01 ~]# ip addr show

解釋：flannel.1 網卡的地址爲分配的 Pod 子網段的第一個 IP（.0），且是 /32 的地址。

 1 [root@k8smaster01 ~]# ip route show |grep flannel.1
 2 172.30.128.0/21 via 172.30.128.0 dev flannel.1 onlink
 3 172.30.208.0/21 via 172.30.208.0 dev flannel.1 onlink

解釋：

到其它節點 Pod 網段請求都被轉發到 flannel.1 網卡；

flanneld 根據 etcd 中子網段的信息，如 ${FLANNEL_ETCD_PREFIX}/subnets/172.30.32.0-21 ，來決定進請求發送給哪一個節點的互聯 IP。

2.5 驗證各節點flannel

在各節點上部署 flannel 後，檢查是否建立了 flannel 接口(名稱可能爲 flannel0、flannel.0、flannel.1 等)：

 1 [root@k8smaster01 ~]# source /opt/k8s/bin/environment.sh
 2 [root@k8smaster01 ~]# for master_ip in ${MASTER_IPS[@]}
 3   do
 4     echo ">>> ${master_ip}"
 5     ssh ${master_ip} "/usr/sbin/ip addr show flannel.1|grep -w inet"
 6   done

輸出：

 1 >>> 172.24.8.71
 2     inet 172.30.32.0/32 scope global flannel.1
 3 >>> 172.24.8.72
 4     inet 172.30.128.0/32 scope global flannel.1
 5 >>> 172.24.8.73
 6     inet 172.30.208.0/32 scope global flannel.1

在各節點上 ping 全部 flannel 接口 IP，確保能通：

 1 [root@k8smaster01 ~]# source /opt/k8s/bin/environment.sh
 2 [root@k8smaster01 ~]# for master_ip in ${MASTER_IPS[@]}
 3   do
 4     echo ">>> ${master_ip}"
 5     ssh ${master_ip} "ping -c 1 172.30.32.0"
 6     ssh ${master_ip} "ping -c 1 172.30.128.0"
 7     ssh ${master_ip} "ping -c 1 172.30.208.0"
 8   done

原文出處：https://www.cnblogs.com/itzgr/p/11869341.html