基於kubeadm快速部署kubernetes K8S V1.17.4集羣-無坑完整版
基於kubeadm快速部署kubernetes K8S V1.17.4集羣，並部署Dashboard Web頁面，實現可視化查看Kubernetes資源html
主機配置規劃
| 服務器名稱(hostname) | 系統版本 | 配置 | 內網IP | 外網IP(模擬) |
|---|---|---|---|---|
| k8s-master | CentOS7.7 | 2C/4G/20G | 172.16.1.110 | 10.0.0.110 |
| k8s-node01 | CentOS7.7 | 2C/4G/20G | 172.16.1.111 | 10.0.0.111 |
| k8s-node02 | CentOS7.7 | 2C/4G/20G | 172.16.1.112 | 10.0.0.112 |
注意：沒有swap分區node
預約完成目標項
一、在全部節點上安裝Docker和kubeadmlinux
二、部署Kubernetes Mastergit
三、部署容器網絡插件github
四、部署 Kubernetes Worker，並將節點加入Kubernetes集羣中docker
五、部署Dashboard Web頁面，可視化查看Kubernetes資源json
關於二進制安裝
kubeadm 是 Kubernetes 官方支持的安裝方式，「二進制」 不是。本文檔採用 kubernetes.io 官方推薦的 kubeadm 工具安裝 kubernetes 集羣。bootstrap
架構圖
安裝docker、安裝kubeadm，kubelet和kubectl
注意：全部機器都要安裝vim
腳本以下：centos
1 [root@k8s-master k8s_install]# pwd 2 /root/k8s_install 3 # 腳本信息以下【支持屢次執行】 4 [root@k8s-master k8s_install]# cat install_kubelet.sh 5 #!/bin/sh 6 7 ##### 在 master 節點和 worker 節點都要執行 【全部機器執行】 8 9 # 加載環境變量 10 . /etc/profile 11 . /etc/bashrc 12 13 ############################################### 14 # 添加主機名與IP對應關係（每臺主機必須設置主機名） 15 # 以下命令：沒有則添加信息 若使用請根據自身主機狀況修改 ★★★★★ 「你須要修改處」 16 grep '172.16.1.110.*k8s-master' /etc/hosts || echo "172.16.1.110 k8s-master" >> /etc/hosts 17 grep '172.16.1.111.*k8s-node01' /etc/hosts || echo "172.16.1.111 k8s-node01" >> /etc/hosts 18 grep '172.16.1.112.*k8s-node02' /etc/hosts || echo "172.16.1.112 k8s-node02" >> /etc/hosts 19 20 21 ############################################### 22 # 必要的基礎配置或包安裝 23 ## 必須安裝 nfs-utils 才能掛載 nfs 網絡存儲 24 yum install -y nfs-utils 25 ## wget 用於下載文件 26 yum install -y wget 27 ## 其餘必要包 28 yum install -y conntrack ipvsadm ipset 29 30 31 # 關閉 防火牆 32 systemctl stop firewalld 33 systemctl disable firewalld 34 systemctl stop iptables 35 systemctl disable iptables 36 37 # 關閉 SeLinux 38 setenforce 0 39 sed -i "s/SELINUX=enforcing/SELINUX=disabled/g" /etc/selinux/config 40 41 # 關閉 swap ， 本次涉及的機器沒有swap，所以註釋了 42 ## 若是有swap分區則放開註釋 43 #swapoff -a 44 #yes | cp /etc/fstab /etc/fstab_bak 45 #cat /etc/fstab_bak | grep -v swap > /etc/fstab 46 47 # 時間設置 48 ## 時區設置：東八區，上海 49 ls -l /etc/localtime | grep 'Asia/Shanghai' || (rm -f /etc/localtime && ln -s /usr/share/zoneinfo/Asia/Shanghai /etc/localtime) 50 ## 時間同步定時任務：沒有則添加定，進行時間同步 51 crontab -l | grep 'ntpdate' || echo -e "# time sync\n*/10 * * * * /usr/sbin/ntpdate ntp1.aliyun.com >/dev/null 2>&1" >> /var/spool/cron/root 52 ## 查看硬件時間 hwclock --show 53 ## 系統時間同步到硬件時間 54 hwclock --systohc 55 56 # 關閉郵件服務 57 systemctl stop postfix.service && systemctl disable postfix.service 58 59 60 61 ############################################### 62 # 修改 /etc/sysctl.conf 63 # 開啓 ip_forward 轉發並解決流量路由不正確問題 64 # 若是有配置，則修改 65 sed -i "s#^net.ipv4.ip_forward.*#net.ipv4.ip_forward = 1#g" /etc/sysctl.conf 66 sed -i "s#^net.ipv4.tcp_tw_recycle.*#net.ipv4.tcp_tw_recycle = 0#g" /etc/sysctl.conf 67 sed -i "s#^net.bridge.bridge-nf-call-ip6tables.*#net.bridge.bridge-nf-call-ip6tables = 1#g" /etc/sysctl.conf 68 sed -i "s#^net.bridge.bridge-nf-call-iptables.*#net.bridge.bridge-nf-call-iptables = 1#g" /etc/sysctl.conf 69 # IPv6 轉發 70 sed -i "s#^net.ipv6.conf.all.forwarding.*#net.ipv6.conf.all.forwarding = 1#g" /etc/sysctl.conf 71 sed -i "s#^net.netfilter.nf_conntrack_max.*#net.netfilter.nf_conntrack_max = 2310720#g" /etc/sysctl.conf 72 ## 以下兩條非必要 73 sed -i "s#^fs.file-max.*#fs.file-max = 52706963#g" /etc/sysctl.conf 74 sed -i "s#^fs.nr_open.*#fs.nr_open = 52706963#g" /etc/sysctl.conf 75 76 # 若是沒有，追加 77 grep 'net.ipv4.ip_forward = 1' /etc/sysctl.conf || echo "net.ipv4.ip_forward = 1" >> /etc/sysctl.conf 78 grep 'net.ipv4.tcp_tw_recycle = 0' /etc/sysctl.conf || echo "net.ipv4.tcp_tw_recycle = 0" >> /etc/sysctl.conf 79 grep 'net.bridge.bridge-nf-call-ip6tables = 1' /etc/sysctl.conf || echo "net.bridge.bridge-nf-call-ip6tables = 1" >> /etc/sysctl.conf 80 grep 'net.bridge.bridge-nf-call-iptables = 1' /etc/sysctl.conf || echo "net.bridge.bridge-nf-call-iptables = 1" >> /etc/sysctl.conf 81 grep 'net.ipv6.conf.all.forwarding = 1' /etc/sysctl.conf || echo "net.ipv6.conf.all.forwarding = 1" >> /etc/sysctl.conf 82 grep 'net.netfilter.nf_conntrack_max = 2310720' /etc/sysctl.conf || echo "net.netfilter.nf_conntrack_max = 2310720" >> /etc/sysctl.conf 83 grep 'fs.file-max = 52706963' /etc/sysctl.conf || echo "fs.file-max = 52706963" >> /etc/sysctl.conf 84 grep 'fs.nr_open = 52706963' /etc/sysctl.conf || echo "fs.nr_open = 52706963" >> /etc/sysctl.conf 85 86 # 執行命令以生效 87 sysctl -p 88 #### 說明：上面的命令中/etc/sysctl.conf能夠用/etc/sysctl.d/k8s.conf替換；生效使用sysctl -p /etc/sysctl.d/k8s.conf 命令 89 90 91 ############################################### 92 # kube-proxy 開啓ipvs的前置條件【本步驟可忽略，但推薦使用IPVS】 93 modprobe br_netfilter 94 95 cat > /etc/sysconfig/modules/ipvs.modules << EOF 96 #!/bin/bash 97 modprobe -- ip_vs 98 modprobe -- ip_vs_rr 99 modprobe -- ip_vs_wrr 100 modprobe -- ip_vs_sh 101 modprobe -- nf_conntrack_ipv4 102 EOF 103 104 chmod 755 /etc/sysconfig/modules/ipvs.modules && bash /etc/sysconfig/modules/ipvs.modules && lsmod | grep -e ip_vs -e nf_conntrack_ipv4 105 106 107 108 ############################################### 109 # 安裝 docker 110 ## 參考文檔以下 111 # https://www.cnblogs.com/zhanglianghhh/p/9891293.html 112 # https://docs.docker.com/install/linux/docker-ce/centos/ 113 # https://docs.docker.com/install/linux/linux-postinstall/ 114 115 ## 卸載舊版本 根據須要放開註釋 116 #yum remove -y docker \ 117 #docker-client \ 118 #docker-client-latest \ 119 #docker-common \ 120 #docker-latest \ 121 #docker-latest-logrotate \ 122 #docker-logrotate \ 123 #docker-selinux \ 124 #docker-engine-selinux \ 125 #docker-engine 126 127 ## 設置 docker yum repository 128 yum install -y yum-utils device-mapper-persistent-data lvm2 129 yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo 130 131 ## 安裝docker 132 # yum install -y docker-ce 133 yum install -y docker-ce-19.03.8 134 135 ## 啓動docker服務，這樣能夠建立/etc/docker目錄 136 systemctl start docker 137 138 ## 配置daemon 139 ## 1、修改docker Cgroup Driver爲systemd；2、日誌格式設定 140 ## 若是不修改，在添加 worker 節點時可能會碰到以下錯誤 141 ## [WARNING IsDockerSystemdCheck]: detected "cgroupfs" as the Docker cgroup driver. The recommended driver is "systemd". 142 ## Please follow the guide at https://kubernetes.io/docs/setup/cri/ 143 cat > /etc/docker/daemon.json << EOF 144 { 145 "exec-opts": ["native.cgroupdriver=systemd"], 146 "log-driver": "json-file", 147 "log-opts": { 148 "max-size": "100m" 149 } 150 } 151 EOF 152 153 ## 開機自啓動 154 systemctl stop docker && systemctl daemon-reload && systemctl enable docker && systemctl start docker 155 156 157 158 ############################################### 159 # 配置K8S的yum源 160 cat > /etc/yum.repos.d/kubernetes.repo <<EOF 161 [kubernetes] 162 name=Kubernetes 163 baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64 164 enabled=1 165 gpgcheck=0 166 repo_gpgcheck=1 167 gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg 168 https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg 169 EOF 170 171 172 # 卸載舊版本 根據須要放開註釋 173 #yum remove -y kubelet kubeadm kubectl 174 175 # 因爲版本更新頻繁，這裏指定版本號部署 176 ## 安裝kubelet、kubeadm、kubectl 177 ## 將 ${1} 替換爲 kubernetes 版本號，例如 1.17.4 178 ## yum install -y kubelet-${1} kubeadm-${1} kubectl-${1} 179 yum install -y kubelet-1.17.4 kubeadm-1.17.4 kubectl-1.17.4 180 181 182 # 重啓 docker，並啓動 kubelet 183 systemctl daemon-reload 184 systemctl restart docker 185 systemctl enable kubelet && systemctl start kubelet 186 187 188 # 打印分割線 189 echo "=====================" 190 191 # 打印docker版本信息 192 docker version
執行上述腳本
kubelet 服務錯誤說明
用kubeadm的方法安裝kubelet後，運行systemctl status kubelet 和 journalctl -f -u kubelet 發現kubelet服務啓動失敗，錯誤代碼255。
後來查了資料，運行journalctl -xefu kubelet 命令查看systemd日誌才發現，真正的錯誤是：
failed to load Kubelet config file /var/lib/kubelet/config.yaml, error failed to read kubelet config file "/var/lib/kubelet/config.yaml", error: open /var/lib/kubelet/config.yaml: no such file or directory
緣由：
關鍵文件缺失，多發生於沒有作 kubeadm init就運行了systemctl start kubelet。
暫時能夠有無論，後面 kubeadm init 後會恢復正常。
部署Kubernetes Master與安裝Pod網絡插件（CNI）
注意：僅在master節點操做
kubeadm init 配置詳解的官網地址以下：
https://kubernetes.io/docs/reference/setup-tools/kubeadm/kubeadm-init/
這裏使用 flannel 網絡
master節點所需鏡像
kubernetes 服務啓動依賴不少鏡像，這些鏡像要是在國內沒有(fan qiang)的話，是下載不下來的。這裏咱們能夠去阿里雲容器鏡像服務【別人放好的鏡像】搜尋並下載指定版本的鏡像替代。
下載完成後，經過 docker tag … 命令修改爲指定名稱的鏡像便可。
須要哪些鏡像及版本
須要哪些鏡像及版本，查看方式以下：
1 [root@k8s-master ~]# kubeadm config images list --kubernetes-version v1.17.4 2 W0728 16:31:09.770937 8119 validation.go:28] Cannot validate kube-proxy config - no validator is available 3 W0728 16:31:09.770998 8119 validation.go:28] Cannot validate kubelet config - no validator is available 4 k8s.gcr.io/kube-apiserver:v1.17.4 5 k8s.gcr.io/kube-controller-manager:v1.17.4 6 k8s.gcr.io/kube-scheduler:v1.17.4 7 k8s.gcr.io/kube-proxy:v1.17.4 8 k8s.gcr.io/pause:3.1 9 k8s.gcr.io/etcd:3.4.3-0 10 k8s.gcr.io/coredns:1.6.5
獲取初始化默認配置文件並修改
1 [root@k8s-master k8s_install]# pwd 2 /root/k8s_install 3 [root@k8s-master k8s_install]# kubeadm config print init-defaults > kubeadm-config.yaml 4 # 作了適當修改 5 [root@k8s-master k8s_install]# cat kubeadm-config.yaml 6 apiVersion: kubeadm.k8s.io/v1beta2 7 bootstrapTokens: 8 - groups: 9 - system:bootstrappers:kubeadm:default-node-token 10 token: abcdef.0123456789abcdef 11 ttl: 24h0m0s 12 usages: 13 - signing 14 - authentication 15 kind: InitConfiguration 16 localAPIEndpoint: 17 # 改成本機內網IP 18 advertiseAddress: 172.16.1.110 19 bindPort: 6443 20 nodeRegistration: 21 criSocket: /var/run/dockershim.sock 22 name: k8s-master 23 taints: 24 - effect: NoSchedule 25 key: node-role.kubernetes.io/master 26 --- 27 apiServer: 28 timeoutForControlPlane: 4m0s 29 apiVersion: kubeadm.k8s.io/v1beta2 30 certificatesDir: /etc/kubernetes/pki 31 clusterName: kubernetes 32 controllerManager: {} 33 dns: 34 type: CoreDNS 35 etcd: 36 local: 37 dataDir: /var/lib/etcd 38 imageRepository: k8s.gcr.io 39 kind: ClusterConfiguration 40 # 本次部署的版本爲 v1.17.4 41 kubernetesVersion: v1.17.4 42 networking: 43 dnsDomain: cluster.local 44 # 添加以下行，指定pod網絡的IP地址範圍，由於flannel 就是這個網段 45 podSubnet: 10.244.0.0/16 46 # 默認值便可，無需改變。服務VIP使用可選的IP地址範圍。默認10.96.0.0/12 47 serviceSubnet: 10.96.0.0/12 48 scheduler: {} 49 --- 50 # 添加以下配置段，調度方式從默認改成ipvs方式【若是上面初始化沒有作ipvs，那麼這段就不須要】 51 apiVersion: kubeproxy.config.k8s.io/v1alpha1 52 kind: KubeProxyConfiguration 53 featureGates: 54 SupportIPVSProxyMode: true 55 mode: ipvs
kubeadm init與flannel網絡安裝
建立 init_master.sh文件並編寫腳本進行批量下載鏡像；以後修改鏡像tag，與google的k8s鏡像名稱一致；再以後初始化並安裝Pod網絡插件。
腳本以下：
1 [root@k8s-master k8s_install]# pwd 2 /root/k8s_install 3 [root@k8s-master k8s_install]# cat init_master.sh 4 #!/bin/bash 5 6 ##### 在 k8s master 節點執行 7 8 # 加載環境變量 9 . /etc/profile 10 . /etc/bashrc 11 12 13 ############################################### 14 # 從國內下載 master 節點所需鏡像，並對鏡像重命名 15 # src_registry="registry.aliyuncs.com/google_containers" 16 src_registry="registry.cn-beijing.aliyuncs.com/google_registry" 17 18 # 定義鏡像集合數組 19 # 具體版本信息根據 kubeadm config images list --kubernetes-version v1.17.4 獲得的 20 images=( 21 kube-apiserver:v1.17.4 22 kube-controller-manager:v1.17.4 23 kube-scheduler:v1.17.4 24 kube-proxy:v1.17.4 25 pause:3.1 26 etcd:3.4.3-0 27 coredns:1.6.5 28 ) 29 # 循環從國內獲取的Docker鏡像 30 for img in ${images[@]}; 31 do 32 # 從國內源下載鏡像 33 docker pull ${src_registry}/$img 34 # 改變鏡像名稱 35 docker tag ${src_registry}/$img k8s.gcr.io/$img 36 # 刪除源始鏡像 37 docker rmi ${src_registry}/$img 38 # 打印分割線 39 echo "======== $img download OK ========" 40 done 41 echo "********** k8s master docker images pull OK! **********" 42 43 44 ############################################### 45 # kubeadm 初始化 46 ##### 初始化方式1 47 # 這個初始化過程須要幾分鐘，具體時間取決於你的網絡。 48 # --apiserver-advertise-address=x.x.x.x 本機內網地址 ★★★★★ 「你須要修改處」 49 # --service-cidr=x.x.x.x 爲服務VIP使用可選的IP地址範圍。默認10.96.0.0/12 50 # --pod-network-cidr=x.x.x.x 指定pod網絡的IP地址範圍。 51 #kubeadm init \ 52 # --apiserver-advertise-address=172.16.1.110 \ 53 # --kubernetes-version v1.17.4 \ 54 # --service-cidr=10.96.0.0/12 \ 55 # --pod-network-cidr=10.244.0.0/16 56 57 ##### 初始化方式2 【推薦方式】 58 # --upload-certs 自動頒發證書，高可用有意義，單機可選 59 # kubeadm-config.yaml文件，經過上文已獲得該文件 60 kubeadm init --config=kubeadm-config.yaml --upload-certs | tee kubeadm-init.log 61 echo "********** kubeadm init OK! **********" 62 63 64 # 配置 kubectl 65 mkdir -p $HOME/.kube/ 66 cp -i /etc/kubernetes/admin.conf $HOME/.kube/config 67 chown $(id -u):$(id -g) $HOME/.kube/config 68 echo "********** kubectl config OK! **********" 69 70 71 ############################################### 72 # Kubernetes CNI扁平化網絡：Flannel、Calico、Canal和Weave 73 # https://blog.csdn.net/RancherLabs/article/details/88885539 74 # 安裝 kube-flannel 網絡 75 # 若可以訪問到quay.io這個registery，能夠註釋掉下面3行docker命令。 在 kube-flannel.yml 文件中可獲得 flannel 版本信息 76 # 若是不能訪問 quay.io這個registery，那麼請使用下面3行 77 docker pull ${src_registry}/flannel:v0.12.0-amd64 78 docker tag ${src_registry}/flannel:v0.12.0-amd64 quay.io/coreos/flannel:v0.12.0-amd64 79 docker rmi ${src_registry}/flannel:v0.12.0-amd64 80 # 若是下載失敗，那麼可經過 https://github.com/coreos/flannel/blob/v0.12.0/Documentation/kube-flannel.yml 頁面拷貝到本地 81 wget https://raw.githubusercontent.com/coreos/flannel/v0.12.0/Documentation/kube-flannel.yml 82 kubectl apply -f kube-flannel.yml 83 echo "********** kube-flannel network OK! **********" 84 85 86 ############################################### 87 # master節點驗證全部pod狀態 88 echo "********** kubectl get pods --all-namespaces -o wide **********" 89 # kubectl get pods -A -o wide # 與下面的命令等效 90 kubectl get pods --all-namespaces -o wide 91 92 # master節點查看node狀態 93 echo "********** kubectl get nodes **********" 94 kubectl get nodes 95 96 echo "********** 得到 join 命令參數 **********" 97 kubeadm token create --print-join-command
執行上述腳本
部分命令說明：
查看全部pods運行信息
kubectl get pods --all-namespaces # 或者kubectl get pods -A
kubectl get pods --all-namespaces -o wide
查看全部node節點信息，其中master也是一個節點
kubectl get nodes
kubectl get nodes -o wide
得到 join命令參數，複製後在其餘node節點執行，執行後加入該master節點，造成一個集羣
kubeadm token create --print-join-command
flannel扁平化網絡查看
經過ifconfig命令，可見已經存在了扁平化網絡。
扁平化網絡說明：
Kubernetes 的網絡模型假定了全部Pod都在一個能夠直接連通的扁平化的網絡空間中，這在GCE(Google Compute Engine)裏面是現成的網絡模型，Kubernetes 假定這個網絡已經存在。而在私有云裏搭建 Kubernetes 集羣，就不能假定這個網絡已經存在。咱們須要本身實現這個網絡假設，將不一樣節點上的 Docker 容器之間的互相訪問先打通，而後運行 Kubernetes。
同一個Pod內的多個容器之間通信：lo
各Pod之間的通信：Overlay Network
Pod與Service之間的通信：各節點的Iptables規則或者ipvs
Flannel 是 CoreOS 團隊針對 Kubernetes 設計的一個網絡規劃服務。簡單來講，它的功能是讓集羣中的不一樣節點主機建立的 Docker 容器都具備全集羣惟一的虛擬IP地址。並且它還能在這些IP地址之間創建一個覆蓋網絡(Overlay Network)，經過這個覆蓋網絡，將數據包原封不動的傳遞到目標容器內。
flannel網絡以下圖：
部署Kubernetes Node並加入Kubernetes集羣
備註：僅在worker節點執行
得到 join命令初始化worker節點並加入master
在master執行以下命令獲取join參數。
1 [root@k8s-master ~]# kubeadm token create --print-join-command 2 kubeadm join 172.16.1.110:6443 --token jb8qa8.wbjx2k7t8vuvqf4q --discovery-token-ca-cert-hash sha256:a694fbe124afd00c0024d4be102037d8f84c9e2e1da1c6638b7788ad71f556ef
有效時間，該 token 的有效時間爲 2 個小時，2小時內可使用此 token 初始化任意數量的 worker 節點。
本文根據規劃在k8s-node0一、k8s-node02機器上執行。
執行完畢後，在master機器查看節點信息：
1 [root@k8s-master ~]# kubectl get nodes 2 NAME STATUS ROLES AGE VERSION 3 k8s-master Ready master 47m v1.17.4 4 k8s-node01 NotReady <none> 30s v1.17.4 5 k8s-node02 NotReady <none> 25s v1.17.4 6 [root@k8s-master ~]# 7 [root@k8s-master ~]# kubectl get nodes -o wide 8 NAME STATUS ROLES AGE VERSION INTERNAL-IP EXTERNAL-IP OS-IMAGE KERNEL-VERSION CONTAINER-RUNTIME 9 k8s-master Ready master 48m v1.17.4 172.16.1.110 <none> CentOS Linux 7 (Core) 3.10.0-1062.el7.x86_64 docker://19.3.8 10 k8s-node01 NotReady <none> 56s v1.17.4 172.16.1.111 <none> CentOS Linux 7 (Core) 3.10.0-1062.el7.x86_64 docker://19.3.8 11 k8s-node02 NotReady <none> 51s v1.17.4 172.16.1.112 <none> CentOS Linux 7 (Core) 3.10.0-1062.el7.x86_64 docker://19.3.8 12 # 由於此時在k8s-node0一、k8s-node02沒有flannel鏡像，所以pod未啓動 13 [root@k8s-master ~]# kubectl get pods -A -o wide 14 NAMESPACE NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES 15 kube-system coredns-6955765f44-c9zfh 1/1 Running 0 48m 10.244.0.2 k8s-master <none> <none> 16 kube-system coredns-6955765f44-lrz5q 1/1 Running 0 48m 10.244.0.3 k8s-master <none> <none> 17 kube-system etcd-k8s-master 1/1 Running 0 48m 172.16.1.110 k8s-master <none> <none> 18 kube-system kube-apiserver-k8s-master 1/1 Running 0 48m 172.16.1.110 k8s-master <none> <none> 19 kube-system kube-controller-manager-k8s-master 1/1 Running 0 48m 172.16.1.110 k8s-master <none> <none> 20 kube-system kube-flannel-ds-amd64-dngrk 1/1 Running 0 46m 172.16.1.110 k8s-master <none> <none> 21 kube-system kube-flannel-ds-amd64-h4sn6 0/1 Init:0/1 0 76s 172.16.1.111 k8s-node01 <none> <none> 22 kube-system kube-flannel-ds-amd64-m92wp 0/1 Init:0/1 0 71s 172.16.1.112 k8s-node02 <none> <none> 23 kube-system kube-proxy-28dwj 0/1 ContainerCreating 0 76s 172.16.1.111 k8s-node01 <none> <none> 24 kube-system kube-proxy-c875m 1/1 Running 0 48m 172.16.1.110 k8s-master <none> <none> 25 kube-system kube-proxy-stg6w 0/1 ContainerCreating 0 71s 172.16.1.112 k8s-node02 <none> <none> 26 kube-system kube-scheduler-k8s-master 1/1 Running 0 48m 172.16.1.110 k8s-master <none> <none>
說明：k8s-node0一、k8s-node02狀態爲NotReady
獲取worker節點鏡像
備註：僅在worker節點執行
建立 init_worker.sh文件並編寫腳本批量下載鏡像；以後修改鏡像tag，與google的k8s鏡像名稱一致；再以後下載Pod網絡插件。
腳本以下：
1 [root@k8s-node01 k8s_install]# pwd 2 /root/k8s_install 3 [root@k8s-node01 k8s_install]# cat init_worker.sh 4 #!/bin/bash 5 6 ##### 在 k8s worker 節點執行 7 8 # 加載環境變量 9 . /etc/profile 10 . /etc/bashrc 11 12 13 ############################################### 14 # 從國內下載 node 節點所需鏡像，並對鏡像重命名 15 # src_registry="registry.aliyuncs.com/google_containers" 16 src_registry="registry.cn-beijing.aliyuncs.com/google_registry" 17 # 定義鏡像集合數組 18 # 具體版本信息根據 kubeadm config images list --kubernetes-version v1.17.4 獲得的 19 images=( 20 kube-apiserver:v1.17.4 21 kube-controller-manager:v1.17.4 22 kube-scheduler:v1.17.4 23 kube-proxy:v1.17.4 24 pause:3.1 25 etcd:3.4.3-0 26 coredns:1.6.5 27 ) 28 # 循環從國內獲取的Docker鏡像 29 for img in ${images[@]}; 30 do 31 # 從國內源下載鏡像 32 docker pull ${src_registry}/$img 33 # 改變鏡像名稱 34 docker tag ${src_registry}/$img k8s.gcr.io/$img 35 # 刪除源始鏡像 36 docker rmi ${src_registry}/$img 37 # 打印分割線 38 echo "======== $img download OK ========" 39 done 40 echo "********** k8s node docker images pull OK! **********" 41 42 43 44 ############################################### 45 # Kubernetes CNI網絡：Flannel、Calico、Canal和Weave 46 # https://blog.csdn.net/RancherLabs/article/details/88885539 47 # 確保可以訪問到quay.io這個registery。 48 #docker pull quay.io/coreos/flannel:v0.12.0-amd64 49 # 若是不能訪問 quay.io這個registery，那麼請使用下面3行。或從master那邊將 flannel 鏡像打包過來便可 50 docker pull ${src_registry}/flannel:v0.12.0-amd64 51 docker tag ${src_registry}/flannel:v0.12.0-amd64 quay.io/coreos/flannel:v0.12.0-amd64 52 docker rmi ${src_registry}/flannel:v0.12.0-amd64 53 echo "********** flannel image OK! **********"
本文根據規劃在k8s-node0一、k8s-node02機器上執行。
work執行完畢後在master機器查看信息
執行完畢後，在master機器查看節點信息：
1 # 全部節點都是Ready狀態了 2 [root@k8s-master ~]# kubectl get nodes 3 NAME STATUS ROLES AGE VERSION 4 k8s-master Ready master 56m v1.17.4 5 k8s-node01 Ready <none> 9m35s v1.17.4 6 k8s-node02 Ready <none> 9m30s v1.17.4 7 [root@k8s-master ~]# kubectl get nodes -o wide 8 NAME STATUS ROLES AGE VERSION INTERNAL-IP EXTERNAL-IP OS-IMAGE KERNEL-VERSION CONTAINER-RUNTIME 9 k8s-master Ready master 57m v1.17.4 172.16.1.110 <none> CentOS Linux 7 (Core) 3.10.0-1062.el7.x86_64 docker://19.3.8 10 k8s-node01 Ready <none> 9m47s v1.17.4 172.16.1.111 <none> CentOS Linux 7 (Core) 3.10.0-1062.el7.x86_64 docker://19.3.8 11 k8s-node02 Ready <none> 9m42s v1.17.4 172.16.1.112 <none> CentOS Linux 7 (Core) 3.10.0-1062.el7.x86_64 docker://19.3.8 12 [root@k8s-master ~]# kubectl get pods -A -o wide 13 NAMESPACE NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES 14 kube-system coredns-6955765f44-c9zfh 1/1 Running 0 57m 10.244.0.2 k8s-master <none> <none> 15 kube-system coredns-6955765f44-lrz5q 1/1 Running 0 57m 10.244.0.3 k8s-master <none> <none> 16 kube-system etcd-k8s-master 1/1 Running 0 57m 172.16.1.110 k8s-master <none> <none> 17 kube-system kube-apiserver-k8s-master 1/1 Running 0 57m 172.16.1.110 k8s-master <none> <none> 18 kube-system kube-controller-manager-k8s-master 1/1 Running 0 57m 172.16.1.110 k8s-master <none> <none> 19 kube-system kube-flannel-ds-amd64-dngrk 1/1 Running 0 55m 172.16.1.110 k8s-master <none> <none> 20 kube-system kube-flannel-ds-amd64-h4sn6 1/1 Running 0 10m 172.16.1.111 k8s-node01 <none> <none> 21 kube-system kube-flannel-ds-amd64-m92wp 1/1 Running 0 9m57s 172.16.1.112 k8s-node02 <none> <none> 22 kube-system kube-proxy-28dwj 1/1 Running 0 10m 172.16.1.111 k8s-node01 <none> <none> 23 kube-system kube-proxy-c875m 1/1 Running 0 57m 172.16.1.110 k8s-master <none> <none> 24 kube-system kube-proxy-stg6w 1/1 Running 0 9m57s 172.16.1.112 k8s-node02 <none> <none> 25 kube-system kube-scheduler-k8s-master 1/1 Running 0 57m 172.16.1.110 k8s-master <none> <none>
說明：k8s-node0一、k8s-node02狀態爲Ready，且全部pod都正常運行
移除worker節點
正常狀況下，無需移除 worker 節點，若是添加到集羣出錯，能夠移除 worker 節點，再從新嘗試添加。
好比：移除k8s-node01節點，步驟以下：
在準備移除的 worker 節點上執行
# 只在 worker 節點執行
[root@k8s-node01 ~]# kubeadm reset
在 master 節點上執行
# 只在 master 執行 [root@k8s-master ~]# kubectl delete node k8s-node01 node "k8s-node01" deleted
集羣版本查看
執行以下命令便可
1 [root@k8s-master ~]# kubectl version 2 Client Version: version.Info{Major:"1", Minor:"17", GitVersion:"v1.17.4", GitCommit:"8d8aa39598534325ad77120c120a22b3a990b5ea", GitTreeState:"clean", BuildDate:"2020-03-12T21:03:42Z", GoVersion:"go1.13.8", Compiler:"gc", Platform:"linux/amd64"} 3 Server Version: version.Info{Major:"1", Minor:"17", GitVersion:"v1.17.4", GitCommit:"8d8aa39598534325ad77120c120a22b3a990b5ea", GitTreeState:"clean", BuildDate:"2020-03-12T20:55:23Z", GoVersion:"go1.13.8", Compiler:"gc", Platform:"linux/amd64"}
到這來，整個集羣已經部署完畢，能夠歡呼了！
部署 Dashboard
本次部署版本版本：v2.0.0-rc6。不能部署v1.10.0版本，由於該版本太低不匹配。
Dashboard 的GitHub地址：
https://github.com/kubernetes/dashboard/
版本選擇
下載dashboard鏡像
鏡像下載腳本，在全部節點執行，由於dashboard會根據調度部署在任意節點。
腳本以下：
1 [root@k8s-master k8s_install]# pwd 2 /root/k8s_install 3 [root@k8s-master k8s_install]# cat install_dashboard.sh 4 #!/bin/sh 5 6 ##### 在 master 節點和 worker 節點都要執行 【全部機器執行】 7 8 # 加載環境變量 9 . /etc/profile 10 . /etc/bashrc 11 12 ############################################### 13 # 從國內下載 k8s dashboard 所需鏡像，並對鏡像重命名 14 src_registry="registry.cn-beijing.aliyuncs.com/google_registry" 15 # 定義鏡像集合數組 16 # V1.17.x 版本對應的 dashboard 不能使用 dashboard:v1.10.1 該版本低，不匹配 17 images=( 18 dashboard:v2.0.0-rc6 19 metrics-scraper:v1.0.3 20 ) 21 # 循環從國內獲取的Docker鏡像 22 for img in ${images[@]}; 23 do 24 # 從國內源下載鏡像 25 docker pull ${src_registry}/$img 26 # 改變鏡像名稱 27 docker tag ${src_registry}/$img kubernetesui/$img 28 # 刪除源始鏡像 29 docker rmi ${src_registry}/$img 30 # 打印分割線 31 echo "======== $img download OK ========" 32 done 33 echo "********** k8s dashboard docker images OK! **********"
部署 Dashboard
在k8s-master上操做
獲取dashboard的recommended.yaml
wget https://raw.githubusercontent.com/kubernetes/dashboard/v2.0.0-rc6/aio/deploy/recommended.yaml
修改recommended.yaml配置，以下：
1 [root@k8s-master k8s_install]# pwd 2 /root/k8s_install 3 [root@k8s-master k8s_install]# vim recommended.yaml 4 ……………… 5 kind: Service 6 apiVersion: v1 7 metadata: 8 labels: 9 k8s-app: kubernetes-dashboard 10 name: kubernetes-dashboard 11 namespace: kubernetes-dashboard 12 spec: 13 # 添加處 14 type: NodePort 15 ports: 16 - port: 443 17 targetPort: 8443 18 # 添加處 19 nodePort: 30001 20 selector: 21 k8s-app: kubernetes-dashboard 22 ……………… 23 template: 24 metadata: 25 labels: 26 k8s-app: kubernetes-dashboard 27 spec: 28 containers: 29 - name: kubernetes-dashboard 30 image: kubernetesui/dashboard:v2.0.0-rc6 31 # 修改處 從 Always 改成了 IfNotPresent 32 #imagePullPolicy: Always 33 imagePullPolicy: IfNotPresent 34 ……………… 35 spec: 36 containers: 37 - name: dashboard-metrics-scraper 38 image: kubernetesui/metrics-scraper:v1.0.3 39 # 添加以下行 40 imagePullPolicy: IfNotPresent
啓動dashboard
kubectl apply -f recommended.yaml
查看dashboard運行狀況
1 [root@k8s-master ~]# kubectl get pods -A -o wide 2 NAMESPACE NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES 3 kube-system coredns-6955765f44-kdcj7 1/1 Running 1 3h6m 10.244.0.5 k8s-master <none> <none> 4 kube-system coredns-6955765f44-v9pzk 1/1 Running 1 3h6m 10.244.0.4 k8s-master <none> <none> 5 kube-system etcd-k8s-master 1/1 Running 1 3h6m 172.16.1.110 k8s-master <none> <none> 6 kube-system kube-apiserver-k8s-master 1/1 Running 1 3h6m 172.16.1.110 k8s-master <none> <none> 7 kube-system kube-controller-manager-k8s-master 1/1 Running 1 3h6m 172.16.1.110 k8s-master <none> <none> 8 kube-system kube-flannel-ds-amd64-9nzhv 1/1 Running 1 167m 172.16.1.111 k8s-node01 <none> <none> 9 kube-system kube-flannel-ds-amd64-cft6f 1/1 Running 1 3h6m 172.16.1.110 k8s-master <none> <none> 10 kube-system kube-flannel-ds-amd64-sm7d7 1/1 Running 1 167m 172.16.1.112 k8s-node02 <none> <none> 11 kube-system kube-proxy-dprqm 1/1 Running 1 167m 172.16.1.112 k8s-node02 <none> <none> 12 kube-system kube-proxy-k9l5r 1/1 Running 1 3h6m 172.16.1.110 k8s-master <none> <none> 13 kube-system kube-proxy-mdfsl 1/1 Running 1 167m 172.16.1.111 k8s-node01 <none> <none> 14 kube-system kube-scheduler-k8s-master 1/1 Running 1 3h6m 172.16.1.110 k8s-master <none> <none> 15 kubernetes-dashboard dashboard-metrics-scraper-7b8b58dc8b-hr7lf 1/1 Running 0 93s 10.244.2.2 k8s-node02 <none> <none> 16 kubernetes-dashboard kubernetes-dashboard-755dcb9575-9c5h8 1/1 Running 0 93s 10.244.3.2 k8s-node01 <none> <none> 17 [root@k8s-master ~]# 18 [root@k8s-master ~]# kubectl get pods -n kubernetes-dashboard -o wide # -n 指定namespace 19 NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES 20 dashboard-metrics-scraper-7b8b58dc8b-hr7lf 1/1 Running 0 2m50s 10.244.2.2 k8s-node02 <none> <none> 21 kubernetes-dashboard-755dcb9575-9c5h8 1/1 Running 0 2m50s 10.244.3.2 k8s-node01 <none> <none>
查看services服務信息
1 # 或則使用 kubectl get svc -A 2 [root@k8s-master ~]# kubectl get services --all-namespaces 3 NAMESPACE NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE 4 default kubernetes ClusterIP 10.96.0.1 <none> 443/TCP 3h19m 5 kube-system kube-dns ClusterIP 10.96.0.10 <none> 53/UDP,53/TCP,9153/TCP 3h19m 6 kubernetes-dashboard dashboard-metrics-scraper ClusterIP 10.104.251.180 <none> 8000/TCP 4m55s 7 kubernetes-dashboard kubernetes-dashboard NodePort 10.111.61.235 <none> 443:30001/TCP 4m55s 8 [root@k8s-master ~]# 9 # 或則使用 kubectl get svc -n kubernetes-dashboard 10 [root@k8s-master ~]# kubectl get services --namespace=kubernetes-dashboard 11 NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE 12 dashboard-metrics-scraper ClusterIP 10.104.251.180 <none> 8000/TCP 5m13s 13 kubernetes-dashboard NodePort 10.111.61.235 <none> 443:30001/TCP 5m13s
瀏覽器訪問
根據規劃，訪問以下地址：
https://172.16.1.110:30001/
若是谷歌瀏覽器不能打開，參見以下博文：解決Google瀏覽器不能打開kubernetes dashboard方法【轉】
https://blog.csdn.net/weixin_30535043/article/details/102395724
也可使用火狐瀏覽器打開，瀏覽器添加例外後，訪問獲得以下頁面：
使用令牌登陸（須要建立可以訪問 Dashboard 的用戶）
建立service account並綁定默認cluster-admin管理員集羣角色
1 [root@k8s-master k8s_install]# pwd 2 /root/k8s_install 3 [root@k8s-master k8s_install]# cat account.yaml 4 # Create Service Account 5 apiVersion: v1 6 kind: ServiceAccount 7 metadata: 8 name: admin-user 9 namespace: kube-system 10 --- 11 # Create ClusterRoleBinding 12 apiVersion: rbac.authorization.k8s.io/v1 13 kind: ClusterRoleBinding 14 metadata: 15 name: admin-user 16 roleRef: 17 apiGroup: rbac.authorization.k8s.io 18 kind: ClusterRole 19 name: cluster-admin 20 subjects: 21 - kind: ServiceAccount 22 name: admin-user 23 namespace: kube-system 24 [root@k8s-master k8s_install]# kubectl apply -f account.yaml # 執行 yaml 文件
查看綁定信息
1 [root@k8s-master k8s_install]# kubectl get clusterrolebinding 2 NAME AGE 3 admin-user 58s 4 cluster-admin 5h47m 5 flannel 5h45m 6 kubeadm:kubelet-bootstrap 5h47m 7 kubeadm:node-autoapprove-bootstrap 5h47m 8 kubeadm:node-autoapprove-certificate-rotation 5h47m 9 ………………
獲取tocken
kubectl describe secrets -n kube-system $(kubectl -n kube-system get secret | grep admin-user | awk '{print $1}')
將獲得的token信息用於訪問，結果以下：【可能須要等幾分鐘頁面才能刷出來】
完畢！
———END———
若是以爲不錯就關注下唄 (-^O^-) ！
相關文章
- 1. 基於kubeadm快速部署kubernetes K8S V1.17.4集羣-無坑完整版
- 2. 基於kubeadm的kubernetes集羣部署
- 3. kubeadm快速部署k8s集羣
- 4. 經過kubeadm快速部署K8S集羣
- 5. kubeadm快速部署kubernetes集羣
- 6. kubeadm部署kubernetes 1.13.1集羣
- 7. Kubeadm 部署 Kubernetes 1.14.2 集羣
- 8. Kubeadm部署基於Calico K8s集羣
- 9. centos7系統kubeadm部署kubernetes(k8s)集羣
- 10. Kubernetes/3.使用Kubeadm部署k8s集羣
- 更多相關文章...
- • Swarm 集羣管理 - Docker教程
- • ASP 快速參考 - ASP 教程
- • 使用阿里雲OSS+CDN部署前端頁面與加速靜態資源
- • ☆基於Java Instrument的Agent實現
相關標籤/搜索
每日一句
-
每一个你不满意的现在，都有一个你没有努力的曾经。
最新文章
歡迎關注本站公眾號,獲取更多信息
相關文章
- 1. 基於kubeadm快速部署kubernetes K8S V1.17.4集羣-無坑完整版
- 2. 基於kubeadm的kubernetes集羣部署
- 3. kubeadm快速部署k8s集羣
- 4. 經過kubeadm快速部署K8S集羣
- 5. kubeadm快速部署kubernetes集羣
- 6. kubeadm部署kubernetes 1.13.1集羣
- 7. Kubeadm 部署 Kubernetes 1.14.2 集羣
- 8. Kubeadm部署基於Calico K8s集羣
- 9. centos7系統kubeadm部署kubernetes(k8s)集羣
- 10. Kubernetes/3.使用Kubeadm部署k8s集羣