kubernetes1.13.X實踐-部署

原文地址：junyao.tech/2018/12/04/…

最近沉迷在 Kubernetes部署中不能自拔，做爲初學者，基本上把可能踩的坑都踩了一遍，先分享一下怎麼部署 Kubernetes 集羣 首先，咱們要知道 Kubernetes 是什麼：

Kubernetes簡稱爲k8s，它是 Google 開源的容器集羣管理系統。在 Docker 技術的基礎上，爲容器化的應用提供部署運行、資源調度、服務發現和動態伸縮等一系列完整功能，提升了大規模容器集羣管理的便捷性。

K8s 是一個完備的分佈式系統支撐平臺，具備完備的集羣管理能力，多層次的安全防禦和准入機制、多租戶應用支撐能力、透明的服務註冊和發現機制、內建負載均衡器、強大的故障發現和自我修復能力、服務滾動升級和在線擴容能力、可擴展的資源自動調度機制以及多粒度的資源配額管理能力。同時 K8s 提供完善的管理工具，涵蓋了包括開發、部署測試、運維監控在內的各個環節。

安裝 Docker

添加使用 HTTPS 傳輸的軟件包以及 CA 證書

$ sudo apt-get update
$ sudo apt-get install \
    apt-transport-https \
    ca-certificates \
    curl \
    software-properties-common
複製代碼

添加軟件源的 GPG 密鑰

$ curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo apt-key add -
複製代碼

向 source.list 中添加 Docker 軟件源

$ sudo add-apt-repository \
   "deb [arch=amd64] https://download.docker.com/linux/ubuntu \ $(lsb_release -cs) \ stable"
$ sudo apt-get update
複製代碼

安裝指定版本

$ apt-cache madison docker-ce
$ sudo apt-get install docker-ce=<VERSION>
複製代碼

在測試或開發環境中 Docker 官方爲了簡化安裝流程，提供了一套便捷的安裝腳本，Ubuntu 系統上可使用這套腳本安裝：

$ curl -fsSL get.docker.com -o get-docker.sh
$ sudo sh get-docker.sh --mirror Aliyun
複製代碼

安裝 kubeadm, kubelet 和 kubectl

官方源

apt-get update && apt-get install -y apt-transport-https curl
curl -s https://packages.cloud.google.com/apt/doc/apt-key.gpg | apt-key add -
cat <<EOF >/etc/apt/sources.list.d/kubernetes.list
deb https://apt.kubernetes.io/ kubernetes-xenial main
EOF
apt-get update
apt-get install -y kubelet kubeadm kubectl
apt-mark hold kubelet kubeadm kubectl
複製代碼

由於某些你懂的緣由，要更換阿里源，並安裝kubelet kubeadm kubectl：

apt-get update && apt-get install -y apt-transport-https
curl https://mirrors.aliyun.com/kubernetes/apt/doc/apt-key.gpg | apt-key add - 
cat <<EOF >/etc/apt/sources.list.d/kubernetes.list
deb https://mirrors.aliyun.com/kubernetes/apt/ kubernetes-xenial main
EOF  
apt-get update
apt-get install -y kubelet kubeadm kubectl
複製代碼

關閉swap
$ sudo swapoff -a
複製代碼

使用kubeadm建立一個集羣

使用 kubeadm 建立 k8s 集羣其實還蠻簡單，最大的困難是那堵牆，當我費了一成天把那堵牆問題解決後，發現 1.13.0 版本竟然提供了中國特供的一個功能，因此把兩種方法都寫出來，供你們參考。

1.13.0 版本以前

查看kubeadm 會用到哪幾個鏡像：

$ kubeadm config images list
複製代碼

把獲得的

k8s.gcr.io/kube-apiserver:v1.13.0
k8s.gcr.io/kube-controller-manager:v1.13.0
k8s.gcr.io/kube-scheduler:v1.13.0
k8s.gcr.io/kube-proxy:v1.13.0
k8s.gcr.io/pause:3.1
k8s.gcr.io/etcd:3.2.24
k8s.gcr.io/coredns:1.2.6
複製代碼

寫個批量腳本獲取替換成阿里雲鏡像地址拉取images並打回標籤

images=(
kube-apiserver:v1.13.0
kube-controller-manager:v1.13.0
kube-scheduler:v1.13.0
kube-proxy:v1.13.0
pause:3.1
etcd:3.2.24
coredns:1.2.6
)
//pull鏡像從新標記tag
for imageName in ${images[@]} ; do
docker pull registry.cn-hangzhou.aliyuncs.com/google_containers/$imageName
docker tag registry.cn-hangzhou.aliyuncs.com/google_containers/$imageName k8s.gcr.io/$imageName
docker rmi registry.cn-hangzhou.aliyuncs.com/google_containers/$imageName
done
複製代碼

拉取完後
kubeadm init 就能夠完成 Kubernetes Master 的部署了

1.13.0版本以後

Kubenetes默認Registries地址是k8s.gcr.io，很明顯，在國內並不能訪問gcr.io，所以在kubeadm v1.13以前的版本，安裝起來很是麻煩，可是在1.13版本中終於解決了國內的痛點，其增長了一個--image-repository參數，默認值是k8s.gcr.io，咱們將其指定爲國內鏡像地址：registry.aliyuncs.com/google_containers，其它的就能夠徹底按照官方文檔來愉快的玩耍了。

$ kubeadm init \
	--image-repository registry.aliyuncs.com/google_containers \
    --pod-network-cidr=192.168.0.0/16 \
    --ignore-preflight-errors=cri \
    --kubernetes-version=1.13.1
複製代碼

kubeadm 會生成一行指令：

kubeadm join 10.168.0.2:6443 --token 00bwbx.uvnaa2ewjflwu1ry --discovery-token-ca-cert-hash sha256:00eb62a2a6020f94132e3fe1ab721349bbcd3e9b94da9654cfe15f2985ebd711
複製代碼

並提示以下命令執行確保受權配置

mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config

複製代碼

安裝完後， kubectl get 命令來查看當前惟一一個節點的狀態了

$ kubectl get nodes

NAME           STATUS   ROLES    AGE   VERSION
iz94t4csjq4z   NotReady    master   82m   v1.13.0
複製代碼

其中STATUS 是NotReady 咱們經過kubectl describe 來查看這個節點（Node）對象的詳細信息、狀態和事件（Event）信息

kubectl describe node {NAME}
//$ kubectl describe node iz94t4csjq4z

...
Conditions:
...

Ready   False ... KubeletNotReady  runtime network not ready: NetworkReady=false reason:NetworkPluginNotReady message:docker: network plugin is not ready: cni config uninitialized

複製代碼

經過 kubectl describe 指令的輸出，咱們能夠看到 NodeNotReady 的緣由在於，咱們還沒有部署任何網絡插件。 後面咱們將專門講關於部署插件。

另外，咱們還能夠經過 kubectl 檢查這個節點上各個系統 Pod 的狀態，其中，kube-system 是 Kubernetes 項目預留的系統 Pod 的工做空間（Namepsace，注意它並不是 Linux Namespace，它只是 Kubernetes 劃分 不同工做空間的單位）：

$ kubectl get pods -n kube-system

NAME               READY   STATUS   RESTARTS  AGE
coredns-78fcdf6894-j9s52     0/1    Pending  0     1h
coredns-78fcdf6894-jm4wf     0/1    Pending  0     1h
etcd-master           1/1    Running  0     2s
kube-apiserver-master      1/1    Running  0     1s
kube-controller-manager-master  0/1    Pending  0     1s
kube-proxy-xbd47         1/1    NodeLost  0     1h
kube-scheduler-master      1/1    Running  0     1s

複製代碼

能夠看到，CoreDNS、kube-controller-manager 等依賴於網絡的 Pod 都處於 Pending 狀態，即調度失敗。這固然是符合預期的：由於這個 Master 節點的網絡還沒有就緒。

命令

獲取端部節點

$ kubectl get nodes

NAME           STATUS   ROLES    AGE     VERSION
iz94t4csjq4z   Ready    master   3h57m   v1.13.0
複製代碼

查看node詳細

$ kubectl describe node iz94t4csjq4z
複製代碼

查看所有pod

$ kubectl get pods --all-namespaces
複製代碼

經過namespaces獲取pod

$ kubectl get pods -n kube-system

NAME                                    READY   STATUS    RESTARTS   AGE
coredns-86c58d9df4-qqddh                1/1     Running   0          3h58m
coredns-86c58d9df4-xxccw                1/1     Running   0          3h58m
etcd-iz94t4csjq4z                       1/1     Running   0          3h57m
kube-apiserver-iz94t4csjq4z             1/1     Running   0          3h57m
kube-controller-manager-iz94t4csjq4z    1/1     Running   1          3h57m
kube-proxy-k4zkp                        1/1     Running   0          3h58m
kube-scheduler-iz94t4csjq4z             1/1     Running   1          3h57m
kubernetes-dashboard-79ff88449c-dxbsb   1/1     Running   0          3h27m
weave-net-c7dvl                         2/2     Running   0          3h49m
複製代碼

查看pod

$ kubectl describe pod -n kube-system
複製代碼

查看pod具體詳情

$ kubectl describe pod kubernetes-dashboard-767dc7d4d-mg5gw -n kube-system
複製代碼

$ kubectl edit cm coredns -n kube-system
$ kubectl -n kube-system edit configmap coredns
複製代碼

單節點配置( Master 隔離)

默認狀況下 Master 節點是不容許運行用戶 Pod 的，而 Kubernetes 作到這一點，依靠的是 是 Kubernetes 的 Taint/Toleration 機制。一旦某個節點被加上了一個 Taint，即被「打上了污點」那麼全部 Pod 就都不能在這個節點上運行，由於 Kubernetes 的 Pod 都有「潔癖」。 若是你經過 kubectl describe 檢查一下 Master 節點的 Taint 字段，就會有所發現了：

$ kubectl describe node master

Name:               master
Roles:              master
Taints:             node-role.kubernetes.io/master:NoSchedule

複製代碼

能夠看到，Master 節點默認被加上了node-role.kubernetes.io/master:NoSchedule這樣一個「污點」，其中「鍵」是node-role.kubernetes.io/master，而沒有提供「值」。

若是你就是想要一個單節點的 Kubernetes，刪除個 Taint 纔是正確的選擇：

$ kubectl taint nodes --all node-role.kubernetes.io/master-
複製代碼

如上所示，咱們在「node-role.io/master」這個鍵後… Taint。

這個步驟的配置最終使Master節點能容許運行用戶pod，也是確保下面插件部署能正確運行。

到了這一步，一個基本完整的 Kubernetes 集羣就完畢了。

部署插件

部署 Dashboard 可視化插件

kubernetes-dashboard先從國內鏡像拉下來：

$ docker pull registry.cn-hangzhou.aliyuncs.com/google_containers/kubernetes-dashboard-amd64:v1.10.0
$ docker tag registry.cn-hangzhou.aliyuncs.com/google_containers/kubernetes-dashboard-amd64:v1.10.0 k8s.gcr.io/kubernetes-dashboard-amd64:v1.10.0
$ docker rmi registry.cn-hangzhou.aliyuncs.com/google_containers/kubernetes-dashboard-amd64:v1.10.0
複製代碼

打上kis.gcr.io的tag，這樣執行Dashboard拉取的時候就直接本地拿pull下來的直接安裝。

安裝
$ kubectl apply -f https://raw.githubusercontent.com/kubernetes/dashboard/master/aio/deploy/recommended/kubernetes-dashboard.yaml
刪除
$ kubectl delete -f https://raw.githubusercontent.com/kubernetes/dashboard/master/aio/deploy/recommended/kubernetes-dashboard.yaml
複製代碼

安裝後

$ kubectl describe pod kubernetes-dashboard -n kube-system 
複製代碼

可查看Dashboard狀態

部署網絡插件

部署網絡插件很是簡單 由於這裏的鏡像來源不是kis.gcr.io,因此咱們就不先拉取鏡像下來.

安裝
$ kubectl apply -f https://git.io/weave-kube-1.6
刪除
$ kubectl delete -f https://git.io/weave-kube-1.6
複製代碼

部署完成後，咱們能夠經過 kubectl get 從新檢查Pod的狀態：

$ kubectl get pods -n kube-system

NAME                             READY     STATUS    RESTARTS   AGE
coredns-78fcdf6894-j9s52         1/1       Running   0          1d
coredns-78fcdf6894-jm4wf         1/1       Running   0          1d
etcd-master                      1/1       Running   0          9s
kube-apiserver-master            1/1       Running   0          9s
kube-controller-manager-master   1/1       Running   0          9s
kube-proxy-xbd47                 1/1       Running   0          1d
kube-scheduler-master            1/1       Running   0          9s
weave-net-cmk27                  2/2       Running   0          19s

複製代碼

部署容器存儲插件

安裝
$ kubectl apply -f https://raw.githubusercontent.com/rook/rook/master/cluster/examples/kubernetes/ceph/operator.yaml
$ kubectl apply -f https://raw.githubusercontent.com/rook/rook/master/cluster/examples/kubernetes/ceph/cluster.yaml


刪除
$ kubectl delete -f https://raw.githubusercontent.com/rook/rook/master/cluster/examples/kubernetes/ceph/operator.yaml
$ kubectl delete -f https://raw.githubusercontent.com/rook/rook/master/cluster/examples/kubernetes/ceph/cluster.yaml

查看安裝狀況
$ kubectl get pods -n rook-ceph-system
$ kubectl get pods -n rook-ceph
複製代碼

加入工做節點

SSH到其餘機器上，成爲 root 用戶（如：sudo su -），安裝 kubeadm, kubelet and kubectl。

而後複製上面的運行kubeadm init命令時最後一句輸出，並運行它的：

$ kubeadm join --token <token> <master-ip>:<master-port> --discovery-token-ca-cert-hash sha256:<hash>
複製代碼

這時候回到master 節點服務器，運行下面命令查看節點狀態：

$ kubectl get nodes
複製代碼

NAME STATUS ROLES AGE VERSION izuf6e4bl8eavupeu7q9a0z Ready 98s v1.13.0 izuf6e4bl8eavupeu7q9a1z Ready master 75m v1.13.0 若是咱們忘記了Master節點的加入token，可使用以下命令來查看：

$ kubeadm token list
複製代碼

默認狀況下，token的有效期是24小時，若是咱們的token已通過期的話，可使用如下命令從新生成：

$ kubeadm token create
複製代碼

若是咱們也沒有--discovery-token-ca-cert-hash的值，可使用如下命令生成:

$ openssl x509 -pubkey -in /etc/kubernetes/pki/ca.crt | openssl rsa -pubin -outform der 2>/dev/null | openssl dgst -sha256 -hex | sed 's/^.* //'
複製代碼

至此一個簡單的 k8s 集羣部署就差很少了。

常見問題

2018/11/05 04:04:18 [INFO] plugin/reload: Running configuration MD5 = f65c4821c8a9b7b5eb30fa4fbc167769
2018/11/05 04:04:24 [FATAL] plugin/loop: Seen "HINFO IN 6900627972087569316.7905576541070882081." more than twice, loop detected
複製代碼

配置：--resolv-conf
/etc/systemd/system/kubelet.service.d/10-kubeadm.conf
複製代碼

stackoverflow.com/questions/5… stackoverflow.com/questions/5… www.jianshu.com/p/e4dcd56fa…

systemctl daemon-reload && systemctl restart kubelet
複製代碼