使用 Sealos 在 3 分鐘內快速部署一個生產級別的 Kubernetes 高可用集羣

時間 2019-11-10

標籤使用 sealos 分鐘快速部署一個生產級別 kubernetes 可用集羣欄目負載均衡简体版

原文原文鏈接

本文首發於：微信公衆號「運維之美」，公衆號 ID：Hi-Linux。node

「運維之美」是一個有情懷、有態度，專一於 Linux 運維相關技術文章分享的公衆號。公衆號致力於爲廣大運維工做者分享各種技術文章和發佈最前沿的科技信息。公衆號的核心理念是：分享，咱們認爲只有分享才能使咱們的團體更強大。若是你想第一時間獲取最新技術文章，歡迎關注咱們！nginx

公衆號做者 Mike，一個月薪 3000 的雜工。從事 IT 相關工做 15+ 年，熱衷於互聯網技術領域，認同開源文化，對運維相關技術有本身獨特的看法。很願意將本身積累的經驗、心得、技能與你們分享交流，篇篇乾貨不要錯過喲。若是你想聯繫到我，可關注公衆號獲取相關信息。git

前段時間，咱們在「使用 Kind 在 5 分鐘內快速部署一個 Kubernetes 高可用集羣」一文中介紹瞭如何使用 Kind 這個開箱便可快速部署 Kubernetes 高可用集羣的神器，相信很多同窗用上這個神器後大大的下降了 Kubernetes 集羣的部署難度和提升了 Kubernetes 集羣的部署速度。不過有一點比較遺憾的是 Kind 當前僅僅支持在本地快速構建一個開發或者測試環境，目前暫時仍是不支持在生產環境中部署 Kubernetes 高可用集羣的。github

今天，咱們就要給你們介紹另外一款能夠支持在生產環境中部署 Kubernetes 高可用集羣的利器 Sealos。shell

什麼是 Sealos ？

Sealos 是一個 Go 語言開發的簡單幹淨且輕量的 Kubernetes 集羣部署工具，Sealos 能很好的支持在生產環境中部署高可用的 Kubernetes 集羣。api

Sealos 架構圖服務器

Sealos 特性與優點微信

支持離線安裝，工具與部署資源包分離，方便不一樣版本間快速升級。架構
證書有效期默認延期至 99 年。app
工具使用很是簡單。
支持使用自定義配置文件，可靈活完成集羣環境定製。
使用內核進行本地負載，穩定性極高，故障排查也極其簡單。

Sealos 設計原則和工做原理

1. 爲何不使用 Ansilbe 實現

Sealos 1.0 版本時是使用 Ansible 實現的，這樣在使用時就必須先安裝 Ansible 及一些 Python 的依賴包和進行一些必須的相關環境配置，使用起來仍是比較複雜的。

爲了解決這個問題，目前新版本的 Sealos 採用二進制文件方式提供。新版本 Sealos 沒有任何依賴，開箱即用。

文件分發與遠程命令都經過調用對應 SDK 實現，不依賴其它任何環境。

2. 爲何不用 KeepAlived 和 HAProxy 實現集羣高可用

不管是經過 KeepAlived 仍是 HAProxy 進行高可用集羣調度都會存在如下一些劣勢。

軟件源不一致可能致使容器中安裝的軟件版本也不一致，進而會引發相應檢查腳本不生效等故障。
可能由於系統依賴庫問題，在某些特定環境下就直接沒法完成安裝。
只依靠檢測 HAProxy 進程是否存活是沒法保證集羣高可用的，正確的檢測方式應該是判斷 ApiServer 是否 healthz 狀態。
Keepalived 可能存在 Cpu 佔滿的狀況。

3. 本地負載爲何不使用 Envoy 或者 Nginx 實現

Sealos 高可用實現是經過本地負載方式完成的。本地負載實現方式有多種，好比：IPVS、Envoy、Nginx 等，而 Sealos 採用的是經過內核 IPVS 來實現的。

本地負載：在每一個 Node 節點上都啓動一個負載均衡，同時監聽集羣中的多個 Master 節點。

Sealos 選擇經過內核 IPVS 來實現主要有如下幾個緣由：

若是使用 Envoy 等須要在每一個節點上都跑一個進程，消耗更多資源。雖然 IPVS 實際上也會多跑一個 lvscare 進程，可是 lvscare 只是負責管理 IPVS 規則，原理和 Kube-Proxy相似。真正的流量直接從內核層面走，不須要把數據包先走到用戶態中去處理。
使用 Envoy 存在啓動優先級的問題，好比：Join 集羣時，若是負載均衡沒有創建，Kubelet 就會啓動失敗。使用 IPVS 則不會存在這樣的問題，由於咱們能夠在 Join 集羣前先創建好轉發規則。

3.1 本地內核負載工做原理

Sealos 經過本地內核負載的方式實現每一個 Node 節點負載均衡訪問全部 Master 節點，具體參見下圖。

+----------+                       +---------------+  virturl server: 127.0.0.1:6443
  | mater0   |<----------------------| ipvs nodes    |    real servers:
  +----------+                      |+---------------+            10.103.97.200:6443
                                    |                             10.103.97.201:6443
  +----------+                      |                             10.103.97.202:6443
  | mater1   |<---------------------+
  +----------+                      |
                                    |
  +----------+                      |
  | mater2   |<---------------------+
  +----------+

在全部 Node 節點上啓動一個包含 lvscare 進程的 Static Pod 對 IPVS 進行守護。若是檢測到 ApiServer 不可用時，Sealos 會自動清理掉全部 Node 節點上對應的主節點 IPVS 轉發規則。直到 Master 節點恢復正常時，再自動生成對應規則。爲了實現以上功能，咱們在 Node 節點上增長了下面這些內容。

# 增長了一個 lvscare 的 Static Pod
$ cat /etc/kubernetes/manifests

# 自動建立的一些 IPVS 規則
$ ipvsadm -Ln            

# 增長了對虛擬 IP 的地址解析
$ cat /etc/hosts

4. 爲何要定製 Kubeadm

解決默認證書有效期只有一年的問題。
更方便的實現本地負載。
核心的功能均集成到 Kubeadm 中了，Sealos 只管分發和執行上層命令，相對就更輕量了。

5. Sealos 執行流程

經過 SFTP 或者 Wget 命令把離線安裝包拷貝到目標機器上，包括全部 Master 和 Node 節點。
在 Master 0 節點上執行 kubeadm init 命令。
在其它 Master 節點上執行 kubeadm join 命令並設置控制面。這個過程當中多個 Master 節點上的 Etcd 會自動組成一個 Etcd 集羣，並啓動相應控制組件。
全部 Node 節點都加入到集羣中，這個過程當中會在 Node 節點上進行 IPVS 轉發規則和 /etc/hosts 配置。

Node 節點對 ApiServer 的訪問均是經過域名進行的。由於 Node 節點須要經過 虛擬 IP 鏈接到多個 Master 上，可是每一個 Node 節點的 Kubelet 與 Kube-Proxy 訪問 ApiServer 的地址是不一樣的，因此這裏使用域名來解析每一個節點上 ApiServer 不一樣的 IP 地址。

使用 Sealos 部署高可用 Kubernetes 集羣

1. 安裝相關環境依賴

經過 Sealos 進行 Kubernetes 集羣部署，你須要先準備好如下環境。

在全部要部署的機器上，先完成 Docker 的安裝和啓動。
下載 Kubernetes 離線安裝包。
下載最新版本 Sealos。
對全部服務器進行時間同步。

Sealos 項目地址：https://github.com/fanux/sealos/releases

Kubernetes 離線安裝包：https://github.com/sealstore/cloud-kernel/releases/

2. 經過 Sealos 部署高可用 Kubernetes 集羣

目前 Sealos 已經支持最新版本 Kubernetes 1.16.0 的高可用集羣安裝。

2.1 Sealos 經常使用參數說明

--master   Master 節點服務器地址列表
--node     Node 節點服務器地址列表
--user     服務器 SSH 用戶名
--passwd   服務器 SSH 用戶密碼
--pkg-url  離線包所在位置，能夠是本地目錄，也能夠是一個 HTTP 地址
--version  指定須要部署的 Kubernetes 版本
--pk       指定 SSH 私鑰所在位置，默認爲 /root/.ssh/id_rsa

Other flags:

 --kubeadm-config string   kubeadm-config.yaml 用於指定自定義 kubeadm 配置文件
 --vip string              virtual ip (default "10.103.97.2") 本地負載時虛擬 IP ，不推薦修改，集羣外不可訪問

2.2 部署一個單主節點的 Kubernetes 集羣

經過 Sealos 部署 Kubernetes 集羣是很是簡單的，一般只需如下兩條指令就能夠完成安裝。

$ wget https://github.com/fanux/sealos/releases/download/v2.0.7/sealos && \
    chmod +x sealos && mv sealos /usr/bin 

$ sealos init --passwd YOUR_SERVER_PASSWD \
    --master 192.168.0.2  --master 192.168.0.3  --master 192.168.0.4  \
    --node 192.168.0.5 \
    --pkg-url https://sealyun.oss-cn-beijing.aliyuncs.com/cf6bece970f6dab3d8dc8bc5b588cc18-1.16.0/kube1.16.0.tar.gz \
    --version v1.16.0

若是你的服務器已經配置了 SSH 免密登錄，你能夠直接使用對應密鑰進行部署。

$ sealos init --master 192.168.0.2 \
    --node 192.168.0.3 \
    --pkg-url https://YOUR_HTTP_SERVER/kube1.15.0.tar.gz \
    --pk /root/kubernetes.pem \
    --version v1.16.0

若是你須要其它 Kubernetes 版本離線包，可到 Sealos 官網 http://store.lameleg.com/ 進行下載。

2.3 部署一個多主節點的高可用 Kubernetes 集羣

$ sealos init --master 192.168.0.2 \
    --master 192.168.0.3 \
    --master 192.168.0.4 \
    --node 192.168.0.5 \
    --user root \
    --passwd your-server-password \
    --version v1.16.0 \
    --pkg-url /root/kube1.16.0.tar.gz

2.4 驗證部署是否成功

$ kubectl get node
NAME                      STATUS   ROLES    AGE     VERSION
izj6cdqfqw4o4o9tc0q44rz   Ready    master   2m25s   v1.16.0
izj6cdqfqw4o4o9tc0q44sz   Ready    master   119s    v1.16.0
izj6cdqfqw4o4o9tc0q44tz   Ready    master   63s     v1.16.0
izj6cdqfqw4o4o9tc0q44uz   Ready    <none>   38s     v1.16.0

$ kubectl get pod --all-namespaces
NAMESPACE     NAME                                              READY   STATUS    RESTARTS   AGE
kube-system   calico-kube-controllers-5cbcccc885-9n2p8          1/1     Running   0          3m1s
kube-system   calico-node-656zn                                 1/1     Running   0          93s
kube-system   calico-node-bv5hn                                 1/1     Running   0          2m54s
kube-system   calico-node-f2vmd                                 1/1     Running   0          3m1s
kube-system   calico-node-tbd5l                                 1/1     Running   0          118s
kube-system   coredns-fb8b8dccf-8bnkv                           1/1     Running   0          3m1s
kube-system   coredns-fb8b8dccf-spq7r                           1/1     Running   0          3m1s
kube-system   etcd-izj6cdqfqw4o4o9tc0q44rz                      1/1     Running   0          2m25s
kube-system   etcd-izj6cdqfqw4o4o9tc0q44sz                      1/1     Running   0          2m53s
kube-system   etcd-izj6cdqfqw4o4o9tc0q44tz                      1/1     Running   0          118s
kube-system   kube-apiserver-izj6cdqfqw4o4o9tc0q44rz            1/1     Running   0          2m15s
kube-system   kube-apiserver-izj6cdqfqw4o4o9tc0q44sz            1/1     Running   0          2m54s
kube-system   kube-apiserver-izj6cdqfqw4o4o9tc0q44tz            1/1     Running   1          47s
kube-system   kube-controller-manager-izj6cdqfqw4o4o9tc0q44rz   1/1     Running   1          2m43s
kube-system   kube-controller-manager-izj6cdqfqw4o4o9tc0q44sz   1/1     Running   0          2m54s
kube-system   kube-controller-manager-izj6cdqfqw4o4o9tc0q44tz   1/1     Running   0          63s
kube-system   kube-proxy-b9b9z                                  1/1     Running   0          2m54s
kube-system   kube-proxy-nf66n                                  1/1     Running   0          3m1s
kube-system   kube-proxy-q2bqp                                  1/1     Running   0          118s
kube-system   kube-proxy-s5g2k                                  1/1     Running   0          93s
kube-system   kube-scheduler-izj6cdqfqw4o4o9tc0q44rz            1/1     Running   1          2m43s
kube-system   kube-scheduler-izj6cdqfqw4o4o9tc0q44sz            1/1     Running   0          2m54s
kube-system   kube-scheduler-izj6cdqfqw4o4o9tc0q44tz            1/1     Running   0          61s
kube-system   kube-sealyun-lvscare-izj6cdqfqw4o4o9tc0q44uz      1/1     Running   0          86s

2.5 最簡單粗暴的視頻教程

若是你以爲上面的教程仍是不夠直觀，如今就給你一個更簡單粗暴的學習方式。猛擊這裏的視頻，開始吧！

2.6 升級 Kubernetes 集羣版本

Kubernetes 集羣目前處於一個高速迭代期，每一個新版本的發佈都提供了很多新的特性。升級 Kubernetes 集羣版本也就成了屢見不鮮，Sealos 也爲你們提供很是方便的功能來幫助你們快速完成 Kubernetes 集羣升級。Kubernetes 集羣升級大體須要如下幾個步驟：

升級全部節點的 Kubeadm 並導入新的鏡像。
升級 Master 節點上的 Kubelet。
升級其它 Master 節點。
升級 Node 節點。
驗證集羣狀態。

2.6.1 升級 Kubeadm

這一步主要用於更新 Kubeadm、Kubectl、Kubelet 等二進制文件，並導入新版本的鏡像。升級方法很簡單，只需複製離線包到全部節點並執行如下命令。

$ cd kube/shell && sh init.sh

2.6.2 升級 Master 節點上的 Kubelet

升級 Kubelet 仍是很簡單的，只須要把新版本的 Kubelet 複製到 /usr/bin 目錄下替換舊版本，而後重啓 Kubelet 服務便可。

$ kubeadm upgrade plan
$ kubeadm upgrade apply v1.16.0

# 重啓 Kubelet
$ systemctl restart kubelet

其中最重要的 kubeadm upgrade apply 命令主要完成如下一些操做。

驗證集羣是否可升級並執行版本升級策略。
確認離線包中相關鏡像是否可用。
對控制組件的容器進行升級，失敗就回滾。
對 Kube-DNS 和 Kube-Proxy 進行升級。
建立新的證書文件並備份舊的證書文件。

2.6.3 升級其它 Master 節點

$ kubeadm upgrade apply

2.6.4 升級 Node 節點

升級 Node 節點前，首先要驅逐節點。

$ kubectl drain $NODE --ignore-daemonsets

其次，是更新 Kubelet 的配置文件和升級 Node 節點的 Kubelet。

$ kubeadm upgrade node config --kubelet-version v1.16.0

# 一樣是替換二進制文件並重啓 Kubelet
$ systemctl restart kubelet

最後，恢復 Node 節點爲可調度狀態。

$ kubectl uncordon $NODE

2.6.5 驗證集羣是否升級成功

$ kubectl get nodes

若是輸出的節點的版本信息是和升級的版本一致的話，一切就搞定了！

3. 集羣清理

若是你須要快速清理已部署的 Kubernetes 集羣環境，你可使用下面的命令快速完成。

$ sealos clean \
    --master 192.168.0.2 \
    --master 192.168.0.3 \
    --master 192.168.0.4 \
    --node 192.168.0.5 \
    --user root \
    --passwd your-server-password

至此，使用 Sealos 快速部署一個生產級別的 Kubernetes 高可用集羣的基本方法就介紹完了。若是你對 Sealos 很是的感興趣，你還能夠去官網探索更多高級功能喲！

對於在生產環境中快速部署 Kubernetes 高可用集羣，你還有哪些更好用高效的方法呢？歡迎你們在留言討論喲！