本文首發於:微信公衆號「運維之美」,公衆號 ID:Hi-Linux。node
「運維之美」是一個有情懷、有態度,專一於 Linux 運維相關技術文章分享的公衆號。公衆號致力於爲廣大運維工做者分享各種技術文章和發佈最前沿的科技信息。公衆號的核心理念是:分享,咱們認爲只有分享才能使咱們的團體更強大。若是你想第一時間獲取最新技術文章,歡迎關注咱們!git
公衆號做者 Mike,一個月薪 3000 的雜工。從事 IT 相關工做 15+ 年,熱衷於互聯網技術領域,認同開源文化,對運維相關技術有本身獨特的看法。很願意將本身積累的經驗、心得、技能與你們分享交流,篇篇乾貨不要錯過喲。若是你想聯繫到我,可關注公衆號獲取相關信息。github
前段時間,咱們在 「使用 Kind 在 5 分鐘內快速部署一個 Kubernetes 高可用集羣」一文中介紹瞭如何使用 Kind
這個開箱便可快速部署 Kubernetes
高可用集羣的神器,相信很多同窗用上這個神器後大大的下降了 Kubernetes
集羣的部署難度和提升了 Kubernetes
集羣的部署速度。不過有一點比較遺憾的是 Kind
當前僅僅支持在本地快速構建一個開發或者測試環境,目前暫時仍是不支持在生產環境中部署 Kubernetes
高可用集羣的。shell
今天,咱們就要給你們介紹另外一款能夠支持在生產環境中部署 Kubernetes
高可用集羣的利器 Sealos
。api
Sealos
是一個 Go 語言開發的簡單幹淨且輕量的 Kubernetes
集羣部署工具,Sealos
能很好的支持在生產環境中部署高可用的 Kubernetes
集羣。服務器
Sealos
架構圖微信
Sealos 特性與優點架構
Sealos 1.0
版本時是使用 Ansible
實現的,這樣在使用時就必須先安裝 Ansible
及一些 Python
的依賴包和進行一些必須的相關環境配置,使用起來仍是比較複雜的。app
爲了解決這個問題,目前新版本的 Sealos
採用二進制文件方式提供。新版本 Sealos
沒有任何依賴,開箱即用。負載均衡
文件分發與遠程命令都經過調用對應
SDK
實現,不依賴其它任何環境。
不管是經過 KeepAlived
仍是 HAProxy
進行高可用集羣調度都會存在如下一些劣勢。
HAProxy
進程是否存活是沒法保證集羣高可用的,正確的檢測方式應該是判斷 ApiServer
是否 healthz
狀態。 Keepalived
可能存在 Cpu
佔滿的狀況。 Sealos
高可用實現是經過本地負載方式完成的。本地負載實現方式有多種,好比:IPVS
、Envoy
、Nginx
等,而 Sealos
採用的是經過內核 IPVS
來實現的。
本地負載:在每一個
Node
節點上都啓動一個負載均衡,同時監聽集羣中的多個Master
節點。
Sealos
選擇經過內核 IPVS
來實現主要有如下幾個緣由:
Envoy
等須要在每一個節點上都跑一個進程,消耗更多資源。雖然 IPVS
實際上也會多跑一個 lvscare
進程 ,可是 lvscare
只是負責管理 IPVS
規則,原理和 Kube-Proxy
相似。真正的流量直接從內核層面走,不須要把數據包先走到用戶態中去處理。 Envoy
存在啓動優先級的問題,好比:Join 集羣時,若是負載均衡沒有創建,Kubelet 就會啓動失敗。使用 IPVS
則不會存在這樣的問題,由於咱們能夠在 Join 集羣前先創建好轉發規則。 3.1 本地內核負載工做原理
Sealos
經過本地內核負載的方式實現每一個 Node
節點負載均衡訪問全部 Master
節點,具體參見下圖。
+----------+ +---------------+ virturl server: 127.0.0.1:6443
| mater0 |<----------------------| ipvs nodes | real servers:
+----------+ |+---------------+ 10.103.97.200:6443
| 10.103.97.201:6443
+----------+ | 10.103.97.202:6443
| mater1 |<---------------------+
+----------+ |
|
+----------+ |
| mater2 |<---------------------+
+----------+複製代碼
在全部 Node
節點上啓動一個包含 lvscare
進程的 Static Pod
對 IPVS
進行守護。 若是檢測到 ApiServer
不可用時,Sealos
會自動清理掉全部 Node
節點上對應的主節點 IPVS
轉發規則。直到 Master
節點恢復正常時,再自動生成對應規則。爲了實現以上功能,咱們在 Node
節點上增長了下面這些內容。
# 增長了一個 lvscare 的 Static Pod
$ cat /etc/kubernetes/manifests
# 自動建立的一些 IPVS 規則
$ ipvsadm -Ln
# 增長了對虛擬 IP 的地址解析
$ cat /etc/hosts 複製代碼
SFTP
或者 Wget
命令把離線安裝包拷貝到目標機器上,包括全部 Master
和 Node
節點。 Master 0
節點上執行 kubeadm init
命令。 Master
節點上執行 kubeadm join
命令並設置控制面。這個過程當中多個 Master
節點上的 Etcd
會自動組成一個 Etcd
集羣,並啓動相應控制組件。 Node
節點都加入到集羣中,這個過程當中會在 Node
節點上進行 IPVS
轉發規則和 /etc/hosts
配置。
Node
節點對ApiServer
的訪問均是經過域名進行的。由於Node
節點須要經過虛擬 IP
鏈接到多個Master
上,可是每一個Node
節點的Kubelet
與Kube-Proxy
訪問ApiServer
的地址是不一樣的,因此這裏使用域名來解析每一個節點上ApiServer
不一樣的IP
地址。
經過 Sealos
進行 Kubernetes
集羣部署,你須要先準備好如下環境。
Docker
的安裝和啓動。 Kubernetes
離線安裝包。 Sealos
。 Sealos 項目地址:https://github.com/fanux/sealos/releases
Kubernetes 離線安裝包:https://github.com/sealstore/cloud-kernel/releases/
目前 Sealos
已經支持最新版本 Kubernetes 1.16.0
的高可用集羣安裝。
--master Master 節點服務器地址列表
--node Node 節點服務器地址列表
--user 服務器 SSH 用戶名
--passwd 服務器 SSH 用戶密碼
--pkg-url 離線包所在位置,能夠是本地目錄,也能夠是一個 HTTP 地址
--version 指定須要部署的 Kubernetes 版本
--pk 指定 SSH 私鑰所在位置,默認爲 /root/.ssh/id_rsa
Other flags:
--kubeadm-config string kubeadm-config.yaml 用於指定自定義 kubeadm 配置文件
--vip string virtual ip (default "10.103.97.2") 本地負載時虛擬 IP ,不推薦修改,集羣外不可訪問複製代碼
經過 Sealos
部署 Kubernetes
集羣是很是簡單的 ,一般只需如下兩條指令就能夠完成安裝。
$ wget https://github.com/fanux/sealos/releases/download/v2.0.7/sealos && \
chmod +x sealos && mv sealos /usr/bin
$ sealos init --passwd YOUR_SERVER_PASSWD \
--master 192.168.0.2 --master 192.168.0.3 --master 192.168.0.4 \
--node 192.168.0.5 \
--pkg-url https://sealyun.oss-cn-beijing.aliyuncs.com/cf6bece970f6dab3d8dc8bc5b588cc18-1.16.0/kube1.16.0.tar.gz \
--version v1.16.0複製代碼
若是你的服務器已經配置了 SSH
免密登錄,你能夠直接使用對應密鑰進行部署。
$ sealos init --master 192.168.0.2 \
--node 192.168.0.3 \
--pkg-url https://YOUR_HTTP_SERVER/kube1.15.0.tar.gz \
--pk /root/kubernetes.pem \
--version v1.16.0複製代碼
若是你須要其它 Kubernetes
版本離線包,可到 Sealos
官網 http://store.lameleg.com/ 進行下載。
$ sealos init --master 192.168.0.2 \
--master 192.168.0.3 \
--master 192.168.0.4 \
--node 192.168.0.5 \
--user root \
--passwd your-server-password \
--version v1.16.0 \
--pkg-url /root/kube1.16.0.tar.gz 複製代碼
$ kubectl get node
NAME STATUS ROLES AGE VERSION
izj6cdqfqw4o4o9tc0q44rz Ready master 2m25s v1.16.0
izj6cdqfqw4o4o9tc0q44sz Ready master 119s v1.16.0
izj6cdqfqw4o4o9tc0q44tz Ready master 63s v1.16.0
izj6cdqfqw4o4o9tc0q44uz Ready <none> 38s v1.16.0
$ kubectl get pod --all-namespaces
NAMESPACE NAME READY STATUS RESTARTS AGE
kube-system calico-kube-controllers-5cbcccc885-9n2p8 1/1 Running 0 3m1s
kube-system calico-node-656zn 1/1 Running 0 93s
kube-system calico-node-bv5hn 1/1 Running 0 2m54s
kube-system calico-node-f2vmd 1/1 Running 0 3m1s
kube-system calico-node-tbd5l 1/1 Running 0 118s
kube-system coredns-fb8b8dccf-8bnkv 1/1 Running 0 3m1s
kube-system coredns-fb8b8dccf-spq7r 1/1 Running 0 3m1s
kube-system etcd-izj6cdqfqw4o4o9tc0q44rz 1/1 Running 0 2m25s
kube-system etcd-izj6cdqfqw4o4o9tc0q44sz 1/1 Running 0 2m53s
kube-system etcd-izj6cdqfqw4o4o9tc0q44tz 1/1 Running 0 118s
kube-system kube-apiserver-izj6cdqfqw4o4o9tc0q44rz 1/1 Running 0 2m15s
kube-system kube-apiserver-izj6cdqfqw4o4o9tc0q44sz 1/1 Running 0 2m54s
kube-system kube-apiserver-izj6cdqfqw4o4o9tc0q44tz 1/1 Running 1 47s
kube-system kube-controller-manager-izj6cdqfqw4o4o9tc0q44rz 1/1 Running 1 2m43s
kube-system kube-controller-manager-izj6cdqfqw4o4o9tc0q44sz 1/1 Running 0 2m54s
kube-system kube-controller-manager-izj6cdqfqw4o4o9tc0q44tz 1/1 Running 0 63s
kube-system kube-proxy-b9b9z 1/1 Running 0 2m54s
kube-system kube-proxy-nf66n 1/1 Running 0 3m1s
kube-system kube-proxy-q2bqp 1/1 Running 0 118s
kube-system kube-proxy-s5g2k 1/1 Running 0 93s
kube-system kube-scheduler-izj6cdqfqw4o4o9tc0q44rz 1/1 Running 1 2m43s
kube-system kube-scheduler-izj6cdqfqw4o4o9tc0q44sz 1/1 Running 0 2m54s
kube-system kube-scheduler-izj6cdqfqw4o4o9tc0q44tz 1/1 Running 0 61s
kube-system kube-sealyun-lvscare-izj6cdqfqw4o4o9tc0q44uz 1/1 Running 0 86s複製代碼
若是你以爲上面的教程仍是不夠直觀,如今就給你一個更簡單粗暴的學習方式。猛擊這裏的視頻,開始吧!
Kubernetes
集羣目前處於一個高速迭代期,每一個新版本的發佈都提供了很多新的特性。升級 Kubernetes
集羣版本也就成了屢見不鮮,Sealos
也爲你們提供很是方便的功能來幫助你們快速完成 Kubernetes
集羣升級。Kubernetes
集羣升級大體須要如下幾個步驟:
Kubeadm
並導入新的鏡像。 Master
節點上的 Kubelet
。 Master
節點。 Node
節點。 2.6.1 升級 Kubeadm
這一步主要用於更新 Kubeadm
、Kubectl
、Kubelet
等二進制文件,並導入新版本的鏡像。升級方法很簡單,只需複製離線包到全部節點並執行如下命令。
$ cd kube/shell && sh init.sh複製代碼
2.6.2 升級 Master 節點上的 Kubelet
升級 Kubelet
仍是很簡單的,只須要把新版本的 Kubelet
複製到 /usr/bin
目錄下替換舊版本,而後重啓 Kubelet
服務便可。
$ kubeadm upgrade plan
$ kubeadm upgrade apply v1.16.0
# 重啓 Kubelet
$ systemctl restart kubelet複製代碼
其中最重要的 kubeadm upgrade apply
命令主要完成如下一些操做。
Kube-DNS
和 Kube-Proxy
進行升級。 2.6.3 升級其它 Master 節點
$ kubeadm upgrade apply複製代碼
2.6.4 升級 Node 節點
升級 Node
節點前,首先要驅逐節點。
$ kubectl drain $NODE --ignore-daemonsets複製代碼
其次,是更新 Kubelet
的配置文件和升級 Node
節點的 Kubelet
。
$ kubeadm upgrade node config --kubelet-version v1.16.0
# 一樣是替換二進制文件並重啓 Kubelet
$ systemctl restart kubelet複製代碼
最後,恢復 Node
節點爲可調度狀態。
$ kubectl uncordon $NODE複製代碼
2.6.5 驗證集羣是否升級成功
$ kubectl get nodes複製代碼
若是輸出的節點的版本信息是和升級的版本一致的話,一切就搞定了!
若是你須要快速清理已部署的 Kubernetes
集羣環境,你可使用下面的命令快速完成。
$ sealos clean \
--master 192.168.0.2 \
--master 192.168.0.3 \
--master 192.168.0.4 \
--node 192.168.0.5 \
--user root \
--passwd your-server-password複製代碼
至此,使用 Sealos
快速部署一個生產級別的 Kubernetes
高可用集羣的基本方法就介紹完了。若是你對 Sealos
很是的感興趣,你還能夠去官網探索更多高級功能喲!
對於在生產環境中快速部署 Kubernetes
高可用集羣,你還有哪些更好用高效的方法呢?歡迎你們在留言討論喲!