CentOS 7.5 使用 yum 安裝 Kubernetes 集羣(二)

時間  2019-11-11
標籤 centos 7.5 使用 yum 安裝 kubernetes 集羣 欄目 CentOS 简体版
原文   原文鏈接

1、安裝方式介紹

一、yum 安裝

目前CentOS官方已經把Kubernetes源放入到本身的默認 extras 倉庫裏面，使用 yum 安裝，好處是簡單，壞處也很明顯，須要官方更新 yum 源才能得到最新版本的軟件，而全部軟件的依賴又不能本身指定，尤爲是你的操做系統版本若是低的話，使用 yum 源安裝的 Kubernetes 的版本也會受到限制，一般會低於官方不少版本，我安裝的時候目前官方版本爲1.12，而 yum 源中的版本爲1.5.2。node

二、二進制安裝

使用二進制文件安裝，好處是能夠安裝任意版本的 Kubernetes，壞處是配置比較複雜，不少軟件包由於一些緣由，咱們在大陸是訪問不到的。
請查看博文：http://blog.51cto.com/wzlinux/2322345linux

三、Kubeadm 安裝

kubeadm 是 Kubernetes 官方提供的用於快速安裝 Kubernetes 集羣的工具，伴隨Kubernetes每一個版本的發佈都會同步更新，kubeadm會對集羣配置方面的一些實踐作調整，經過實驗 kubeadm 能夠學習到 Kubernetes 官方在集羣配置上一些新的最佳實踐。nginx

1.4 版本對於Linux主要發行版本Ubuntu Xenial和Red Hat centos7的用戶，可使用熟悉的 apt-get 和 yum 來直接安裝 Kubernetes。再好比，1.4版本引入了 kubeadm 命令，將集羣啓動簡化爲兩條命令，不須要再使用複雜的kube-up腳本。git

Kubernetes 的官方文檔更新的速度太快了，咱們注意到在 Kubernetes 1.9 的文檔Using kubeadm to Create a Cluster中已經給出了目前1.9的 kubeadm 的主要特性已經處於beta狀態了，在2018年將進入GA狀態，說明kubeadm離能夠在生產環境中使用的距離愈來愈近了，這也是咱們之後注意使用的安裝方式，可是爲了瞭解其中的安裝過程，咱們先從其餘兩種安裝方式入手。
請查看博文：http://blog.51cto.com/wzlinux/2322616github

這裏咱們選用第一種方式安裝。docker

2、主要組件說明

一、Master組件

Master組件提供集羣的管理控制中心。json

Master組件能夠在集羣中任何節點上運行。可是爲了簡單起見，一般在一臺VM/機器上啓動全部Master組件，而且不會在此VM/機器上運行用戶容器centos

  • kube-apiserver
    kube-apiserver用於暴露Kubernetes API。任何的資源請求/調用操做都是經過kube-apiserver提供的接口進行。api

  • etcd
    etcd是Kubernetes提供默認的存儲系統，保存全部集羣數據，使用時須要爲etcd數據提供備份計劃。網絡

  • kube-controller-manager
    kube-controller-manager運行管理控制器，它們是集羣中處理常規任務的後臺線程。邏輯上，每一個控制器是一個單獨的進程，但爲了下降複雜性，它們都被編譯成單個二進制文件，並在單個進程中運行。

  • kube-scheduler
    kube-scheduler 監視新建立沒有分配到Node的Pod，爲Pod選擇一個Node。

二、Node 組件

  • kubelet
    kubelet是主要的節點代理，它會監視已分配給節點的pod，具體功能：
  1. 安裝Pod所需的volume。
  2. 下載Pod的Secrets。
  3. Pod中運行的 docker（或experimentally，rkt）容器。
  4. 按期執行容器健康檢查。
  5. Reports the status of the pod back to the rest of the system, by creating a mirror pod if necessary.
  6. Reports the status of the node back to the rest of the system.

  • kube-proxy
    kube-proxy經過在主機上維護網絡規則並執行鏈接轉發來實現Kubernetes服務抽象。

  • docker
    docker用於運行容器。

  • flannel
    Flannel 是 CoreOS 團隊針對 Kubernetes 設計的一個覆蓋網絡（Overlay Network）工具，須要另外下載部署。咱們知道當咱們啓動 Docker 後會有一個用於和容器進行交互的 IP 地址，若是不去管理的話可能這個 IP 地址在各個機器上是同樣的，而且僅限於在本機上進行通訊，沒法訪問到其餘機器上的 Docker 容器。Flannel 的目的就是爲集羣中的全部節點從新規劃 IP 地址的使用規則，從而使得不一樣節點上的容器可以得到同屬一個內網且不重複的 IP 地址，並讓屬於不一樣節點上的容器可以直接經過內網 IP 通訊。

3、環境準備

一、節點準備

IP 角色 主要組件
172.18.8.200 master：kubernetes-master kube-apiserver，kube-apiserver，kube-controller-manager，kube-scheduler，kubelet，etcd
172.18.8.201 node01：kubernetes-node docker，kubelet，kube-proxy，flannel
172.18.8.202 node02：kubernetes-node docker，kubelet，kube-proxy，flannel

節點及網絡規劃圖以下：

二、如今倉庫中的版本

軟件 版本
kubernetes-master 1.5.2-0.7.git269f928.el7
kubernetes-node 1.5.2-0.7.git269f928.el7
CentOS 7.5 CentOS Linux release 7.5.1804
Docker docker-1.13.1-75
etcd 3.2.22-1.el7
flannel 0.7.1-4.el7

三、環境準備

修改文件/etc/hostname。
編輯文件/etc/hosts，增長以下內容，

172.18.8.200 master.wzlinux.com master
172.18.8.201 node01.wzlinux.com node01
172.18.8.202 node02.wzlinux.com node02

關閉防火牆。

systemctl stop firewalld.service
systemctl disable firewalld.service

關閉SELinux。

sed -i 's#SELINUX=enforcing#SELINUX=disabled#g' /etc/selinux/config
setenforce 0

關閉swap。

swapoff -a
sed -i 's/.*swap.*/#&/' /etc/fstab

4、安裝 master 節點

一、軟件安裝

安裝須要的軟件。

yum install kubernetes-master etcd -y

修改共用的配置文件/etc/kubernetes/config，修改master節點，由於咱們都在一臺機器上面，不修改也能夠。

###
# kubernetes system config
#
# The following values are used to configure various aspects of all
# kubernetes services, including
#
#   kube-apiserver.service
#   kube-controller-manager.service
#   kube-scheduler.service
#   kubelet.service
#   kube-proxy.service
# logging to stderr means we get it in the systemd journal
KUBE_LOGTOSTDERR="--logtostderr=true"

# journal message level, 0 is debug
KUBE_LOG_LEVEL="--v=0"

# Should this cluster be allowed to run privileged docker containers
KUBE_ALLOW_PRIV="--allow-privileged=false"

# How the controller-manager, scheduler, and proxy find the apiserver
KUBE_MASTER="--master=http://172.18.8.200:8080"

二、配置 etcd

由於咱們不少服務使用到etcd，因此咱們首先配置etcd服務。
在master節點上編輯文件/etc/etcd/etcd.conf，修改成以下內容，主要是修改監聽IP：

[root@master ~]# cat /etc/etcd/etcd.conf
#[Member]
#ETCD_CORS=""
ETCD_DATA_DIR="/var/lib/etcd/default.etcd"
#ETCD_WAL_DIR=""
#ETCD_LISTEN_PEER_URLS="http://localhost:2380"
ETCD_LISTEN_CLIENT_URLS="http://0.0.0.0:2379"
#ETCD_MAX_SNAPSHOTS="5"
#ETCD_MAX_WALS="5"
ETCD_NAME="default"
#ETCD_SNAPSHOT_COUNT="100000"
#ETCD_HEARTBEAT_INTERVAL="100"
#ETCD_ELECTION_TIMEOUT="1000"
#ETCD_QUOTA_BACKEND_BYTES="0"
#ETCD_MAX_REQUEST_BYTES="1572864"
#ETCD_GRPC_KEEPALIVE_MIN_TIME="5s"
#ETCD_GRPC_KEEPALIVE_INTERVAL="2h0m0s"
#ETCD_GRPC_KEEPALIVE_TIMEOUT="20s"
#
#[Clustering]
#ETCD_INITIAL_ADVERTISE_PEER_URLS="http://localhost:2380"
ETCD_ADVERTISE_CLIENT_URLS="http://0.0.0.0:2379"
#ETCD_DISCOVERY=""
#ETCD_DISCOVERY_FALLBACK="proxy"
#ETCD_DISCOVERY_PROXY=""
#ETCD_DISCOVERY_SRV=""
#ETCD_INITIAL_CLUSTER="default=http://localhost:2380"
#ETCD_INITIAL_CLUSTER_TOKEN="etcd-cluster"
#ETCD_INITIAL_CLUSTER_STATE="new"
#ETCD_STRICT_RECONFIG_CHECK="true"
#ETCD_ENABLE_V2="true"
#
#[Proxy]
#ETCD_PROXY="off"
#ETCD_PROXY_FAILURE_WAIT="5000"
#ETCD_PROXY_REFRESH_INTERVAL="30000"
#ETCD_PROXY_DIAL_TIMEOUT="1000"
#ETCD_PROXY_WRITE_TIMEOUT="5000"
#ETCD_PROXY_READ_TIMEOUT="0"
#
#[Security]
#ETCD_CERT_FILE=""
#ETCD_KEY_FILE=""
#ETCD_CLIENT_CERT_AUTH="false"
#ETCD_TRUSTED_CA_FILE=""
#ETCD_AUTO_TLS="false"
#ETCD_PEER_CERT_FILE=""
#ETCD_PEER_KEY_FILE=""
#ETCD_PEER_CLIENT_CERT_AUTH="false"
#ETCD_PEER_TRUSTED_CA_FILE=""
#ETCD_PEER_AUTO_TLS="false"
#
#[Logging]
#ETCD_DEBUG="false"
#ETCD_LOG_PACKAGE_LEVELS=""
#ETCD_LOG_OUTPUT="default"
#
#[Unsafe]
#ETCD_FORCE_NEW_CLUSTER="false"
#
#[Version]
#ETCD_VERSION="false"
#ETCD_AUTO_COMPACTION_RETENTION="0"
#
#[Profiling]
#ETCD_ENABLE_PPROF="false"
#ETCD_METRICS="basic"
#
#[Auth]
#ETCD_AUTH_TOKEN="simple"

啓動服務。

systemctl start etcd
systemctl enable etcd

查看啓動狀態。

[root@master ~]# netstat -tlnp|grep etcd
tcp        0      0 127.0.0.1:2380          0.0.0.0:*               LISTEN      1506/etcd           
tcp6       0      0 :::2379                 :::*                    LISTEN      1506/etcd

若要部署多節點集羣也比較簡單，參見 https://github.com/etcd-io/etcd/blob/master/Documentation/op-guide/clustering.md
[cluster]
ETCD_INITIAL_ADVERTISE_PEER_URLS：該成員節點在整個集羣中的通訊地址列表，這個地址用來傳輸集羣數據的地址。所以這個地址必須是能夠鏈接集羣中全部的成員的。
ETCD_INITIAL_CLUSTER：配置集羣內部全部成員地址。

三、配置 apiserver 服務

編輯文件/etc/kubernetes/apiserver，修改成以下，注意KUBE_ADMISSION_CONTROL參數：

[root@master ~]# cat /etc/kubernetes/apiserver
###
# kubernetes system config
#
# The following values are used to configure the kube-apiserver
#

# The address on the local server to listen to.
#KUBE_API_ADDRESS="--insecure-bind-address=127.0.0.1"
KUBE_API_ADDRESS="--address=0.0.0.0"

# The port on the local server to listen on.
KUBE_API_PORT="--port=8080"

# Port minions listen on
KUBELET_PORT="--kubelet-port=10250"

# Comma separated list of nodes in the etcd cluster
KUBE_ETCD_SERVERS="--etcd-servers=http://172.18.8.200:2379"

# Address range to use for services
KUBE_SERVICE_ADDRESSES="--service-cluster-ip-range=10.254.0.0/16"

# default admission control policies
#KUBE_ADMISSION_CONTROL="--admission-control=NamespaceLifecycle,NamespaceExists,LimitRanger,SecurityContextDeny,ServiceAccount,ResourceQuota"

KUBE_ADMISSION_CONTROL="--admission-control=NamespaceLifecycle,NamespaceExists,LimitRanger,ResourceQuota"

# Add your own!
KUBE_API_ARGS=""

配置/etc/kubernetes/controller-manager和/etc/kubernetes/scheduler暫時不作修改，啓動服務。

systemctl start kube-apiserver
systemctl start kube-controller-manager
systemctl start kube-scheduler
systemctl enable kube-apiserver
systemctl enable kube-controller-manager
systemctl enable kube-scheduler

查看各服務的啓動狀態。

[root@master ~]# netstat -tlnp|grep kube-apiserver
tcp6       0      0 :::6443                 :::*                    LISTEN      1622/kube-apiserver 
tcp6       0      0 :::8080                 :::*                    LISTEN      1622/kube-apiserver 

[root@master ~]# netstat -tlnp|grep kube-scheduler
tcp6       0      0 :::10251                :::*                    LISTEN      1646/kube-scheduler

5、配置node節點

一、安裝須要的軟件

yum install kubernetes-node flannel docker -y

給docker配置國內加速器。

sudo mkdir -p /etc/docker
sudo tee /etc/docker/daemon.json <<-'EOF'
{
  "registry-mirrors": ["https://hdi5v8p1.mirror.aliyuncs.com"]
}
EOF
sudo systemctl daemon-reload

全部node節點編輯配置文件/etc/kubernetes/config，修改成以下內容：

###
# kubernetes system config
#
# The following values are used to configure various aspects of all
# kubernetes services, including
#
#   kube-apiserver.service
#   kube-controller-manager.service
#   kube-scheduler.service
#   kubelet.service
#   kube-proxy.service
# logging to stderr means we get it in the systemd journal
KUBE_LOGTOSTDERR="--logtostderr=true"

# journal message level, 0 is debug
KUBE_LOG_LEVEL="--v=0"

# Should this cluster be allowed to run privileged docker containers
KUBE_ALLOW_PRIV="--allow-privileged=false"

# How the controller-manager, scheduler, and proxy find the apiserver
KUBE_MASTER="--master=http://172.18.8.200:8080"

二、配置 kubelet 服務

編輯文件/etc/kubernetes/kubelet，修改內容以下：

###
# kubernetes kubelet (minion) config

# The address for the info server to serve on (set to 0.0.0.0 or "" for all interfaces)
KUBELET_ADDRESS="--address=0.0.0.0"

# The port for the info server to serve on
#KUBELET_PORT="--port=10250"

# You may leave this blank to use the actual hostname
#KUBELET_HOSTNAME="--hostname-override=172.18.8.201"

# location of the api-server
KUBELET_API_SERVER="--api-servers=http://172.18.8.200:8080"

# pod infrastructure container
#KUBELET_POD_INFRA_CONTAINER="--pod-infra-container-image=registry.access.redhat.com/rhel7/pod-infrastructure:latest"

# Add your own!
KUBELET_ARGS=""

啓動服務。

systemctl start kubelet
systemctl start kube-proxy
systemctl enable kubelet
systemctl enable kube-proxy

三、配置 flannel 網絡

編輯全部node節點/etc/sysconfig/flanneld，修改內容以下：

[root@node01 ~]# cat /etc/sysconfig/flanneld
# Flanneld configuration options  

# etcd url location.  Point this to the server where etcd runs
FLANNEL_ETCD_ENDPOINTS="http://172.18.8.200:2379"

# etcd config key.  This is the configuration key that flannel queries
# For address range assignment
FLANNEL_ETCD_PREFIX="/atomic.io/network"

# Any additional options that you want to pass
#FLANNEL_OPTIONS=""

在master節點上爲 falnnel 建立分配的網絡。

[root@master ~]#  etcdctl mk /atomic.io/network/config '{"Network": "10.244.0.0/16"}'

在各node節點上啓動 flannel。

systemctl start flanneld
systemctl enable flanneld

四、啓動 docker 服務

由於要讓pod使用flannel建立的網絡，因此docker的啓動要在flannel後面。

systemctl restart docker
systemctl enable docker

6、檢查驗收

在master查看各node節點狀況。

[root@master ~]# kubectl get nodes
NAME                 STATUS    AGE
node01.wzlinux.com   Ready     12m
node02.wzlinux.com   Ready     10m

建立pod。

kubectl run nginx --image=nginx --replicas=3

發現容器一直在建立。

[root@master ~]# kubectl get pods -o wide
NAME                    READY     STATUS              RESTARTS   AGE       IP        NODE
nginx-701339712-099j9   0/1       ContainerCreating   0          3m        <none>    node01.wzlinux.com
nginx-701339712-vw0zh   0/1       ContainerCreating   0          3m        <none>    node02.wzlinux.com
nginx-701339712-wqjq1   0/1       ContainerCreating   0          3m        <none>    node02.wzlinux.com

這種狀況，咱們可使用kubectl describe pod POD_NAME查看Pod由於什麼緣由一直卡主。

由於網絡的緣由，這個地方咱們訪問不到，不過咱們能夠間接的獲取這個鏡像，那咱們經過阿里雲上面的鏡像來替代，在因此node節點執行下面的命令。

docker pull registry.cn-hangzhou.aliyuncs.com/google_containers/pause:3.0
docker tag registry.cn-hangzhou.aliyuncs.com/google_containers/pause:3.0 gcr.io/google_containers/pause-amd64:3.0
docker image rm registry.cn-hangzhou.aliyuncs.com/google_containers/pause:3.0

稍等片刻，咱們在查看pod狀態，發現已經OK，若是還有問題，能夠繼續進入容器查看日誌。

[root@master ~]# kubectl get pods -o wide
NAME                    READY     STATUS    RESTARTS   AGE       IP            NODE
nginx-701339712-099j9   1/1       Running   0          11m       10.244.32.2   node01.wzlinux.com
nginx-701339712-vw0zh   1/1       Running   0          11m       10.244.53.3   node02.wzlinux.com
nginx-701339712-wqjq1   1/1       Running   0          11m       10.244.53.2   node02.wzlinux.com

可是還有問題，這是由於iptables的FORWARD是默認禁止的，禁用了iptables filter表中FOWARD鏈，這樣會引發Kubernetes集羣中跨Node的Pod沒法通訊。

咱們這裏手動在全部node節點上面放行。

iptables -P FORWARD ACCEPT

附錄：版本更加新的yum倉庫

目前自帶的 yum 源的軟件版本都比較低，也能夠更改倉庫，使用稍微較高的一個版本，目前該倉庫的版本爲1.10。
http://cbs.centos.org/repos/virt7-kubernetes-110-release/x86_64/os/Packages/

cat <<EOF > /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=http://cbs.centos.org/repos/virt7-kubernetes-110-release/x86_64/os/
enabled=1
gpgcheck=0
EOF

其餘的配置操做照舊，若是感受下載速度慢，能夠提早把rpm包下載下來，安裝配置好查看版本。

[root@master ~]# kubectl version
Client Version: version.Info{Major:"1", Minor:"10", GitVersion:"v1.10.3", GitCommit:"2bba0127d85d5a46ab4b778548be28623b32d0b0", GitTreeState:"archive", BuildDate:"2018-06-05T13:37:07Z", GoVersion:"go1.9.4", Compiler:"gc", Platform:"linux/amd64"}
Server Version: version.Info{Major:"1", Minor:"10", GitVersion:"v1.10.3", GitCommit:"2bba0127d85d5a46ab4b778548be28623b32d0b0", GitTreeState:"archive", BuildDate:"2018-06-05T13:37:07Z", GoVersion:"go1.9.4", Compiler:"gc", Platform:"linux/amd64"}

注意：新的版本部分配置文件有些不同，配置的時候請注意。

到此，使用yum倉庫安裝的版本已經完成。

相關文章
相關標籤/搜索
每日一句
    每一个你不满意的现在，都有一个你没有努力的曾经。
本站公眾號
   歡迎關注本站公眾號,獲取更多信息
聯繫我們 最近搜索 最新文章 沪ICP备13005482号-10 MyBatis教程 SQL 教程 MySQL教程 Java 教程 Thymeleaf 教程 Hibernate教程 Spring教程 Redis教程