基於kubernetes構建Docker集羣管理詳解

時間  2020-01-01
標籤 基於 kubernetes 構建 docker 集羣 管理 詳解 欄目 Docker 简体版
原文   原文鏈接

1、前言
        Kubernetes 是Google開源的容器集羣管理系統，基於Docker構建一個容器的調度服務，提供資源調度、均衡容災、服務註冊、動態擴縮容等功能套件，目前最新版本爲0.6.2。本文介紹如何基於Centos7.0構建Kubernetes平臺，在正式介紹以前，你們有必要先理解Kubernetes幾個核心概念及其承擔的功能。如下爲Kubernetes的架構設計圖：
點擊在新窗口中瀏覽此圖片
1. Pods
        在Kubernetes系統中，調度的最小顆粒不是單純的容器，而是抽象成一個Pod，Pod是一個能夠被建立、銷燬、調度、管理的最小的部署單元。好比一個或一組容器。
2. Replication Controllers
        Replication Controller是Kubernetes系統中最有用的功能，實現複製多個Pod副本，每每一個應用須要多個Pod來支撐，而且能夠保證其複製的副本數，即便副本所調度分配的主宿機出現異常，經過Replication Controller能夠保證在其它主宿機啓用同等數量的Pod。Replication Controller能夠經過repcon模板來建立多個Pod副本，一樣也能夠直接複製已存在Pod，須要經過Label selector來關聯。
三、Services
        Services是Kubernetes最外圍的單元，經過虛擬一個訪問IP及服務端口，能夠訪問咱們定義好的Pod資源，目前的版本是經過iptables的nat轉發來實現，轉發的目標端口爲Kube_proxy生成的隨機端口，目前只提供GOOGLE雲上的訪問調度，如GCE。若是與咱們自建的平臺進行整合？請關注下篇《kubernetes與HECD架構的整合》文章。
四、Labels
        Labels是用於區分Pod、Service、Replication Controller的key/value鍵值對，僅使用在Pod、Service、 Replication Controller之間的關係識別，但對這些單元自己進行操做時得使用name標籤。
五、Proxy
        Proxy不但解決了同一主宿機相同服務端口衝突的問題，還提供了Service轉發服務端口對外提供服務的能力，Proxy後端使用了隨機、輪循負載均衡算法。

        說說我的一點見解，目前Kubernetes 保持一週一小版本、一個月一大版本的節奏，迭代速度極快，同時也帶來了不一樣版本操做方法的差別，另外官網文檔更新速度相對滯後及欠缺，給初學者帶來必定挑戰。在上游接入層官方側重點還放在GCE（Google Compute Engine）的對接優化，針對我的私有云還未推出一套可行的接入解決方案。在v0.5版本中才引用service代理轉發的機制，且是經過iptables來實現，在高併發下性能使人擔心。但做者依然看好Kubernetes將來的發展，至少目前還未看到另一個成體系、具有良好生態圈的平臺，相信在V1.0時就會具有生產環境的服務支撐能力。

1、環境部署
一、平臺版本說明
    1）Centos7.0 OS
    2）Kubernetes V0.6.2
    3）etcd version 0.4.6
    4）Docker version 1.3.2

二、平臺環境說明
點擊在新窗口中瀏覽此圖片

三、環境安裝
    1）系統初始化工做（全部主機）
    系統安裝-選擇[最小化安裝]
    php

引用node


    # yum -y install wget ntpdate bind-utils
    # wget http://mirror.centos.org/centos/7/extras/x86_64/Packages/epel-release-7-2.noarch.rpm
    # yum update
    python


    CentOS 7.0默認使用的是firewall做爲防火牆，這裏改成iptables防火牆（熟悉度更高，非必須）。
    1.一、關閉firewall：
    linux

引用git


    # systemctl stop firewalld.service #中止firewall
    # systemctl disable firewalld.service #禁止firewall開機啓動
    github


    1.二、安裝iptables防火牆
    web

引用算法


    # yum install iptables-services #安裝
    # systemctl start iptables.service #最後重啓防火牆使配置生效
    # systemctl enable iptables.service #設置防火牆開機啓動
    docker


    2）安裝Etcd（192.168.1.10主機）
    apache

引用


    # mkdir -p /home/install && cd /home/install  
    # wget https://github.com/coreos/etcd/releases/download/v0.4.6/etcd-v0.4.6-linux-amd64.tar.gz  
    # tar -zxvf etcd-v0.4.6-linux-amd64.tar.gz  
    # cd etcd-v0.4.6-linux-amd64  
    # cp etcd* /bin/  
    # /bin/etcd -version  
    etcd version 0.4.6  
    


    啓動服務etcd服務，若有提供第三方管理需求，另需在啓動參數中添加「-cors='*'」參數。
    

引用


    # mkdir /data/etcd  
    # /bin/etcd -name etcdserver -peer-addr 192.168.1.10:7001 -addr 192.168.1.10:4001 -data-dir /data/etcd -peer-bind-addr 0.0.0.0:7001 -bind-addr 0.0.0.0:4001 &
    


    配置etcd服務防火牆，其中4001爲服務端口，7001爲集羣數據交互端口。
  

引用


    # iptables -I INPUT -s 192.168.1.0/24 -p tcp --dport 4001 -j ACCEPT
    # iptables -I INPUT -s 192.168.1.0/24 -p tcp --dport 7001 -j ACCEPT
  



    3）安裝Kubernetes（涉及全部Master、Minion主機）
    經過yum源方式安裝，默認將安裝etcd, docker, and cadvisor相關包。
    

引用


    # curl https://copr.fedoraproject.org/coprs/eparis/kubernetes-epel-7/repo/epel-7/eparis-kubernetes-epel-7-epel-7.repo -o /etc/yum.repos.d/eparis-kubernetes-epel-7-epel-7.repo
    #yum -y install kubernetes
    


    升級至v0.6.2，覆蓋bin文件便可，方法以下：
    

引用


    # mkdir -p /home/install && cd /home/install
    # wget https://github.com/GoogleCloudPlatform/kubernetes/releases/download/v0.6.2/kubernetes.tar.gz
    # tar -zxvf kubernetes.tar.gz
    # tar -zxvf kubernetes/server/kubernetes-server-linux-amd64.tar.gz
    # cp kubernetes/server/bin/kube* /usr/bin
    


    校驗安裝結果，出版如下信息說明安裝正常。
    

引用


    [root@SN2014-12-200 bin]# /usr/bin/kubectl version
    Client Version: version.Info{Major:"0", Minor:"6+", GitVersion:"v0.6.2", GitCommit:"729fde276613eedcd99ecf5b93f095b8deb64eb4", GitTreeState:"clean"}
    Server Version: &version.Info{Major:"0", Minor:"6+", GitVersion:"v0.6.2", GitCommit:"729fde276613eedcd99ecf5b93f095b8deb64eb4", GitTreeState:"clean"}
    


    4）Kubernetes配置（僅Master主機）
    master運行三個組件,包括apiserver、scheduler、controller-manager，相關配置項也只涉及這三塊。
4.一、【/etc/kubernetes/config】

view plainprint?

  1. # Comma seperated list of nodes in the etcd cluster  

  2. KUBE_ETCD_SERVERS="--etcd_servers=http://192.168.1.10:4001"  

  3.   

  4. # logging to stderr means we get it in the systemd journal  

  5. KUBE_LOGTOSTDERR="--logtostderr=true"  

  6.   

  7. # journal message level, 0 is debug  

  8. KUBE_LOG_LEVEL="--v=0"  

  9.   

  10. # Should this cluster be allowed to run privleged docker containers  

  11. KUBE_ALLOW_PRIV="--allow_privileged=false"  


4.二、【/etc/kubernetes/apiserver】

view plainprint?

  1. # The address on the local server to listen to.  

  2. KUBE_API_ADDRESS="--address=0.0.0.0"  

  3.   

  4. # The port on the local server to listen on.  

  5. KUBE_API_PORT="--port=8080"  

  6.   

  7. # How the replication controller and scheduler find the kube-apiserver  

  8. KUBE_MASTER="--master=192.168.1.200:8080"  

  9.   

  10. # Port minions listen on  

  11. KUBELET_PORT="--kubelet_port=10250"  

  12.   

  13. # Address range to use for services  

  14. KUBE_SERVICE_ADDRESSES="--portal_net=10.254.0.0/16"  

  15.   

  16. # Add you own!  

  17. KUBE_API_ARGS=""  


4.三、【/etc/kubernetes/controller-manager】

view plainprint?

  1. # Comma seperated list of minions  

  2. KUBELET_ADDRESSES="--machines= 192.168.1.201,192.168.1.202"  

  3.   

  4. # Add you own!  

  5. KUBE_CONTROLLER_MANAGER_ARGS=""  


4.四、【/etc/kubernetes/scheduler】

view plainprint?

  1. # Add your own!  

  2. KUBE_SCHEDULER_ARGS=""  


    啓動master側相關服務
    

引用


    # systemctl daemon-reload
    # systemctl start kube-apiserver.service kube-controller-manager.service kube-scheduler.service
    # systemctl enable kube-apiserver.service kube-controller-manager.service kube-scheduler.service
    


    5）Kubernetes配置（僅minion主機）
        minion運行兩個組件,包括kubelet、proxy，相關配置項也只涉及這兩塊。
    Docker啓動腳本更新
    # vi /etc/sysconfig/docker
    添加：-H tcp://0.0.0.0:2375，最終配置以下，以便之後提供遠程API維護。
    OPTIONS=--selinux-enabled -H tcp://0.0.0.0:2375 -H fd://

    修改minion防火牆配置，一般master找不到minion主機多半是因爲端口沒有連通。
    iptables -I INPUT -s 192.168.1.200 -p tcp --dport 10250 -j ACCEPT

    修改kubernetes minion端配置，以192.168.1.201主機爲例，其它minion主機同理。
5.一、【/etc/kubernetes/config】

view plainprint?

  1. # Comma seperated list of nodes in the etcd cluster  

  2. KUBE_ETCD_SERVERS="--etcd_servers=http://192.168.1.10:4001"  

  3.   

  4. # logging to stderr means we get it in the systemd journal  

  5. KUBE_LOGTOSTDERR="--logtostderr=true"  

  6.   

  7. # journal message level, 0 is debug  

  8. KUBE_LOG_LEVEL="--v=0"  

  9.   

  10. # Should this cluster be allowed to run privleged docker containers  

  11. KUBE_ALLOW_PRIV="--allow_privileged=false"  


5.二、【/etc/kubernetes/kubelet】

view plainprint?

  1. ###  

  2. # kubernetes kubelet (minion) config  

  3.   

  4. # The address for the info server to serve on (set to 0.0.0.0 or "" for all interfaces)  

  5. KUBELET_ADDRESS="--address=0.0.0.0"  

  6.   

  7. # The port for the info server to serve on  

  8. KUBELET_PORT="--port=10250"  

  9.   

  10. # You may leave this blank to use the actual hostname  

  11. KUBELET_HOSTNAME="--hostname_override=192.168.1.201"  

  12.   

  13. # Add your own!  

  14. KUBELET_ARGS=""  


5.三、【/etc/kubernetes/proxy】

view plainprint?

  1. KUBE_PROXY_ARGS=""  


啓動kubernetes服務
    

引用


# systemctl daemon-reload
# systemctl enable docker.service kubelet.service kube-proxy.service
# systemctl start docker.service kubelet.service kube-proxy.service
    


三、校驗安裝(在master主機操做，或可訪問master主機8080端口的client api主機)
  1) kubernetes經常使用命令
    

引用


# kubectl get minions    #查查看minion主機
# kubectl get pods    #查看pods清單
# kubectl get services 或 kubectl get services -o json    #查看service清單
# kubectl get replicationControllers    #查看replicationControllers清單
# for i in `kubectl get pod|tail -n +2|awk '{print $1}'`; do kubectl delete pod $i; done    #刪除全部pods
    


    或者經過Server api for REST方式（推薦，及時性更高）：
    

引用


# curl -s -L http://192.168.1.200:8080/api/v1beta1/version | python -mjson.tool    #查看kubernetes版本
# curl -s -L http://192.168.1.200:8080/api/v1beta1/pods | python -mjson.tool    #查看pods清單
# curl -s -L http://192.168.1.200:8080/api/v1beta1/replicationControllers | python -mjson.tool    #查看replicationControllers清單
# curl -s -L http://192.168.1.200:8080/api/v1beta1/minions | python -m json.tool    #查查看minion主機
# curl -s -L http://192.168.1.200:8080/api/v1beta1/services | python -m json.tool    #查看service清單
    


注：在新版kubernetes中，全部的操做命令都整合至kubectl，包括kubecfg、kubectl.sh、kubecfg.sh等

  2）建立測試pod單元
   # /home/kubermange/pods && cd /home/kubermange/pods
   # vi apache-pod.json

view plainprint?

  1. {  

  2.   "id": "fedoraapache",  

  3.   "kind": "Pod",  

  4.   "apiVersion": "v1beta1",  

  5.   "desiredState": {  

  6.     "manifest": {  

  7.       "version": "v1beta1",  

  8.       "id": "fedoraapache",  

  9.       "containers": [{  

  10.         "name": "fedoraapache",  

  11.         "p_w_picpath": "fedora/apache",  

  12.         "ports": [{  

  13.           "containerPort": 80,  

  14.           "hostPort": 8080  

  15.         }]  

  16.       }]  

  17.     }  

  18.   },  

  19.   "labels": {  

  20.     "name": "fedoraapache"  

  21.   }  

  22. }  


    # kubectl create -f apache-pod.json
    # kubectl get pod

引用


NAME                IMAGE(S)            HOST                LABELS              STATUS
fedoraapache        fedora/apache       192.168.1.202/      name=fedoraapache   Running


    啓動瀏覽器訪問http://192.168.1.202:8080/，對應的服務端口切記在iptables中已添加。效果圖以下：
點擊在新窗口中瀏覽此圖片
    觀察kubernetes在etcd中的數據存儲結構
點擊在新窗口中瀏覽此圖片

    觀察單個pods的數據存儲結構，以json的格式存儲。
點擊在新窗口中瀏覽此圖片

2、實戰操做
    任務：經過Kubernetes建立一個LNMP架構的服務集羣，以及觀察其負載均衡，涉及鏡像「yorko/webserver」已經push至registry.hub.docker.com，你們能夠經過「docker pull yorko/webserver」下載。
    

引用


    # mkdir -p /home/kubermange/replication && mkdir -p /home/kubermange/service
    # cd /home/kubermange/replication 
    


一、 建立一個replication ，本例直接在replication模板中建立pod並複製，也可獨立建立pod再經過replication來複制。
【replication/lnmp-replication.json】

view plainprint?

  1. {  

  2.   "id": "webserverController",  

  3.   "kind": "ReplicationController",  

  4.   "apiVersion": "v1beta1",  

  5.   "labels": {"name": "webserver"},  

  6.   "desiredState": {  

  7.     "replicas": 2,  

  8.     "replicaSelector": {"name": "webserver_pod"},  

  9.     "podTemplate": {  

  10.       "desiredState": {  

  11.          "manifest": {  

  12.            "version": "v1beta1",  

  13.            "id": "webserver",  

  14.            "volumes": [  

  15.              {"name":"httpconf", "source":{"hostDir":{"path":"/etc/httpd/conf"}}},  

  16.              {"name":"httpconfd", "source":{"hostDir":{"path":"/etc/httpd/conf.d"}}},  

  17.              {"name":"httproot", "source":{"hostDir":{"path":"/data"}}}  

  18.             ],  

  19.            "containers": [{  

  20.              "name": "webserver",  

  21.              "p_w_picpath": "yorko/webserver",  

  22.              "command": ["/bin/sh", "-c", "/usr/bin/supervisord -c /etc/supervisord.conf"],  

  23.              "volumeMounts": [  

  24.                {"name":"httpconf", "mountPath":"/etc/httpd/conf"},  

  25.                {"name":"httpconfd", "mountPath":"/etc/httpd/conf.d"},  

  26.                {"name":"httproot", "mountPath":"/data"}  

  27.               ],  

  28.              "cpu": 100,  

  29.              "memory": 50000000,  

  30.              "ports": [{  

  31.                "containerPort": 80,  

  32.              },{  

  33.                "containerPort": 22,  

  34.             }]  

  35.            }]  

  36.          }  

  37.        },  

  38.        "labels": {"name": "webserver_pod"},  

  39.       },  

  40.   }  

  41. }  


    執行建立命令
    #kubectl create -f lnmp-replication.json
    觀察生成的pod副本清單：
[root@SN2014-12-200 replication]# kubectl get pod

引用


NAME                                   IMAGE(S)            HOST                LABELS               STATUS
84150ab7-89f8-11e4-970d-000c292f1620   yorko/webserver     192.168.1.202/      name=webserver_pod   Running
84154ed5-89f8-11e4-970d-000c292f1620   yorko/webserver     192.168.1.201/      name=webserver_pod   Running
840beb1b-89f8-11e4-970d-000c292f1620   yorko/webserver     192.168.1.202/      name=webserver_pod   Running
84152d93-89f8-11e4-970d-000c292f1620   yorko/webserver     192.168.1.202/      name=webserver_pod   Running
840db120-89f8-11e4-970d-000c292f1620   yorko/webserver     192.168.1.201/      name=webserver_pod   Running
8413b4f3-89f8-11e4-970d-000c292f1620   yorko/webserver     192.168.1.201/      name=webserver_pod   Running


二、建立一個service，經過selector指定 "name": "webserver_pod"與pods關聯。
【service/lnmp-service.json】

view plainprint?

  1. {  

  2.   "id": "webserver",  

  3.   "kind": "Service",  

  4.   "apiVersion": "v1beta1",  

  5.   "selector": {  

  6.     "name": "webserver_pod",  

  7.   },  

  8.   "protocol": "TCP",  

  9.   "containerPort": 80,  

  10.   "port": 8080  

  11. }  


    執行建立命令：
    # kubectl create -f lnmp-service.json

    登陸minion主機（192.168.1.201），查詢主宿機生成的iptables轉發規則（最後一行）
    # iptables -nvL -t nat

引用


Chain KUBE-PROXY (2 references)
pkts bytes target     prot opt in     out     source               destination         
    2   120 REDIRECT   tcp  --  *      *       0.0.0.0/0            10.254.102.162       /* kubernetes */ tcp dpt:443 redir ports 47700
    1    60 REDIRECT   tcp  --  *      *       0.0.0.0/0            10.254.28.74         /* kubernetes-ro */ tcp dpt:80 redir ports 60099
    0     0 REDIRECT   tcp  --  *      *       0.0.0.0/0            10.254.216.51        /* webserver */ tcp dpt:8080 redir ports 40689


    訪問測試，http://192.168.1.201:40689/info.php，刷新瀏覽器發現proxy後端的變化，默認爲隨機輪循算法。
點擊在新窗口中瀏覽此圖片
點擊在新窗口中瀏覽此圖片

3、測試過程
    一、pods自動複製、銷燬測試，觀察kubernetes自動保持副本數（6份）
刪除replicationcontrollers中一個副本fedoraapache
[root@SN2014-12-200 pods]# kubectl delete pods fedoraapache
I1219 23:59:39.305730    9516 restclient.go:133] Waiting for completion of operation 142530
fedoraapache

引用


[root@SN2014-12-200 pods]# kubectl get pods
NAME                                   IMAGE(S)            HOST                LABELS              STATUS
5d70892e-8794-11e4-970d-000c292f1620   fedora/apache       192.168.1.201/      name=fedoraapache   Running
5d715e56-8794-11e4-970d-000c292f1620   fedora/apache       192.168.1.202/      name=fedoraapache   Running
5d717f8d-8794-11e4-970d-000c292f1620   fedora/apache       192.168.1.202/      name=fedoraapache   Running
5d71c584-8794-11e4-970d-000c292f1620   fedora/apache       192.168.1.201/      name=fedoraapache   Running
5d71a494-8794-11e4-970d-000c292f1620   fedora/apache       192.168.1.202/      name=fedoraapache   Running


#自動生成出一個副本，保持6份的效果

引用


[root@SN2014-12-200 pods]# kubectl get pods
NAME                                   IMAGE(S)            HOST                LABELS              STATUS
5d717f8d-8794-11e4-970d-000c292f1620   fedora/apache       192.168.1.202/      name=fedoraapache   Running
5d71c584-8794-11e4-970d-000c292f1620   fedora/apache       192.168.1.201/      name=fedoraapache   Running
5d71a494-8794-11e4-970d-000c292f1620   fedora/apache       192.168.1.202/      name=fedoraapache   Running
2a8fb993-8798-11e4-970d-000c292f1620   fedora/apache       192.168.1.201/      name=fedoraapache   Running
5d70892e-8794-11e4-970d-000c292f1620   fedora/apache       192.168.1.201/      name=fedoraapache   Running
5d715e56-8794-11e4-970d-000c292f1620   fedora/apache       192.168.1.202/      name=fedoraapache   Running


二、測試不一樣角色模塊中的hostPort
    1）pod中hostPort爲空，而replicationcontrollers爲指定端口，則異常；兩側都指定端口，相同或不一樣時都異常；pod的hostport爲指定，另replicationcon爲空，則正常；pod的hostport爲空，另replicationcon爲空，則正常；結論是在replicationcontrollers場景不能指定hostport，不然異常，待持續測試。
    2）結論：在replicationcontronllers.json中，"replicaSelector": {"name": "webserver_pod"}要與"labels": {"name": "webserver_pod"}以及service中的"selector": {"name": "webserver_pod"｝保持一致；

請關注下篇《kubernetes與HECD架構的整合》，近期推出。

參考文獻：
https://github.com/GoogleCloudPlatform/kubernetes/blob/master/docs/getting-started-guides/fedora/fedora_manual_config.md
https://github.com/GoogleCloudPlatform/kubernetes/blob/master/DESIGN.md
http://www.infoq.com/cn/articles/Kubernetes-system-architecture-introduction

轉載請註明來源 http://blog.liuts.com/post/247/

相關文章
相關標籤/搜索
每日一句
    每一个你不满意的现在，都有一个你没有努力的曾经。
本站公眾號
   歡迎關注本站公眾號,獲取更多信息
聯繫我們 最近搜索 最新文章 沪ICP备13005482号-10 MyBatis教程 SQL 教程 MySQL教程 Java 教程 Thymeleaf 教程 Hibernate教程 Spring教程 Redis教程