kubernetes集羣安裝指南：建立CA證書及相關組件證書密鑰

時間  2019-11-06
標籤 kubernetes 集羣 安裝 指南 建立 證書 相關 組件 密鑰 欄目 負載均衡 简体版
原文   原文鏈接

在實際kubernetes應用場景中，集羣內組件之間訪問都是經過TLS雙向認證安全訪問，即https訪問，因此在部署時，給kubernetes各個組件建立證書是必要的，這是由於沒有https安全訪問會致使集羣間節點通訊訪問不安全，非法用戶能夠經過客戶端操做，對集羣資源非法操做，引發集羣服務異常，甚至集羣宕機。例如：非法操做etcd存儲的數據，所以集羣開啓https訪問雙向認證是必要的。node

1 準備工做

1.1 變量定義及各組件使用證書說明

環境變量
# 證書及密鑰存放路徑
SSL_BIN_PATH=/usr/local/cfssl
CA_DIR=/etc/k8s/ssl
# 外網和內網apiserver vip訪問地址
VIP_KUBEAPI_OUTSIDE=192.168.20.100
VIP_KUBEAPI_INSIDE=10.10.10.100
# master集羣各節點組件監聽地址
MASTER1_IP=10.10.10.22
MASTER2_IP=10.10.10.23
MASTER3_IP=10.10.10.24
# etcd集羣內各節點監聽地址
ETCD1_IP=10.10.10.22
ETCD2_IP=10.10.10.23
ETCD3_IP=10.10.10.24
# kubernetes默認service發地址
CLUSTER_KUBERNETES_SVC_IP=10.254.0.1
證書認證域名
DOMAIN=mo9.com
證書使用說明
kube-apiserver組件：
使用 ca.pem、kubernetes.pem、kubernetes-key.pem、etcd公私鑰證書、 metric公私鑰等證書；
kube-controller-manager組件
使用 ca-key.pem, ca.pem, kuber-controller-manager公私鑰等證書；
kube-scheduler組件: 
使用ca.pem、kube-scheduler.pem、kube-scheduler-key.pem等證書；
kube-proxy組件：
使用 ca.pem、kube-proxy-key.pem、kube-proxy.pem等證書；
kubelet組件：
使用 ca.pem等證書；
kubectl組件：
使用 ca.pem、admin-key.pem、admin.pem等證書；
etcd組件：
使用 ca.pem、etcd-key.pem、etcd.pem等證書；
flannel組件：
使用ca.pem、flannel.pem、flannel-key.pem等證書；
備註說明：

本安裝文檔爲全部的組件生成證書文件，實際狀況下也能夠選擇部分組件共用某個證書或不選擇開啓https訪問。如：etcd、flannel共用apiserver組件證書或不啓用https訪問，controller-manager，scheduler也能夠基於http訪問；linux

1.2 建立相關目錄

mkdir -p $SSL_BIN_PATH
mkdir -p $CA_DIR

1.3 安裝 cfssl 工具集

大多數狀況下，kubernetes集羣都是創建在本身的私有網絡裏，好比公有云vpc區域，自建數據中心等等，因爲k8s全部相關組件都是須要TLS雙向認證，合法證書機構大多都是提供ssl單向認證證書，因此必須自建CA根證書，並生成相應的公鑰和私鑰根證書，能夠經過openssl或cfssl建立CA證書,這裏以cfssl爲例：shell

mkdir -p $SSL_BIN_PATH/bin  > /dev/null 2>&1
wget https://pkg.cfssl.org/R1.2/cfssl_linux-amd64 -P $SS_BINL_PATH/bin/ 
wget https://pkg.cfssl.org/R1.2/cfssljson_linux-amd64 -P $SSL_BIN__PATH/bin/ 
wget https://pkg.cfssl.org/R1.2/cfssl-certinfo_linux-amd64 -P $SSL_BIN_PATH/bin/
cd  $SSL_BIN_PATH/bin/
mv cfssl_linux-amd64 cfssl  && mv cfssljson_linux-amd64 cfssljson
mv cfssl-certinfo_linux-amd64 cfssl-certinfo
chmod +x * && ln -sf $SSL_BIN_PATH/bin/cfssl* /usr/local/bin/

2. 建立相關證書

2.1 建立根證書 (CA)

CA 證書是集羣全部節點共享的，只須要建立一個 CA 證書，後續建立的全部證書都由它簽名。json

建立CA配置文件

CA 配置文件用於配置根證書的使用場景 (profile) 和具體參數 (usage，過時時間、服務端認證、客戶端認證、加密等)，後續在簽名其它證書時須要指定特定場景。api

cat >$CA_DIR/ca-config.json<<EOF
{
  "signing": {
    "default": {
      "expiry": "175200h"
    },
    "profiles": {
      "kubernetes": {
        "usages": [
            "signing",
            "key encipherment",
            "server auth",
            "client auth"
        ],
        "expiry": "175200h"
      }
    }
  }
}
EOF
  • signing：表示該證書可用於簽名其它證書，生成的 ca.pem 證書 中 CA=TRUE；
  • server auth：表示 client 能夠用該該證書對 server 提供的證書進行驗證；
  • client auth：表示 server 能夠用該該證書對 client 提供的證書進行驗證；
  • expiry 表示證書使用時間，即30年；
建立CA證書籤名請求文件
cat >$CA_DIR/ca-csr.json<<EOF
{
  "CN": "kubernetes",
  "key": {
    "algo": "rsa",
    "size": 2048
  },
  "names": [
    {
      "C": "CN",
      "ST": "ShangHai",
      "L": "ShangHai",
      "O": "k8s",
      "OU": "System"
    }
  ]
}
EOF
  • CN：Common Name，kube-apiserver 從證書中提取該字段做爲請求的用戶名 (User Name)，瀏覽器使用該字段驗證網站是否合法；
  • O：Organization，kube-apiserver 從證書中提取該字段做爲請求用戶所屬的組 (Group)；
  • kube-apiserver 將提取的 User、Group 做爲 RBAC 受權的用戶標識；
生成 CA 證書公鑰和私鑰
cd $CA_DIR
cfssl gencert --initca=true ca-csr.json | cfssljson --bare ca

2.2 建立kubernetes公鑰和私鑰

建立證書籤名請求：
cat >$CA_DIR/kubernetes-csr.json << EOF
{
    "CN": "kubernetes",
    "hosts": [
      "127.0.0.1",
      "${MASTER1_IP}",
      "${MASTER2_IP}",
      "${MASTER3_IP}",
      "${VIP_KUBEAPI_INSIDE}",
      "${VIP_KUBEAPI_OUTSIDE}",
      "${CLUSTER_KUBERNETES_SVC_IP}",
      "*.${DOMAIN}",
      "kubernetes",
      "kubernetes.default",
      "kubernetes.default.svc",
      "kubernetes.default.svc.cluster",
      "kubernetes.default.svc.cluster.local"
    ],
    "key": {
        "algo": "rsa",
        "size": 2048
    },
    "names": [
        {
            "C": "CN",
            "ST": "ShangHai",
            "L": "SahgnHai",
            "O": "k8s",
            "OU": "System"
        }
    ]
}
EOF
  • apiserver須要開啓https訪問，須要使用到服務端證書，因此須要指定host字段，哪些域名或IP使用；
  • hosts 字段指定受權使用該證書的 IP 和域名列表，這裏列出了 master 節點 IP、kubernetes 服務的 IP 和域名；
  • kubernetes證書也叫kube-apiserver證書，也能夠定義爲kube-apiserver證書；
  • 若是須要額外指定域名，請使用泛域名方式填寫，即域名型證書要求，填寫對應的域名便可；
  • kubernetes 服務 IP 是 apiserver 自動建立的，通常是 --service-cluster-ip-range 參數指定的網段的第一個IP，後續能夠經過下面命令獲取：
$ kubectl get svc kubernetes
NAME         CLUSTER-IP   EXTERNAL-IP   PORT(S)   AGE
kubernetes   10.254.0.1   <none>        443/TCP   1d
  • kubernetes中默認的server-cluster ip以10.254.0.0開頭，如須要其餘網絡請在apiserver配置中指定；
生成證書公鑰和私鑰
cd $CA_DIR
cfssl gencert -ca=ca.pem -ca-key=ca-key.pem -config=ca-config.json -profile=kubernetes \
kubernetes-csr.json | cfssljson -bare kubernetes

2.3 建立kube-controller-manager證書公鑰和私鑰

建立證書籤名請求：
cat > $CA_DIR/kube-controller-manager-csr.json <<EOF
{
    "CN": "system:kube-controller-manager",
    "key": {
        "algo": "rsa",
        "size": 2048
    },
    "hosts": [
      "127.0.0.1",
      "${MASTER1_IP}",
      "${MASTER2_IP}",
      "${MASTER3_IP}"
    ],
    "names": [
      {
        "C": "CN",
        "ST": "ShangHai",
        "L": "ShangHai",
        "O": "system:kube-controller-manager",
        "OU": "System"
      }
    ]
}
EOF
  • kube-controller-manager開啓https訪問，須要使用到服務端證書，因此須要指定host字段，哪些IP使用；
  • hosts 列表包含全部 kube-controller-manager 節點 IP，不然沒法認證；
  • CN 和 O 均爲 system:kube-controller-manager，kubernetes 內置的 ClusterRoleBindings system:kube-controller-manager 賦予 kube-controller-manager 工做所需的權限。
生成證書公鑰和私鑰
cd $CA_DIR
cfssl gencert -ca=ca.pem -ca-key=ca-key.pem -config=ca-config.json -profile=kubernetes \
kube-controller-manager-csr.json | cfssljson -bare kube-controller-manager

2.4 建立kube-scheduler證書公鑰和私鑰

建立證書籤名請求：
cat > $CA_DIR/kube-scheduler-csr.json <<EOF
{
    "CN": "system:kube-scheduler",
    "hosts": [
      "127.0.0.1",
      "${MASTER1_IP}",
      "${MASTER2_IP}",
      "${MASTER3_IP}"
    ],
    "key": {
        "algo": "rsa",
        "size": 2048
    },
    "names": [
      {
        "C": "CN",
        "ST": "ShangHai",
        "L": "ShangHai",
        "O": "system:kube-scheduler",
        "OU": "System"
      }
    ]
}
EOF
  • kube-scheduler開啓https訪問，須要使用到服務端證書，因此須要指定host字段，IP使用；
  • hosts 列表包含全部 kube-scheduler 節點 IP，不然沒法認證；
  • CN 和 O 均爲 system:kube-scheduler，kubernetes 內置的 ClusterRoleBindings system:kube-scheduler 將賦予 kube-scheduler 工做所需的權限；
生成證書公鑰和私鑰
cd $CA_DIR
cfssl gencert -ca=ca.pem -ca-key=ca-key.pem -config=ca-config.json -profile=kubernetes  \
kube-scheduler-csr.json | cfssljson -bare kube-scheduler

2.5 建立kube-proxy證書公鑰和私鑰

建立證書籤名請求：
cat > $CA_DIR/kube-proxy-csr.json << EOF
{
  "CN": "system:kube-proxy",
  "hosts": [],
  "key": {
    "algo": "rsa",
    "size": 2048
  },
  "names": [
    {
      "C": "CN",
      "ST": "ShangHai",
      "L": "SahgnHai",
      "O": "k8s",
      "OU": "System"
    }
  ]
}
EOF
  • 該證書只會被 kube-proxy 當作 client 證書連接apiserver使用，因此 hosts 字段爲空；
  • CN：指定該證書的 User 爲 system:kube-proxy；
  • 預約義的 RoleBinding system:node-proxier 將User system:kube-proxy 與 Role system:node-proxier 綁定，該 Role 授予了調用 kube-apiserver Proxy 相關 API 的權限；
生成證書公鑰和私鑰
cfssl gencert -ca=ca.pem -ca-key=ca-key.pem -config=ca-config.json -profile=kubernetes \
kube-proxy-csr.json | cfssljson -bare kube-proxy

2.6 建立kubectl證書公鑰和私鑰

建立證書籤名請求：
cat > $CA_DIR/admin-csr.json << EOF
{
  "CN": "admin",
  "hosts": [],
  "key": {
    "algo": "rsa",
    "size": 2048
  },
  "names": [
    {
      "C": "CN",
      "ST": "ShangHai",
      "L": "SahgnHai",
      "O": "system:masters",
      "OU": "System"
    }
  ]
}
EOF
  • 該證書只會被 kubectl 當作 client 證書連接apiserver使用，因此 hosts 字段爲空；
  • O 爲 system:masters，kube-apiserver 收到該證書後將請求的 Group 設置爲 system:masters；
  • 預約義的 ClusterRoleBinding cluster-admin 將 Group system:masters 與 Role cluster-admin 綁定，該 Role 授予全部 API的權限；
  • kubectl證書爲集羣最高權限證書，對集羣全部的資源都有root權限，因此請謹慎存放；
生成證書公鑰和私鑰
cfssl gencert -ca=ca.pem -ca-key=ca-key.pem -config=ca-config.json -profile=kubernetes \
admin-csr.json | cfssljson -bare admin

2.7 建立etcd證書公鑰和私鑰

建立證書籤名請求：
cat > $CA_DIR/etcd-csr.json << EOF
{
  "CN": "etcd",
  "hosts": [
    "127.0.0.1",
    "${ETCD1_IP}",
    "${ETCD2_IP}",
    "${ETCD3_IP}"
  ],
  "key": {
    "algo": "rsa",
    "size": 2048
  },
  "names": [
    {
      "C": "CN",
      "ST": "ShangHai",
      "L": "SahgnHai",
      "O": "k8s",
      "OU": "System"
    }
  ]
}
EOF
  • etcd開啓https訪問，須要用到服務端證書，因此須要指定哪些IP使用該證書
  • hosts 字段指定受權使用該證書的 etcd 節點 IP 或域名列表，須要將 etcd 集羣的三個節點 IP 都列在其中；
生成證書公鑰和私鑰
cfssl gencert -ca=ca.pem -ca-key=ca-key.pem -config=ca-config.json -profile=kubernetes \
etcd-csr.json | cfssljson -bare etcd

2.8 建立網絡插件(Flannel)證書公鑰和私鑰

建立證書籤名請求：
cat > $CA_DIR/flannel-csr.json << EOF
{
  "CN": "flanneld",
  "hosts": [],
  "key": {
    "algo": "rsa",
    "size": 2048
  },
  "names": [
    {
      "C": "CN",
      "ST": "ShangHai",
      "L": "ShangHai",
      "O": "k8s",
      "OU": "System"
    }
  ]
}
EOF
  • flanneld 從 etcd 集羣存取網段分配信息，而 etcd 集羣啓用了雙向 x509 證書認證，因此須要爲 flanneld 生成證書和私鑰用於認證etcd安全訪問。
  • 該證書只會被 kubectl 當作 client 證書使用，因此 hosts 字段爲空；
生成證書公鑰和私鑰
cd $CA_DIR
cfssl gencert -ca=ca.pem -ca-key=ca-key.pem -config=ca-config.json -profile=kubernetes \
flannel-csr.json | cfssljson -bare flannel

2.9 建立metric server證書公鑰和私鑰

建立證書籤名請求：
cat > $CA_DIR/proxy-client-csr.json <<EOF
{
  "CN": "aggregator",
  "hosts": [],
  "key": {
    "algo": "rsa",
    "size": 2048
  },
  "names": [
    {
      "C": "CN",
      "ST": "ShangHai",
      "L": "ShangHai",
      "O": "k8s",
      "OU": "System"
    }
  ]
}
EOF
  • CN 名稱須要位於 kube-apiserver 的 --requestheader-allowed-names 參數中，不然後續訪問 metrics 時會提示權限不足。
生成證書公鑰和私鑰
cd $CA_DIR
cfssl gencert -ca=ca.pem -ca-key=ca-key.pem -config=ca-config.json -profile=kubernetes \
proxy-client-csr.json | cfssljson -bare proxy-client

2.10 刪除簽名請求相關文件（可選）

cd $CA_DIR
rm -rf *csr* && rm -rf *json
chmod 666 *

3 同步證書

  1. master節點
    同步master節點全部組件（apiserver,controller-manager,scheduler）、flannel證書、etcd證書、metric證書，ca證書； 
    ansible master_k8s_vgs -m \
synchronize -a "src=${CA_DIR} dest=${CA_DIR}/ mode=push delete=yes rsync_opts=-avz'" -b
ansible master_k8s_vgs -m shell -a "chmod 666 ${CA_DIR}/*" -b
ansible master_k8s_vgs -m shell -a "cd ${CA_DIR} && rm -rf kube-proxy*" -b
  2. worker節點
    同步worker節點全部證書（kube-proxy證書），flannel證書，ca證書公鑰 
    ansible worker_k8s_vgs -m copy -a "src=${CA_DIR}/ca.pem dest=${CA_DIR}/" -b
ansible worker_k8s_vgs -m copy -a "src=${CA_DIR}/flannel.pem dest=${CA_DIR}/" -b
ansible worker_k8s_vgs -m copy -a "src=${CA_DIR}/flannel-key.pem dest=${CA_DIR}/" -b

    備註：瀏覽器

    • ansible部分在上一小節已經配置完成，此處使用同步模塊，將證書同步到各個節點服務；
    • 若是組件須要開啓https訪問才須要將對應的證書文件拷貝到對應的組件所在的節點上，worker節點只須要kubeconfig認證文件以及flannel等證書，kube-apiserver會自動爲kubelet輪轉證書；

證書建立內容基本完成，關於tls證書雙向認證請自行查閱文檔，建立完成證書後，還須要建立各組件認證文件，請參閱下一節：kubernetes集羣安裝指南：客戶端安裝及各組件認證文件建立安全

相關文章
相關標籤/搜索
每日一句
    每一个你不满意的现在，都有一个你没有努力的曾经。
本站公眾號
   歡迎關注本站公眾號,獲取更多信息
聯繫我們 最近搜索 最新文章 沪ICP备13005482号-10 MyBatis教程 SQL 教程 MySQL教程 Java 教程 Thymeleaf 教程 Hibernate教程 Spring教程 Redis教程