5、kubernetes實踐：rancher-ha-Helm安裝Rancher

時間  2021-01-31
標籤 node git shell json api 瀏覽器 安全 bash 服務器 dom 欄目 Git 简体版
原文   原文鏈接

參考
https://www.cnrancher.com/docs/rancher/v2.x/cn/installation/ha-install/node

1. 添加Chart倉庫地址

使用helm repo add命令添加Rancher chart倉庫地址,訪問Rancher tag和Chart版本git

替換<CHART_REPO>爲您要使用的Helm倉庫分支(即latest或stable）。shell

helm repo list
NAME    URL                                             
stable  https://kubernetes-charts.storage.googleapis.com
local   http://127.0.0.1:8879/charts

添加rancher的chart庫：json

helm repo add rancher-stable \
https://releases.rancher.com/server-charts/stable

查看helm的repo源api

helm repo list
NAME            URL                                              
stable          https://kubernetes-charts.storage.googleapis.com 
local           http://127.0.0.1:8879/charts                     
rancher-stable  https://releases.rancher.com/server-charts/stable

2. 使用自簽名或者權威SSL證書安裝Rancher server

Rancher server設計默認須要開啓SSL/TLS配置來保證安全，將ssl證書以Kubernetes Secret卷的形式傳遞給rancher server或Ingress Controller。首先建立證書密文，以便Rancher和Ingress Controller可使用。因爲是測試環境採用自簽名ssl證書。瀏覽器

若是沒有自簽名ssl證書，能夠參考自簽名ssl證書，一鍵生成ssl證書；安全

一鍵生成ssl自簽名證書腳本將自動生成tls.crt、tls.key、cacerts.pem三個文件，文件名稱不能修改。若是使用您本身生成的自簽名ssl證書，則須要將服務證書和CA中間證書鏈合併到tls.crt文件中,將私鑰複製到或者重命名爲tls.key文件，將CA證書複製到或者重命名爲cacerts.pem。bash

使用腳本建立ca證書服務器

詳見rancher官網自簽名ssl證書dom

我將官網腳本搬過來，方便操做，我只是個搬運工，能不動腦子就不動

#!/bin/bash -e

help ()
{
    echo  ' ================================================================ '
    echo  ' --ssl-domain: 生成ssl證書須要的主域名，如不指定則默認爲localhost，若是是ip訪問服務，則可忽略；'
    echo  ' --ssl-trusted-ip: 通常ssl證書只信任域名的訪問請求，有時候須要使用ip去訪問server，那麼須要給ssl證書添加擴展IP，多個IP用逗號隔開；'
    echo  ' --ssl-trusted-domain: 若是想多個域名訪問，則添加擴展域名（SSL_TRUSTED_DOMAIN）,多個擴展域名用逗號隔開；'
    echo  ' --ssl-size: ssl加密位數，默認2048；'
    echo  ' --ssl-date: ssl有效期，默認10年；'
    echo  ' --ca-date: ca有效期，默認10年；'
    echo  ' --ssl-cn: 國家代碼(2個字母的代號),默認CN;'
    echo  ' 使用示例:'
    echo  ' ./create_self-signed-cert.sh --ssl-domain=www.test.com --ssl-trusted-domain=www.test2.com \ '
    echo  ' --ssl-trusted-ip=1.1.1.1,2.2.2.2,3.3.3.3 --ssl-size=2048 --ssl-date=3650'
    echo  ' ================================================================'
}

case "$1" in
    -h|--help) help; exit;;
esac

if [[ $1 == '' ]];then
    help;
    exit;
fi

CMDOPTS="$*"
for OPTS in $CMDOPTS;
do
    key=$(echo ${OPTS} | awk -F"=" '{print $1}' )
    value=$(echo ${OPTS} | awk -F"=" '{print $2}' )
    case "$key" in
        --ssl-domain) SSL_DOMAIN=$value ;;
        --ssl-trusted-ip) SSL_TRUSTED_IP=$value ;;
        --ssl-trusted-domain) SSL_TRUSTED_DOMAIN=$value ;;
        --ssl-size) SSL_SIZE=$value ;;
        --ssl-date) SSL_DATE=$value ;;
        --ca-date) CA_DATE=$value ;;
        --ssl-cn) CN=$value ;;
    esac
done

# CA相關配置
CA_DATE=${CA_DATE:-3650}
CA_KEY=${CA_KEY:-cakey.pem}
CA_CERT=${CA_CERT:-cacerts.pem}
CA_DOMAIN=localhost

# ssl相關配置
SSL_CONFIG=${SSL_CONFIG:-$PWD/openssl.cnf}
SSL_DOMAIN=${SSL_DOMAIN:-localhost}
SSL_DATE=${SSL_DATE:-3650}
SSL_SIZE=${SSL_SIZE:-2048}

## 國家代碼(2個字母的代號),默認CN;
CN=${CN:-CN}

SSL_KEY=$SSL_DOMAIN.key
SSL_CSR=$SSL_DOMAIN.csr
SSL_CERT=$SSL_DOMAIN.crt

echo -e "\033[32m ---------------------------- \033[0m"
echo -e "\033[32m       | 生成 SSL Cert |       \033[0m"
echo -e "\033[32m ---------------------------- \033[0m"

if [[ -e ./${CA_KEY} ]]; then
    echo -e "\033[32m ====> 1. 發現已存在CA私鑰，備份"${CA_KEY}"爲"${CA_KEY}"-bak，而後從新建立 \033[0m"
    mv ${CA_KEY} "${CA_KEY}"-bak
    openssl genrsa -out ${CA_KEY} ${SSL_SIZE}
else
    echo -e "\033[32m ====> 1. 生成新的CA私鑰 ${CA_KEY} \033[0m"
    openssl genrsa -out ${CA_KEY} ${SSL_SIZE}
fi

if [[ -e ./${CA_CERT} ]]; then
    echo -e "\033[32m ====> 2. 發現已存在CA證書，先備份"${CA_CERT}"爲"${CA_CERT}"-bak，而後從新建立 \033[0m"
    mv ${CA_CERT} "${CA_CERT}"-bak
    openssl req -x509 -sha256 -new -nodes -key ${CA_KEY} -days ${CA_DATE} -out ${CA_CERT} -subj "/C=${CN}/CN=${CA_DOMAIN}"
else
    echo -e "\033[32m ====> 2. 生成新的CA證書 ${CA_CERT} \033[0m"
    openssl req -x509 -sha256 -new -nodes -key ${CA_KEY} -days ${CA_DATE} -out ${CA_CERT} -subj "/C=${CN}/CN=${CA_DOMAIN}"
fi

echo -e "\033[32m ====> 3. 生成Openssl配置文件 ${SSL_CONFIG} \033[0m"
cat > ${SSL_CONFIG} <<EOM
[req]
req_extensions = v3_req
distinguished_name = req_distinguished_name
[req_distinguished_name]
[ v3_req ]
basicConstraints = CA:FALSE
keyUsage = nonRepudiation, digitalSignature, keyEncipherment
extendedKeyUsage = clientAuth, serverAuth
EOM

if [[ -n ${SSL_TRUSTED_IP} || -n ${SSL_TRUSTED_DOMAIN} ]]; then
    cat >> ${SSL_CONFIG} <<EOM
subjectAltName = @alt_names
[alt_names]
EOM
    IFS=","
    dns=(${SSL_TRUSTED_DOMAIN})
    dns+=(${SSL_DOMAIN})
    for i in "${!dns[@]}"; do
      echo DNS.$((i+1)) = ${dns[$i]} >> ${SSL_CONFIG}
    done

    if [[ -n ${SSL_TRUSTED_IP} ]]; then
        ip=(${SSL_TRUSTED_IP})
        for i in "${!ip[@]}"; do
          echo IP.$((i+1)) = ${ip[$i]} >> ${SSL_CONFIG}
        done
    fi
fi

echo -e "\033[32m ====> 4. 生成服務SSL KEY ${SSL_KEY} \033[0m"
openssl genrsa -out ${SSL_KEY} ${SSL_SIZE}

echo -e "\033[32m ====> 5. 生成服務SSL CSR ${SSL_CSR} \033[0m"
openssl req -sha256 -new -key ${SSL_KEY} -out ${SSL_CSR} -subj "/C=${CN}/CN=${SSL_DOMAIN}" -config ${SSL_CONFIG}

echo -e "\033[32m ====> 6. 生成服務SSL CERT ${SSL_CERT} \033[0m"
openssl x509 -sha256 -req -in ${SSL_CSR} -CA ${CA_CERT} \
    -CAkey ${CA_KEY} -CAcreateserial -out ${SSL_CERT} \
    -days ${SSL_DATE} -extensions v3_req \
    -extfile ${SSL_CONFIG}

echo -e "\033[32m ====> 7. 證書製做完成 \033[0m"
echo
echo -e "\033[32m ====> 8. 以YAML格式輸出結果 \033[0m"
echo "----------------------------------------------------------"
echo "ca_key: |"
cat $CA_KEY | sed 's/^/  /'
echo
echo "ca_cert: |"
cat $CA_CERT | sed 's/^/  /'
echo
echo "ssl_key: |"
cat $SSL_KEY | sed 's/^/  /'
echo
echo "ssl_csr: |"
cat $SSL_CSR | sed 's/^/  /'
echo
echo "ssl_cert: |"
cat $SSL_CERT | sed 's/^/  /'
echo

echo -e "\033[32m ====> 9. 附加CA證書到Cert文件 \033[0m"
cat ${CA_CERT} >> ${SSL_CERT}
echo "ssl_cert: |"
cat $SSL_CERT | sed 's/^/  /'
echo

echo -e "\033[32m ====> 10. 重命名服務證書 \033[0m"
echo "cp ${SSL_DOMAIN}.key tls.key"
cp ${SSL_DOMAIN}.key tls.key
echo "cp ${SSL_DOMAIN}.crt tls.crt"
cp ${SSL_DOMAIN}.crt tls.crt

接下來建立ca證書

# 最好建立一個文件夾
mkdir cert.d
cd cert.d
# 腳本加上可執行權限
chmod +x create_self-signed-cert.sh
./create_self-signed-cert.sh --ssl-domain=rancher.test.io --ssl-trusted-ip=172.18.1.4,172.18.1.5,172.18.1.9

使用kubectl在命名空間cattle-system中建立tls-ca和tls-rancher-ingress兩個secret;

注意:<br>
證書、私鑰、ca名稱必須是tls.crt、tls.key、cacerts.pem。

# 建立命名空間
kubectl create namespace cattle-system
# 服務證書和私鑰密文
kubectl -n cattle-system create \
    secret tls tls-rancher-ingress \
    --cert=./tls.crt \
    --key=./tls.key
# ca證書密文
kubectl -n cattle-system create secret \
    generic tls-ca \
    --from-file=cacerts.pem

查看secret建立是否成功

kubectl -n cattle-system get secret
NAME                  TYPE                                  DATA   AGE
default-token-bwh4k   kubernetes.io/service-account-token   3      4m12s
tls-ca                Opaque                                1      111s
tls-rancher-ingress   kubernetes.io/tls                     2      2m49s

3. 安裝rancher server

helm install rancher-stable/rancher \
    --name rancher \
    --namespace cattle-system \
    --set hostname=<您本身的域名> \
    --set ingress.tls.source=secret \
    --set privateCA=true

注意:<br>
證書對應的域名須要與hostname選項匹配，不然ingress將沒法代理訪問Rancher。

4. 配置rancher界面

安裝完成後，在本身的hosts裏面添加上ip rancher.test.com，在瀏覽器上訪問https://rancher.test.com

配置域名，這邊的域名要和以前的一致，直接保存便可
img

設置登陸密碼

img

至此高可用的rancher server就搭建好了！

5. 爲Agent Pod添加主機別名(/etc/hosts)

若是您沒有內部DNS服務器而是經過添加/etc/hosts主機別名的方式指定的Rancher server域名，那麼無論經過哪一種方式(自定義、導入、Host驅動等)建立K8S集羣，K8S集羣運行起來以後，由於cattle-cluster-agent Pod和cattle-node-agent沒法經過DNS記錄找到Rancher server,最終致使沒法通訊。

解決方法
能夠經過給cattle-cluster-agent Pod和cattle-node-agent添加主機別名(/etc/hosts)，讓其能夠正常通訊(前提是IP地址能夠互通)。

1.cattle-cluster-agent pod

kubectl  -n cattle-system \
patch deployments cattle-cluster-agent --patch '{
    "spec": {
        "template": {
            "spec": {
                "hostAliases": [
                    {
                        "hostnames":
                        [
                            "rancher.mytest.io"
                        ],
                            "ip": "172.18.1.12" #網關IP
                    }
                ]
            }
        }
    }
}'
  1. cattle-node-agent pod
kubectl -n cattle-system \
patch  daemonsets cattle-node-agent --patch '{
    "spec": {
        "template": {
            "spec": {
                "hostAliases": [
                    {
                        "hostnames":
                        [
                            "rancher.mytest.io"
                        ],
                            "ip": "172.18.1.12"
                    }
                ]
            }
        }
    }
}'
相關文章
相關標籤/搜索
每日一句
    每一个你不满意的现在，都有一个你没有努力的曾经。
本站公眾號
   歡迎關注本站公眾號,獲取更多信息
聯繫我們 最近搜索 最新文章 沪ICP备13005482号-10 MyBatis教程 SQL 教程 MySQL教程 Java 教程 Thymeleaf 教程 Hibernate教程 Spring教程 Redis教程