etcd+https部署

1. 關閉防火牆
2. 關閉selinux

下載所需的包(cfssl,生成證書工具)

mkdir /usr/local/src/etcd/ 
cd /usr/local/src/etcd/
wget https://pkg.cfssl.org/R1.2/cfssl_linux-amd64 
wget https://pkg.cfssl.org/R1.2/cfssljson_linux-amd64 
wget https://pkg.cfssl.org/R1.2/cfssl-certinfo_linux-amd64
chmod +x cfssl*

#拷貝命令
cp -v cfssl_linux-amd64 /usr/local/bin/cfssl
cp -v cfssljson_linux-amd64 /usr/local/bin/cfssljson
cp -v cfssl-certinfo_linux-amd64 /usr/local/bin/cfssl-certinfo
ls /usr/local/bin/cfssl*

使用CFSSL建立CA證書以及etcd的TLS認證證書

mkdir /usr/local/src/etcd/ssl
cd /usr/local/src/etcd/ssl

#建立 CA 配置文件（ca-config.json）
vim ca-config.json
{
  "signing": {
    "default": {
      "expiry": "876000h"
    },
    "profiles": {
      "etcd": {
        "usages": [
            "signing",
            "key encipherment",
            "server auth",
            "client auth"
        ],
        "expiry": "876000h"
      }
    }
  }
}

"字段說明"
"ca-config.json"：能夠定義多個 profiles，分別指定不一樣的過時時間、使用場景等參數；後續在簽名證書時使用某個 profile；
"signing"：表示該證書可用於簽名其它證書；生成的 ca.pem 證書中 CA=TRUE；
"server auth"：表示client能夠用該 CA 對server提供的證書進行驗證；
"client auth"：表示server能夠用該CA對client提供的證書進行驗證；

#建立 CA 證書籤名請求（ca-csr.json）
vim ca-csr.json
{
  "CN": "etcd",
  "key": {
    "algo": "rsa",
    "size": 2048
  },
  "names": [
    {
      "C": "CN",
      "ST": "shenzhen",
      "L": "shenzhen",
      "O": "etcd",
      "OU": "System"
    }
  ]
}

"CN"：Common Name，etcd 從證書中提取該字段做爲請求的用戶名 (User Name)；瀏覽器使用該字段驗證網站是否合法；
"O"：Organization，etcd 從證書中提取該字段做爲請求用戶所屬的組 (Group)；
這兩個參數在後面的kubernetes啓用RBAC模式中很重要，由於須要設置kubelet、admin等角色權限，那麼在配置證書的時候就必須配置對了，具體後面在部署kubernetes的時候會進行講解。
"在etcd這兩個參數沒太大的重要意義，跟着配置就好。"

#生成 CA 證書和私鑰
cfssl gencert -initca ca-csr.json | cfssljson -bare ca


#建立etcd的TLS認證證書
#建立 etcd證書籤名請求（etcd-csr.json）
vim etcd-csr.json
{
  "CN": "etcd",
  "hosts": [
    "127.0.0.1",
    "192.168.48.12"
  ],
  "key": {
    "algo": "rsa",
    "size": 2048
  },
  "names": [
    {
      "C": "CN",
      "ST": "shenzhen",
      "L": "shenzhen",
      "O": "etcd",
      "OU": "System"
    }
  ]
}

若是 hosts 字段不爲空則須要指定受權使用該證書的 IP 或域名列表，因爲該證書後續被 etcd 集羣使用，因此填寫IP便可。
由於本次部署etcd是單臺，那麼則須要填寫單臺的IP地址便可。
       
#生成 etcd證書和私鑰 
cfssl gencert -ca=ca.pem -ca-key=ca-key.pem -config=ca-config.json -profile=etcd etcd-csr.json | cfssljson -bare etcd

#將TLS 認證文件拷貝至證書目錄下
mkdir -p /etc/etcd/etcdSSL
cp * /etc/etcd/etcdSSL

安裝etcd服務

yum install -y etcd

#配置 etcd 的 service文件（/usr/lib/systemd/system）
vim /usr/lib/systemd/system/etcd.service 
[Unit]
Description=Etcd Server
After=network.target
After=network-online.target
Wants=network-online.target

[Service]
Type=notify
WorkingDirectory=/var/lib/etcd/
EnvironmentFile=-/etc/etcd/etcd.conf
# set GOMAXPROCS to number of processors
ExecStart=/usr/bin/etcd \
  --name ${ETCD_NAME} \
  --cert-file=/etc/etcd/etcdSSL/etcd.pem \
  --key-file=/etc/etcd/etcdSSL/etcd-key.pem \
  --peer-cert-file=/etc/etcd/etcdSSL/etcd.pem \
  --peer-key-file=/etc/etcd/etcdSSL/etcd-key.pem \
  --trusted-ca-file=/etc/etcd/etcdSSL/ca.pem \
  --peer-trusted-ca-file=/etc/etcd/etcdSSL/ca.pem \
  --initial-advertise-peer-urls ${ETCD_INITIAL_ADVERTISE_PEER_URLS} \
  --listen-peer-urls ${ETCD_LISTEN_PEER_URLS} \
  --listen-client-urls ${ETCD_LISTEN_CLIENT_URLS},http://127.0.0.1:2379 \
  --advertise-client-urls ${ETCD_ADVERTISE_CLIENT_URLS} \
  --initial-cluster-token ${ETCD_INITIAL_CLUSTER_TOKEN} \
  --initial-cluster etcd1=https://172.16.1.168:2380 \
  --initial-cluster-state new \
  --data-dir=${ETCD_DATA_DIR}

Restart=on-failure
LimitNOFILE=65536

[Install]
WantedBy=multi-user.target

參數說明：
一、指定 etcd 的工做目錄爲 /var/lib/etcd，數據目錄爲 /var/lib/etcd，需在啓動服務前建立這兩個目錄；
在配置中的命令是這條：
WorkingDirectory=/var/lib/etcd/

二、爲了保證通訊安全，須要指定 etcd 的公私鑰(cert-file和key-file)、Peers 通訊的公私鑰和 CA 證書(peer-cert-file、peer-key-file、peer-trusted-ca-file)、客戶端的CA證書（trusted-ca-file）；
在配置中添加etcd證書的命令是如下：
  --cert-file=/etc/etcd/etcdSSL/etcd.pem \
  --key-file=/etc/etcd/etcdSSL/etcd-key.pem \
  --peer-cert-file=/etc/etcd/etcdSSL/etcd.pem \
  --peer-key-file=/etc/etcd/etcdSSL/etcd-key.pem \
  --trusted-ca-file=/etc/etcd/etcdSSL/ca.pem \
  --peer-trusted-ca-file=/etc/etcd/etcdSSL/ca.pem \

三、配置etcd的endpoint：
  --initial-cluster infra1=https://172.16.1.168:2380 \

四、配置etcd的監聽服務集羣：
  --initial-advertise-peer-urls ${ETCD_INITIAL_ADVERTISE_PEER_URLS} \
  --listen-peer-urls ${ETCD_LISTEN_PEER_URLS} \
  --listen-client-urls ${ETCD_LISTEN_CLIENT_URLS},http://127.0.0.1:2379 \
  --advertise-client-urls ${ETCD_ADVERTISE_CLIENT_URLS} \

五、配置etcd建立的集羣爲新集羣，則定義集羣狀態爲new
   --initial-cluster-state 值爲 new

六、定義etcd節點的名稱，該名稱等下從配置文件中獲取：
  --name ${ETCD_NAME} \ 
  其中配置文件：EnvironmentFile=-/etc/etcd/etcd.conf

#etcd的配置文件（/etc/etcd/etcd.conf）
vim /etc/etcd/etcd.conf 
#[member]
ETCD_NAME=etcd1
ETCD_DATA_DIR="/var/lib/etcd"
ETCD_LISTEN_PEER_URLS="https://172.16.1.168:2380"
ETCD_LISTEN_CLIENT_URLS="https://172.16.1.168:2379"

#[cluster]
ETCD_INITIAL_ADVERTISE_PEER_URLS="https://172.16.1.168:2380"
ETCD_INITIAL_CLUSTER_TOKEN="etcd-cluster"
ETCD_ADVERTISE_CLIENT_URLS="https://172.16.1.168:2379"

#參數說明
ETCD_NAME 節點名稱

ETCD_DATA_DIR 數據目錄

ETCD_LISTEN_PEER_URLS 集羣通訊監聽地址

ETCD_LISTEN_CLIENT_URLS 客戶端訪問監聽地址

ETCD_INITIAL_ADVERTISE_PEER_URLS 集羣通告地址

ETCD_ADVERTISE_CLIENT_URLS 客戶端通告地址

ETCD_INITIAL_CLUSTER 集羣節點地址

ETCD_INITIAL_CLUSTER_TOKEN 集羣Token

ETCD_INITIAL_CLUSTER_STATE 加入集羣的當前狀態，new是新集羣，existing表示加入已有集羣

#這是172.16.1.168節點的配置，若是配置其餘etcd節點只要將上面的IP地址改爲相應節點的IP地址便可。

#啓動 etcd 服務
systemctl daemon-reload
systemctl start etcd
systemctl status etcd

#驗證服務
etcdctl \
  --ca-file=/etc/etcd/etcdSSL/ca.pem \
  --cert-file=/etc/etcd/etcdSSL/etcd.pem \
  --key-file=/etc/etcd/etcdSSL/etcd-key.pem \
  cluster-health