etcd集羣部署

etcd是用於共享配置和服務發現的分佈式KV存儲系統，隨着CoreOS和Kubernetes等項目在開源社區日益火熱，它們都用到了etcd組件做爲一個高可用、強一致性的服務發現存儲倉庫。
操做系統版本：CentOS 7.2
集羣機器：192.168.116.15一、192.168.116.15二、192.168.116.153
對應的主機名：etcd-host0、etcd-host一、etcd-host2

 

1、建立CA證書和密鑰
爲了保證通訊安全，客戶端(如 etcdctl) 與 etcd 集羣、etcd 集羣之間的通訊須要使用 TLS 加密，所以須要先建立 etcd TLS 加密所需的證書和私鑰。
使用CloudFlare 的 PKI 工具集 cfssl 來生成 Certificate Authority (CA) 證書和祕鑰文件，CA 是自簽名的證書，用來簽名後續建立的其它 TLS 證書。

一、安裝CFSSL

# wget https://pkg.cfssl.org/R1.2/cfssl_linux-amd64
# chmod +x cfssl_linux-amd64
# mv cfssl_linux-amd64 /usr/local/bin/cfssl
# wget https://pkg.cfssl.org/R1.2/cfssljson_linux-amd64
# chmod +x cfssljson_linux-amd64
# mv cfssljson_linux-amd64 /usr/local/bin/cfssljson
# wget https://pkg.cfssl.org/R1.2/cfssl-certinfo_linux-amd64
# chmod +x cfssl-certinfo_linux-amd64
# mv cfssl-certinfo_linux-amd64 /usr/local/bin/cfssl-certinfo
# mkdir ssl
# cd ssl
# cfssl print-defaults config > config.json
# cfssl print-defaults csr > csr.json

二、建立 CA (Certificate Authority)

# cat ca-config.json
{
  "signing": {
    "default": {
      "expiry": "8760h"
    },
    "profiles": {
      "kubernetes": {
        "usages": [
            "signing",
            "key encipherment",
            "server auth",
            "client auth"
        ],
        "expiry": "8760h"
      }
    }
  }
}

ca-config.json ：能夠定義多個 profiles，分別指定不一樣的過時時間、使用場景等參數；後續在簽名證書時使用某個 profile
signing ：表示該證書可用於簽名其它證書；生成的 ca.pem 證書中CA=TRUE
server auth ：表示 client 能夠用該 CA 對 server 提供的證書進行驗證
client auth ：表示 server 能夠用該 CA 對 client 提供的證書進行驗證

建立 CA 證書籤名請求：

#　cat ca-csr.json
{
  "CN": "kubernetes",
  "key": {
    "algo": "rsa",
    "size": 2048
  },
  "names": [
    {
      "C": "CN",
      "ST": "BeiJing",
      "L": "BeiJing",
      "O": "k8s",
      "OU": "System"
    }
  ]
}

生成 CA 證書和私鑰：

# cfssl gencert -initca ca-csr.json | cfssljson -bare ca
# ls ca*
# ca-config.json ca.csr ca-csr.json ca-key.pem ca.pem

分發證書
將生成的 CA 證書、祕鑰文件、配置文件拷貝到全部機器的/etc/kubernetes/ssl 目錄下

#本機
# mkdir -p /etc/kubernetes/ssl
# cp ca* /etc/kubernetes/ssl
#拷貝其它機器
# scp -r /etc/kubernetes 192.168.116.152:/etc/
# scp -r /etc/kubernetes 192.168.116.153:/etc/

給etcd建立 TLS 祕鑰和證書(如下步驟在集羣中每臺機器中執行)

建立 etcd 證書籤名請求：

# cat > etcd-csr.json <<EOF
{
  "CN": "etcd",
  "hosts": [
    "127.0.0.1",
    "192.168.116.151"
  ],
  "key": {
    "algo": "rsa",
    "size": 2048
  },
  "names": [
    {
      "C": "CN",
      "ST": "BeiJing",
      "L": "BeiJing",
      "O": "k8s",
      "OU": "System"
    }
  ]
}
EOF

hosts 字段指定受權使用該證書的 etcd 節點 IP

生成 etcd 證書和私鑰：

# cfssl gencert -ca=/etc/kubernetes/ssl/ca.pem \
-ca-key=/etc/kubernetes/ssl/ca-key.pem \
-config=/etc/kubernetes/ssl/ca-config.json \
-profile=kubernetes etcd-csr.json | cfssljson -bare etcd
# ls etcd*
etcd.csr etcd-csr.json etcd-key.pem etcd.pem
# mkdir -p /etc/etcd/ssl
# mv etcd*.pem /etc/etcd/ssl

2、建立etcd的systemd服務
一、建立systemd unit 文件

在/etc/systemd/system目錄下建立etcd.service文件，內容以下

[Unit]
Description=Etcd Server
After=network.target
After=network-online.target
Wants=network-online.target
Documentation=https://github.com/coreos

[Service]
Type=notify
WorkingDirectory=/var/lib/etcd/
EnvironmentFile=-/etc/etcd/etcd.conf
ExecStart=/root/local/bin/etcd \
  --name=${NODE_NAME} \
  --cert-file=/etc/etcd/ssl/etcd.pem \
  --key-file=/etc/etcd/ssl/etcd-key.pem \
  --peer-cert-file=/etc/etcd/ssl/etcd.pem \
  --peer-key-file=/etc/etcd/ssl/etcd-key.pem \
  --trusted-ca-file=/etc/kubernetes/ssl/ca.pem \
  --peer-trusted-ca-file=/etc/kubernetes/ssl/ca.pem \
  --initial-advertise-peer-urls=https://${NODE_IP}:2380 \
  --listen-peer-urls=https://${NODE_IP}:2380 \
  --listen-client-urls=https://${NODE_IP}:2379,http://127.0.0.1:2379 \
  --advertise-client-urls=https://${NODE_IP}:2379 \
  --initial-cluster-token=etcd-cluster-0 \
  --initial-cluster=${ETCD_NODES} \
  --initial-cluster-state=new \
  --data-dir=/var/lib/etcd
Restart=on-failure
RestartSec=5
LimitNOFILE=65536

[Install]
WantedBy=multi-user.target

二、建立etcd.service文件引用的配置文件及WorkingDirectory目錄。

在/etc/etcd目錄下建立etcd.conf文件，內容以下

# [member]
NODE_NAME=etcd-host0  #修改成每臺機器自已的名稱
NODE_IP=192.168.116.151 #修改成每臺機自已的IP

#[cluster]
ETCD_NODES=etcd-host0=https://192.168.116.151:2380,etcd-host1=https://192.168.116.152:2380,etcd-host2=https://192.168.116.153:2380
[root@localhost etcd]# pwd
/etc/etcd

建立WorkingDirectory目錄

# mkdir /var/lib/etcd

3、啓動etcd服務與驗證

在集羣中每臺機器依次執行如下命令啓動etcd服務，初次啓動服務首臺機器可能會卡住一段時間，爲正常現象，稍微等待一下子。

# systemctl daemon-reload
# systemctl enable etcd
# systemctl start etcd
# systemctl status etcd

如一切順利，執行如下命令，三臺 etcd 的輸出均爲 healthy 時表示集羣服務正常。

# for ip in 192.168.116.151 192.168.116.152 192.168.116.153; do ETCDCTL_API=3 /root/local/bin/etcdctl --endpoints=https://${ip}:2379 --cacert=/etc/kubernetes/ssl/ca.pem --cert=/etc/etcd/ssl/etcd.pem --key=/etc/etcd/ssl/etcd-key.pem endpoint health; done