007.基於Docker的Etcd分佈式部署

一 環境準備

1.1 基礎環境

ntp配置：略 #建議配置ntp服務，保證時間一致性

etcd版本：v3.3.9

防火牆及SELinux：關閉防火牆和SELinux

名稱	地址	主機名	備註
etcd1	172.24.8.71	etcd1.example.com	用於保存相關IP信息
docker01	172.24.8.72	docker01.example.com
docker02	172.24.8.73	docker02.example.com

  1 # hostnamectl set-hostname etcd1.example.com
  2 # hostnamectl set-hostname docker01.example.com
  3 # hostnamectl set-hostname docker02.example.com

 

提示：主機名非必須。

1.2 docker環境

以上全部節點均安裝docker，具體方式見《002.docker版本及安裝》。

二 etcd節點部署

提示：本環境所有采用docker化，即etcd服務也以docker形式存在。

2.1 etcd基礎配置

  1 # mkdir -p /var/log/etcd/			#建議建立etcd日誌保存目錄
  2 # mkdir -p /data/etcd				#建議建立單獨的etcd數據目錄
  3 # export HOST_1=172.24.8.71			#設置etcd節點的IP
  4 # export DATA_DIR=/data/etcd			#設置集羣etcd數據節點
  5 # REGISTRY=quay.io/coreos/etcd			#建議使用此倉庫
  6 # ETCD_VERSION=latest				#設置etcd版本
  7 # export NAME_1=etcd1				#設置etcd節點的name
  8 # docker volume create --name etcd-data

 

提示：以上全部操做須要在全部節點操做。

2.3 啓動docker etcd集羣

  1 [root@etcd1 ~]# docker run \
  2   -p 2379:2379 \
  3   -p 2380:2380 \
  4   --volume=${DATA_DIR}:/etcd-data \
  5   --name etcd ${REGISTRY}:${ETCD_VERSION} \
  6   /usr/local/bin/etcd \
  7   --data-dir=/etcd-data --name ${NAME_1} \
  8   --initial-advertise-peer-urls http://${HOST_1}:2380 --listen-peer-urls http://0.0.0.0:2380 \
  9   --advertise-client-urls http://${HOST_1}:2379 --listen-client-urls http://0.0.0.0:2379 \
 10   --initial-cluster ${NAME_1}=http://${HOST_1}:2380

提示：quay.io/coreos/etcd鏡像國內可能沒法pull，可在國外節點pull，而後scp至集羣節點。

2.4 確認驗證

  1 [root@etcd1 ~]# docker ps

  1 [root@etcd1 ~]# docker exec -it bcb96fb0f987 /usr/local/bin/etcdctl cluster-health

  1 [root@etcd1 ~]# docker exec -it bcb96fb0f987 /usr/local/bin/etcdctl --endpoints=http://${HOST_1}:2379 member list

三 docker宿主機節點配置

3.1 docker01配置

  1 [root@docker01 ~]# vi /etc/sysconfig/docker
  2 OPTIONS='--cluster-store=etcd://172.24.8.71:2379 --cluster-advertise=172.24.8.72:2379'
  3 [root@docker01 ~]# systemctl restart docker

 

3.2 docker02配置

  1 [root@docker02 ~]# vi /etc/sysconfig/docker
  2 OPTIONS='--cluster-store=etcd://172.24.8.71:2379 --cluster-advertise=172.24.8.73:2379'
  3 [root@docker02 ~]# systemctl restart docker

 

3.3 建立overlay網絡

  1 [root@docker01 ~]# docker network create -d overlay overlaynet1
  2 418654e0092f5d1c3e4bf2b9ee73cdd22932dd60fecf12d7a3b024818118244b
  3 [root@docker01 ~]# docker network inspect overlaynet1

 

  1 [root@docker02 ~]# docker network inspect overlaynet1

提示：分別在docker01和docker02宿主機查看在docker01上建立的overlay網絡，若都存在則表示經過 etcd，網絡數據是分佈式而不是本地的了。

3.4 測試網絡

  1 [root@docker01 ~]# docker run -d --name Container01 --network overlaynet1 training/webapp python app.py
  2 [root@docker02 ~]# docker run -d --name Container02 --network overlaynet1 training/webapp python app.py
  3 [root@docker01 ~]# docker exec -it 73e984a5528a /bin/bash
  4 root@73e984a5528a:/opt/webapp# ifconfig

 

  1 root@73e984a5528a:/opt/webapp# route -n

  1 [root@docker02 ~]# docker exec -it 89eac9521743 /bin/bash
  2 root@89eac9521743:/opt/webapp# ifconfig

 

說明：

• 全部容器對會存在兩個網卡，eth0和eth1；
• 其中 eth1 的網絡是一個內部的網段，即普通的 NAT 模式；
• 其中 eth0 是 overlay 網段上分配的IP地址，即 overlay 網絡，且 MTU 是 1450 而不是 1500；
• 只有同一個 overlay 網絡中的容器之間的通訊纔會經過 eth0，其它全部通訊仍是通過 eth1。

  1 [root@docker01 ~]# brctl show

  1 [root@docker01 ~]# docker network ls

其餘引用：

• Docker 在每一個節點上建立了兩個 linux bridge，一個用於 overlay 網絡，一個用於非 overlay 的 NAT 網絡（docker_gwbridge）；
• 容器內的到overlay 網絡的其它容器的網絡流量走容器的 overlay 網卡（eth0），其它網絡流量走容器的 NAT 網卡（eth1）；
• 當前 Docker 建立 vxlan 隧道的ID範圍爲 256～1000，於是最多能夠建立745個網絡，所以，本例中的這個 vxlan 隧道使用的 ID 是 256；
• Docker vxlan 驅動使用 4789 UDP 端口；
• overlay網絡模型底層須要相似 consul 或 etcd 的 KV 存儲系統進行消息同步；
• Docker overlay 不使用多播；
• Overlay 網絡中的容器處於一個虛擬的大二層網絡中，

 

參考連接：https://www.cnblogs.com/allcloud/p/7150564.html