Etcd+Confd實現Nginx配置文件自動管理

1、需求

咱們使用Nginx作七層負載均衡，後端是Tomcat。項目採用灰度發佈方式，每次項目升級，都要手動先從Nginx下摘掉一組，而後再升級這組，當項目快速迭代時，手動作這些操做顯然會增長部署時間，因而就想經過腳本實現自動化管理Nginx配置文件。

當時考慮本身寫Shell腳本對Nginx配置文件操做，須要用到sed流編輯器，sed自己沒有條件判斷語句，並不能靈活判斷配置文件中要添加/刪除位置，所以會增長配置錯誤風險。

在查資料無心間發現confd能自動管理配置文件，經過模板渲染生成配置文件，避免了配置錯誤風險，以爲挺好，就實驗了下，因而就有了本章博文。

2、架構圖

3、涉及軟件

etcd：分佈式KV存儲系統，通常用於共享配置和服務註冊與發現。是CoreOS公司發起的一個開源項目。 ETCD存儲格式相似於文件系統，以根"/"開始下面一級級目錄，最後一個是Key，一個key對應一個Value。

etcd集羣：使用Raft協議保證每一個節點數據一致，由多個節點對外提供服務。這裏只用單臺。

confd：管理本地應用配置文件，使用etcd或consul存儲的數據渲染模板，還支持redis、zookeeper等。

confd有一個watch功能，經過HTTP API按期監測對應的etcd中目錄變化，獲取最新的Value，而後渲染模板，更新配置文件。

4、部署

環境說明：CentOS7，IP 192.168.1.99 # 爲了試驗服務都安裝這臺上。

4.1 下載軟件包

https://github.com/coreos/etcd/releases/download/v3.1.4/etcd-v3.1.4-linux-amd64.tar.gz

https://github.com/kelseyhightower/confd/releases/download/v0.11.0/confd-0.11.0-linux-amd64

若是沒***可能下載不了，這個是我下載好的：http://pan.baidu.com/s/1c1M9kBm

4.2 安裝Nginx並啓動

# yum install -y gcc gcc-c++ make openssl-devel pcre-devel
# useradd nginx -s/sbin/nologin
# wget http://nginx.org/download/nginx-1.10.3.tar.gz
# tar zxvf nginx-1.10.3.tar.gz
# cd nginx-1.10.3
# ./configure--prefix=/usr/local/nginx --user=nginx --group=nginx --with-http_ssl_module--with-http_gzip_static_module --with-http_realip_module--with-http_stub_status_module
# make && make install
獨立出來虛擬主機：
# mkdir /usr/local/nginx/conf/vhost
# vi /usr/local/nginx/conf/nginx.conf # 在http{}段中末尾添加包含虛擬主機配置文件
http {
    includevhost/*.conf;
}  
# /usr/local/nginx/sbin/nginx  # 啓動Nginx

4.3 安裝etcd並啓動

# tar zxvf etcd-v3.1.4-linux-amd64.tar.gz
# mv etcd etcdctl /usr/bin/  # etcd提供封裝好的包，直接使用便可
# nohup etcd--data-dir /var/lib/data.etcd --listen-client-urls http://192.168.1.99:2379--advertise-client-urls http://192.168.1.99:2379 &>/var/log/etcd.log &

4.4 安裝confd

confd也是一個封裝好的包，直接使用便可。

# mv confd-0.11.0-linux-amd64 /usr/bin/confd

key規劃：

key	value
/nginx/www/server_name	域名
/nginx/www/upstream/server01	節點01
/nginx/www/upstream/server02	節點02
/nginx/www/upstream/server03	節點03

建立配置目錄

# mkdir -p /etc/confd/{conf.d,templates}
conf.d    # 資源模板，下面文件必須以toml後綴
templates # 配置文件模板，下面文件必須以tmpl後綴

建立資源模板

# vi /etc/confd/conf.d/app01.conf.toml
[template]
src = "app01.conf.tmpl"    # 默認在/etc/confd/templates目錄下
dest = "/usr/local/nginx/conf/vhost/app01.conf"  # 要更新的配置文件
keys = [
   "/nginx",            # 監測的key
]
reload_cmd ="/usr/local/nginx/sbin/nginx -s reload"   # 最後執行的命令

建立Nginx配置文件模板

# vi /etc/confd/templates/app01.conf.tmpl
upstream www.{{getv "/nginx/www/server_name"}} {
{{range getvs "/nginx/www/upstream/*"}}
     server ``.``;
`end`
}
 
server {
   server_name  www.{{getv "/nginx/www/server_name"}};
   location / {
       proxy_pass       http://www.{{getv  "/nginx/www/server_name"}};
       proxy_redirect off;
       proxy_set_header Host $host;
       proxy_set_header X-Real-IP $remote_addr;
       proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
    }
}

博客地址：http://lizhenliang.blog.51cto.com

QQ羣：323779636（Shell/Python運維開發羣）

5、測試

使用etcdctl客戶端操做etcd，經常使用的幾個選項以下：

USAGE:
   etcdctl [global options] command [command options] [arguments...]
COMMANDS:
   ls          retrieve a directory
   get         retrieve the value of a key
   set         set the value of a key
   rm          remove a key or a directory
GLOBAL OPTIONS:
   --peers, -C     a comma-delimited list of machine addresses in the cluster (default: "http://127.0.0.1:2379,http://127.0.0.1:2379")

5.1 向etcd添加k/v

# etcdctl -C http://192.168.1.99:2379 set domain.com
domain.com
# etcdctl -C http://192.168.1.99:2379 set /nginx/www/upstream/server01 "192.168.1.10:80"
192.168.1.10:80
# etcdctl -C http://192.168.1.99:2379 set /nginx/www/upstream/server02 "192.168.1.11:80"
192.168.1.11:80

5.2 啓動confd監測etcd中的keys

當你啓動後，confd就會從etcd獲取key的值並填充到Nginx配置文件模板，並更新到/usr/local/nginx/conf/vhost/app01.conf，並nginx reload。 

5.3 近一步測試

向etcd中/nginx/www/upstream/再添加一個節點：

OK！這樣就實現了自動管理Nginx配置文件，無感知加入後端節點。

6、etcd Rest API使用

curl -X PUT http://192.168.1.99:2379/v2/keys/test/a_key -d value="789"  # 增改key
curl -X DELETE http://192.168.1.99:2379/v2/keys/test/a_key     # 刪除key 
curl http://192.168.1.99:2379/v2/keys/test/a_key                 # 查詢key的值 
curl -X PUT http://192.168.1.99:2379/v2/keys/dir -d dir=true   # 建立目錄
curl http://192.168.1.99:2379/v2/keys             # 查看全部keys
curl -X PUT http://192.168.1.99:2379/v2/keys/ttlvar -d value="ttl_value" -d ttl=10 # 建立過時時間的key，單位秒
curl http://192.168.1.99:2379/version             # 查看etcd版本 
curl http://192.168.1.99:2379/v2/members            # 列出全部集羣成員 
curl http://192.168.1.99:2379/v2/stats/leader         # 查看leader 
curl http://192.168.1.99:2379/v2/stats/self           # 節點自身信息 
curl http://192.168.1.99:2379/v2/stats/store          # 查看集羣運行狀態

7、總結

整體來講，etcd+confd要比本身寫腳本管理Nginx配置文件更方便！固然，增長一套組件也會增長一點運維成本。

當初始化一臺Web節點，能夠增長一步操做去把本身信息註冊到etcd，從而實現自動加入節點。

若是應用在生產環境，有些功能須要更加完善些，好比向etcd添加數據用Rest API或者用Python封裝接口，confd寫一個後臺進程腳本運行等。

若是線上已經有redis或者zookeeper的話，那麼就能夠直接做爲k/v存儲信息，而不須要再搭建一套etcd集羣！

因爲keys的每次更新confd都會Nginx reload，在高併發訪問量會有一點影響，比較好的解決方案就是寫lua去動態加載Nginx參數。但應付中小規模仍是能夠的！

由此看來，confd不但侷限管理Nginx配置文件，對於其餘應用軟件也是能夠的，好比Haproxy，LVS等。

confd使用文檔：

https://github.com/kelseyhightower/confd/blob/master/docs/quick-start-guide.md

資源模板其餘參數：

https://github.com/kelseyhightower/confd/blob/master/docs/template-resources.md