Ansible-playbook 自動部署 zookeeper 集羣

時間 2019-11-06

標籤 ansible playbook 自動部署 zookeeper 集羣欄目 Zookeeper 简体版

原文原文鏈接

Ansible-playbook 自動部署 zookeeper 集羣html

1.Ansible 基礎知識預熱;java

(1).合法的變量名

在使用變量以前最好先知道什麼是合法的變量名. 變量名能夠爲字母,數字以及下劃線.變量始終應該以字母開頭. 「foo_port」是個合法的變量名.」foo5」也是. 「foo-port」, 「foo port」, 「foo.port」和「12」則不是合法的變量名.1.Inventory中定義變量;node

(2).Inventory文件描述;

Topicspython

Inventory文件git
- 主機與組web
- 主機變量shell
- 組的變量windows
- 把一個組做爲另外一個組的子成員安全
- 分文件定義 Host 和 Group 變量ruby
- Inventory 參數的說明

Ansible 可同時操做屬於一個組的多臺主機,組和主機之間的關係經過 inventory 文件配置. 默認的文件路徑爲 /etc/ansible/hosts

除默認文件外,你還能夠同時使用多個 inventory 文件(後面會講到),也能夠從動態源,或雲上拉取 inventory 配置信息.詳見 動態 Inventory.

主機與組

/etc/ansible/hosts 文件的格式與windows的ini配置文件相似:

mail.example.com[webservers]foo.example.combar.example.com[dbservers]one.example.comtwo.example.comthree.example.com

方括號[]中是組名,用於對系統進行分類,便於對不一樣系統進行個別的管理.

一個系統能夠屬於不一樣的組,好比一臺服務器能夠同時屬於 webserver組和 dbserver組.這時屬於兩個組的變量均可覺得這臺主機所用,至於變量的優先級關係將於之後的章節中討論.

若是有主機的SSH端口不是標準的22端口,可在主機名以後加上端口號,用冒號分隔.SSH 配置文件中列出的端口號不會在 paramiko 鏈接中使用,會在 openssh 鏈接中使用.

端口號不是默認設置時,可明確的表示爲:

badwolf.example.com:5309

假設你有一些靜態IP地址,但願設置一些別名,但不是在系統的 host 文件中設置,又或者你是經過隧道在鏈接,那麼能夠設置以下:

jumper ansible_ssh_port=5555 ansible_ssh_host=192.168.1.50

在這個例子中,經過「jumper」別名,會鏈接 192.168.1.50:5555.記住,這是經過 inventory 文件的特×××設置的變量. 通常而言,這不是設置變量(描述你的系統策略的變量)的最好方式.後面會說到這個問題.

一組類似的 hostname , 可簡寫以下:

[webservers]www[01:50].example.com

數字的簡寫模式中,01:50 也可寫爲 1:50,意義相同.你還能夠定義字母範圍的簡寫模式:

[databases]
db-[a:f].example.com

對於每個 host,你還能夠選擇鏈接類型和鏈接用戶名:

[targets]

localhost              ansible_connection=local
other1.example.com     ansible_connection=ssh        ansible_ssh_user=mpdehaan
other2.example.com     ansible_connection=ssh        ansible_ssh_user=mdehaan

全部以上討論的對於 inventory 文件的設置是一種速記法,後面咱們會討論如何將這些設置保存爲 ‘host_vars’ 目錄中的獨立的文件.

主機變量

前面已經提到過,分配變量給主機很容易作到,這些變量定義後可在 playbooks 中使用:

[atlanta]
host1 http_port=80 maxRequestsPerChild=808
host2 http_port=303 maxRequestsPerChild=909

組的變量

也能夠定義屬於整個組的變量:

[atlanta]
host1
host2

[atlanta:vars]
ntp_server=ntp.atlanta.example.com
proxy=proxy.atlanta.example.com

把一個組做爲另外一個組的子成員

能夠把一個組做爲另外一個組的子成員,以及分配變量給整個組使用. 這些變量能夠給 /usr/bin/ansible-playbook 使用,但不能給 /usr/bin/ansible 使用:

[atlanta]
host1
host2

[raleigh]
host2
host3

[southeast:children]
atlanta
raleigh

[southeast:vars]
some_server=foo.southeast.example.com
halon_system_timeout=30
self_destruct_countdown=60
escape_pods=2

[usa:children]
southeast
northeast
southwest
northwest

若是你須要存儲一個列表或hash值,或者更喜歡把 host 和 group 的變量分開配置,請看下一節的說明.

分文件定義 Host 和 Group 變量

在 inventory 主文件中保存全部的變量並非最佳的方式.還能夠保存在獨立的文件中,這些獨立文件與 inventory 文件保持關聯. 不一樣於 inventory 文件(INI 格式),這些獨立文件的格式爲 YAML.詳見 YAML 語法 .

假設 inventory 文件的路徑爲:

/etc/ansible/hosts

假設有一個主機名爲 ‘foosball’, 主機同時屬於兩個組,一個是 ‘raleigh’, 另外一個是 ‘webservers’. 那麼如下配置文件(YAML 格式)中的變量能夠爲 ‘foosball’ 主機所用.依次爲 ‘raleigh’ 的組變量,’webservers’ 的組變量,’foosball’ 的主機變量:

/etc/ansible/group_vars/raleigh
/etc/ansible/group_vars/webservers
/etc/ansible/host_vars/foosball

舉例來講,假設你有一些主機,屬於不一樣的數據中心,並依次進行劃分.每個數據中心使用一些不一樣的服務器.好比 ntp 服務器, database 服務器等等. 那麼 ‘raleigh’ 這個組的組變量定義在文件 ‘/etc/ansible/group_vars/raleigh’ 之中,可能相似這樣:

---
ntp_server: acme.example.org
database_server: storage.example.org

這些定義變量的文件不是必定要存在,由於這是可選的特性.

還有更進一步的運用,你能夠爲一個主機,或一個組,建立一個目錄,目錄名就是主機名或組名.目錄中的能夠建立多個文件, 文件中的變量都會被讀取爲主機或組的變量.以下 ‘raleigh’ 組對應於 /etc/ansible/group_vars/raleigh/ 目錄,其下有兩個文件 db_settings 和 cluster_settings, 其中分別設置不一樣的變量:

/etc/ansible/group_vars/raleigh/db_settings
/etc/ansible/group_vars/raleigh/cluster_settings

‘raleigh’ 組下的全部主機,均可以使用 ‘raleigh’ 組的變量.當變量變得太多時,分文件定義變量更方便咱們進行管理和組織. 還有一個方式也可參考,詳見 Ansible Vault 關於組變量的部分. 注意,分文件定義變量的方式只適用於 Ansible 1.4 及以上版本.

Tip: Ansible 1.2 及以上的版本中,group_vars/ 和 host_vars/ 目錄可放在 inventory 目錄下,或是 playbook 目錄下. 若是兩個目錄下都存在,那麼 playbook 目錄下的配置會覆蓋 inventory 目錄的配置.

Tip: 把你的 inventory 文件和變量放入 git repo 中,以便跟蹤他們的更新,這是一種很是推薦的方式.

Inventory 參數的說明

如同前面提到的,經過設置下面的參數,能夠控制 ansible 與遠程主機的交互方式,其中一些咱們已經講到過:

ansible_ssh_host
      將要鏈接的遠程主機名.與你想要設定的主機的別名不一樣的話,可經過此變量設置.

ansible_ssh_port
      ssh端口號.若是不是默認的端口號,經過此變量設置.

ansible_ssh_user
      默認的 ssh 用戶名

ansible_ssh_pass
      ssh 密碼(這種方式並不安全,咱們強烈建議使用 --ask-pass 或 SSH 密鑰)

ansible_sudo_pass
      sudo 密碼(這種方式並不安全,咱們強烈建議使用 --ask-sudo-pass)

ansible_sudo_exe (new in version 1.8)
      sudo 命令路徑(適用於1.8及以上版本)

ansible_connection
      與主機的鏈接類型.好比:local, ssh 或者 paramiko. Ansible 1.2 之前默認使用 paramiko.1.2 之後默認使用 'smart','smart' 方式會根據是否支持 ControlPersist, 來判斷'ssh' 方式是否可行.

ansible_ssh_private_key_file
      ssh 使用的私鑰文件.適用於有多個密鑰,而你不想使用 SSH 代理的狀況.

ansible_shell_type
      目標系統的shell類型.默認狀況下,命令的執行使用 'sh' 語法,可設置爲 'csh' 或 'fish'.

ansible_python_interpreter
      目標主機的 python 路徑.適用於的狀況: 系統中有多個 Python, 或者命令路徑不是"/usr/bin/python",好比  \*BSD, 或者 /usr/bin/python
      不是 2.X 版本的 Python.咱們不使用 "/usr/bin/env" 機制,由於這要求遠程用戶的路徑設置正確,且要求 "python" 可執行程序名不可爲 python之外的名字(實際有可能名爲python26).

      與 ansible_python_interpreter 的工做方式相同,可設定如 ruby 或 perl 的路徑....

一個主機文件的例子:

some_host         ansible_ssh_port=2222     ansible_ssh_user=manager
aws_host          ansible_ssh_private_key_file=/home/example/.ssh/aws.pem
freebsd_host      ansible_python_interpreter=/usr/local/bin/python
ruby_module_host  ansible_ruby_interpreter=/usr/bin/ruby.1.9.3

2.ZK集羣部署環境信息表;

主機名稱	IP地址	系統版本	軟件版本版本
ansible-master	192.168.52.11	CentOS Linux release 7.5	ansible 2.7.2
zookeeper01	192.168.52.12	CentOS Linux release 7.5	zookeeper-3.4.8
zookeeper02	192.168.52.13	CentOS Linux release 7.5	zookeeper-3.4.8
zookeeper03	192.168.52.14	CentOS Linux release 7.5	zookeeper-3.4.8
zk軟件包獲取地址:	http://down.51cto.com/data/246055 2 https://down.51cto.com/data/2461383 zk包和管理腳本

3.部署ansible 服務端配置免密碼祕鑰登陸身份;

1.升級系統爲最新軟件包版本,安裝ansible軟件包

yum update && yum -y install ansible

2.配置ssh免祕鑰登陸;---ansible管理端祕鑰的公鑰傳遞到被控端機器上;

[root@ansible-master ~]# ssh-copy-id 192.168.52.12

[root@ansible-master ~]# ssh-copy-id 192.168.52.13

[root@ansible-master ~]# ssh-copy-id 192.168.52.14

4.配置ansible inventory 文件配置

inventory 文件配置. 默認的文件路徑爲 /etc/ansible/hosts

5.在inventory 文件中定於變量;

在執行ansible 命令時，ansible 默認會從 /etc/ansible/host_vars和group_vars 兩個目錄下讀取變量定義，默認ansible安裝不建立此目錄,

且能夠在此目錄下建立和host文件中主機名或者組名同名的文件來定義變量;

6.定義變量內容以下;

[root@ansible-master ~]# cat /etc/ansible/group_vars/zookeeper-servers

---

zk01server: 192.168.52.12

zk02server: 192.168.52.13

zk03server: 192.168.52.14

zookeeper_group: work

zookeeper_user: work

zookeeper_dir: /chj/data/zookeeper

zookeeper_appdir: /chj/app/zookeeper

zk01myid: 12

zk02myid: 13

zk03myid: 14

7.編寫playbooks部署zk;

目錄結構以下;

(1).查看playbook 內容

---

- hosts: "all"
  gather_facts: no
  tasks:
    - name: Create zookeeper group
      group:
        name: '{{ zookeeper_group }}'
        state: present
      tags:
        - zookeeper_user

    - name: Create zookeeper user
      user:
        name: '{{ zookeeper_user }}'
        group: '{{ zookeeper_group }}'
        state: present
        createhome: no
      tags:
        - zookeeper_group

    - name: 檢測是否安過zk
      stat:
        path: /chj/app/zookeeper
      register: node_files
    - debug:
        msg: "{{ node_files.stat.exists }}"
    - name: 檢查是否存在java環境
      shell: if [ ! -f "/usr/local/jdk/bin/java" ];then echo "建立目錄"; curl -o /usr/local/jdk1.8.0_121.tar.gz  http://download.pkg.com/chj_jdk1.8.0_121.tar.gz; tar xf /usr/local/jdk1.8.0_121.tar.gz -C /usr/local/jdk1.8.0_121; cd /usr/local/; mv  /usr/local/jdk1.8.0_121 jdk; ln -s /usr/local/jdk/bin/java /sbin/java;  else echo "目錄已存在\n" ;fi 

    - name: 下載解壓 chj_zookeeper
      unarchive: src=http://download.pkg.com/zookeeper.tar.gz dest=/chj/app/ copy=no
      when: node_files.stat.exists == False
      register: unarchive_msg
    - debug:
        msg: "{{ unarchive_msg }}"
    - name: 建立zookeeper 數據目錄和日誌目錄
      shell: if [ ! -d "/chj/data/zookeeper" ] && [ ! -d "/chj/data/zookeeperLog/" ];then echo "建立目錄"; mkdir -p /chj/data/{zookeeper,zookeeperLog}  ; else echo "目錄已存在\n" ;fi

    - name: 修改目錄權限
      shell: chown work:work -R /chj/{data,app}
      when: node_files.stat.exists == False
    - name: 配置zk myid
      shell: "hostname -i| cut -d '.' -f 4|awk '{print $1}' > /chj/data/zookeeper/myid"
    - name: Config zookeeper service
      template:
        src:  zoo.cfg.j2
        dest: /chj/app/zookeeper/conf/zoo.cfg
        mode: 0755

    - name: auto service manager zookeeper
      template:
        src:  zookeeper.service.j2
        dest: /usr/lib/systemd/system/zookeeper.service
        mode: 0755

    - name: Reload systemd
      command: systemctl daemon-reload
    - name: Restart ZooKeeper service
      shell: sudo su - work -c "/chj/app/zookeeper/console start" 
 
    - name: Status ZooKeeper service 
      shell: "sudo su - work -c '/chj/app/zookeeper/console status'"
      register: zookeeper_status_result
      ignore_errors: True
    - debug:
        msg: "{{ zookeeper_status_result }}"

(2).查看jinja2 配置文件內容;

[root@ansible-master templates]# cat zoo.cfg.j2 
tickTime=2000
initLimit=500
dataDir={{ zookeeper_dir }}
dataLogDir=/chj/data/zookeeperLog/
# the port at which the clients will connect
clientPort=10311
maxClientCnxns=1000000
server.{{ zk01myid }}={{ zk01server }}:10301:10331
server.{{ zk02myid }}={{ zk02server }}:10302:10332
server.{{ zk03myid }}={{ zk03server }}:10303:10333

8.查看playbooks 執行結果;

檢查playbook 語法;

ansible-playbook ZooKeeperinstall.yml --syntax-check

playbook: ZooKeeperinstall.yml

ansible-playbook ZooKeeperinstall.yml -b

ansible-playbook ZooKeeperinstall.yml -b

PLAY [all] **************************************************************************************************************************************************************************

TASK [Create zookeeper group] *******************************************************************************************************************************************************
ok: [192.168.52.12 ]
ok: [192.168.52.13]
ok: [192.168.52.14]

TASK [Create zookeeper user] ********************************************************************************************************************************************************
ok: [192.168.52.12 ]
ok: [192.168.52.13]
ok: [192.168.52.14]

TASK [檢測是否安過zk] *********************************************************************************************************************************************************************
ok: [192.168.52.12 ]
ok: [192.168.52.13]
ok: [192.168.52.14]

TASK [debug] ************************************************************************************************************************************************************************
ok: [192.168.52.14] => {
    "msg": false
}
ok: [192.168.52.13] => {
    "msg": false
}
ok: [192.168.52.12 ] => {
    "msg": false
}

TASK [檢查是否存在java環境] *****************************************************************************************************************************************************************
changed: [192.168.52.12 ]
changed: [192.168.52.14]
changed: [192.168.52.13]

TASK [下載解壓 chj_zookeeper] ***********************************************************************************************************************************************************
changed: [192.168.52.12 ]
changed: [192.168.52.13]
changed: [192.168.52.14]

TASK [debug] ************************************************************************************************************************************************************************
ok: [192.168.52.14] => {
    "msg": {
        "changed": true, 
        "dest": "/chj/app/", 
        "extract_results": {
            "cmd": [
                "/bin/gtar", 
                "--extract", 
                "-C", 
                "/chj/app/", 
                "-z", 
                "-f", 
                "/home/ops/.ansible/tmp/ansible-tmp-1555134665.42-104390716550153/zookeeper.tar.gz"
            ], 
            "err": "", 
            "out": "", 
            "rc": 0
        }, 
        "failed": false, 
        "gid": 1002, 
        "group": "work", 
        "handler": "TgzArchive", 
        "mode": "0755", 
        "owner": "work", 
        "size": 53, 
        "src": "/home/ops/.ansible/tmp/ansible-tmp-1555134665.42-104390716550153/zookeeper.tar.gz", 
        "state": "directory", 
        "uid": 1002
    }
}
ok: [192.168.52.13] => {
    "msg": {
        "changed": true, 
        "dest": "/chj/app/", 
        "extract_results": {
            "cmd": [
                "/bin/gtar", 
                "--extract", 
                "-C", 
                "/chj/app/", 
                "-z", 
                "-f", 
                "/home/ops/.ansible/tmp/ansible-tmp-1555134665.44-240377701606664/zookeeper.tar.gz"
            ], 
            "err": "", 
            "out": "", 
            "rc": 0
        }, 
        "failed": false, 
        "gid": 1002, 
        "group": "work", 
        "handler": "TgzArchive", 
        "mode": "0755", 
        "owner": "work", 
        "size": 53, 
        "src": "/home/ops/.ansible/tmp/ansible-tmp-1555134665.44-240377701606664/zookeeper.tar.gz", 
        "state": "directory", 
        "uid": 1002
    }
}
ok: [192.168.52.12 ] => {
    "msg": {
        "changed": true, 
        "dest": "/chj/app/", 
        "extract_results": {
            "cmd": [
                "/bin/gtar", 
                "--extract", 
                "-C", 
                "/chj/app/", 
                "-z", 
                "-f", 
                "/home/ops/.ansible/tmp/ansible-tmp-1555134665.45-222980892511143/zookeeper.tar.gz"
            ], 
            "err": "", 
            "out": "", 
            "rc": 0
        }, 
        "failed": false, 
        "gid": 1002, 
        "group": "work", 
        "handler": "TgzArchive", 
        "mode": "0755", 
        "owner": "work", 
        "size": 53, 
        "src": "/home/ops/.ansible/tmp/ansible-tmp-1555134665.45-222980892511143/zookeeper.tar.gz", 
        "state": "directory", 
        "uid": 1002
    }
}

TASK [建立zookeeper 數據目錄和日誌目錄] ********************************************************************************************************************************************************
changed: [192.168.52.12 ]
changed: [192.168.52.13]
changed: [192.168.52.14]

TASK [修改目錄權限] ***********************************************************************************************************************************************************************
 [WARNING]: Consider using the file module with owner rather than running chown.  If you need to use command because file is insufficient you can add warn=False to this command
task or set command_warnings=False in ansible.cfg to get rid of this message.

changed: [192.168.52.12 ]
changed: [192.168.52.13]
changed: [192.168.52.14]

TASK [配置zk myid] ********************************************************************************************************************************************************************
changed: [192.168.52.12 ]
changed: [192.168.52.13]
changed: [192.168.52.14]

TASK [Config zookeeper service] *****************************************************************************************************************************************************
changed: [192.168.52.12 ]
changed: [192.168.52.13]
changed: [192.168.52.14]

TASK [auto service manager zookeeper] ***********************************************************************************************************************************************
changed: [192.168.52.12 ]
changed: [192.168.52.13]
changed: [192.168.52.14]

TASK [Reload systemd] ***************************************************************************************************************************************************************
changed: [192.168.52.12 ]
changed: [192.168.52.13]
changed: [192.168.52.14]

TASK [Restart ZooKeeper service] ****************************************************************************************************************************************************
 [WARNING]: Consider using 'become', 'become_method', and 'become_user' rather than running sudo

changed: [192.168.52.12 ]
changed: [192.168.52.13]
changed: [192.168.52.14]

TASK [Status ZooKeeper service] *****************************************************************************************************************************************************
changed: [192.168.52.12 ]
changed: [192.168.52.13]
changed: [192.168.52.14]

TASK [debug] ************************************************************************************************************************************************************************
ok: [192.168.52.13] => {
    "msg": {
        "changed": true, 
        "cmd": "sudo su - work -c '/chj/app/zookeeper/console status'", 
        "delta": "0:00:02.411393", 
        "end": "2019-04-13 13:51:46.465955", 
        "failed": false, 
        "rc": 0, 
        "start": "2019-04-13 13:51:44.054562", 
        "stderr": "ZooKeeper JMX enabled by default\nUsing config: /chj/app/zookeeper/bin/../conf/zoo.cfg", 
        "stderr_lines": [
            "ZooKeeper JMX enabled by default", 
            "Using config: /chj/app/zookeeper/bin/../conf/zoo.cfg"
        ], 
        "stdout": "查看zookeeper服務狀態", 
        "stdout_lines": [
            "查看zookeeper服務狀態"
        ], 
        "warnings": [
            "Consider using 'become', 'become_method', and 'become_user' rather than running sudo"
        ]
    }
}
ok: [192.168.52.12 ] => {
    "msg": {
        "changed": true, 
        "cmd": "sudo su - work -c '/chj/app/zookeeper/console status'", 
        "delta": "0:00:01.887234", 
        "end": "2019-04-13 13:51:45.916725", 
        "failed": false, 
        "rc": 0, 
        "start": "2019-04-13 13:51:44.029491", 
        "stderr": "ZooKeeper JMX enabled by default\nUsing config: /chj/app/zookeeper/bin/../conf/zoo.cfg", 
        "stderr_lines": [
            "ZooKeeper JMX enabled by default", 
            "Using config: /chj/app/zookeeper/bin/../conf/zoo.cfg"
        ], 
        "stdout": "查看zookeeper服務狀態", 
        "stdout_lines": [
            "查看zookeeper服務狀態"
        ], 
        "warnings": [
            "Consider using 'become', 'become_method', and 'become_user' rather than running sudo"
        ]
    }
}
ok: [192.168.52.14] => {
    "msg": {
        "changed": true, 
        "cmd": "sudo su - work -c '/chj/app/zookeeper/console status'", 
        "delta": "0:00:02.401280", 
        "end": "2019-04-13 13:51:46.486860", 
        "failed": false, 
        "rc": 0, 
        "start": "2019-04-13 13:51:44.085580", 
        "stderr": "ZooKeeper JMX enabled by default\nUsing config: /chj/app/zookeeper/bin/../conf/zoo.cfg", 
        "stderr_lines": [
            "ZooKeeper JMX enabled by default", 
            "Using config: /chj/app/zookeeper/bin/../conf/zoo.cfg"
        ], 
        "stdout": "查看zookeeper服務狀態", 
        "stdout_lines": [
            "查看zookeeper服務狀態"
        ], 
        "warnings": [
            "Consider using 'become', 'become_method', and 'become_user' rather than running sudo"
        ]
    }
}

PLAY RECAP **************************************************************************************************************************************************************************
192.168.52.12                : ok=16   changed=10   unreachable=0    failed=0   
192.168.52.13           : ok=16   changed=10   unreachable=0    failed=0   
192.168.52.14               : ok=16   changed=10   unreachable=0    failed=0   、

相關標籤/搜索

每日一句

每一个你不满意的现在，都有一个你没有努力的曾经。