運維自動化-Ansible ( 一 )

時間  2021-01-14
標籤 html python linux nginx git web 正則表達式 shell express 編程 欄目 測試自動化 简体版
原文   原文鏈接

前言

每天說運維，到底是幹什麼的？先看看工做流程唄。通常來講，運維工程師在一家企業裏屬於個位數的崗位，甚至只有一個。面對生產中NNN臺服務器，NN我的員,工做量也是很是大的。
因此嘛，圖中的我好歹也會配置盔甲的。html

image

這就是我主要乾的事情（呵呵）python

image

就算你會很厲害的腳本，面對成百上千，甚至上萬的主機，效率問題將會困擾你的。
所以，有沒有解放的工具呢？linux

Ansible 是什麼

Ansible 簡單的說是一個配置管理系統(configuration management system)。你只須要可使用 ssh 訪問你的服務器或設備就行。它也不一樣於其餘工具，由於它使用推送的方式，而不是像 puppet 等 那樣使用拉取安裝agent的方式。你能夠將代碼部署到任意數量的服務器上!nginx

Ansible能作什麼

ansible能夠幫助咱們完成一些批量任務，或者完成一些須要常常重複的工做。
好比：同時在100臺服務器上安裝nginx服務，並在安裝後啓動它們。
好比：將某個文件一次性拷貝到100臺服務器上。
好比：每當有新服務器加入工做環境時，你都要爲新服務器部署某個服務，也就是說你須要常常重複的完成相同的工做。
這些場景中咱們均可以使用到ansible。

Ansible特性

 模塊化：調用特定的模塊，完成特定任務
 有Paramiko，PyYAML，Jinja2（模板語言）三個關鍵模塊
 支持自定義模塊
 基於Python語言實現
 部署簡單，基於python和SSH(默認已安裝)，agentless
 安全，基於OpenSSH
 支持playbook編排任務
 冪等性：一個任務執行1遍和執行n遍效果同樣，不因重複執行帶來意外狀況
 無需代理不依賴PKI（無需ssl）
 可以使用任何編程語言寫模塊
 YAML格式，編排任務，支持豐富的數據結構
 較強大的多層解決方案

Ansible架構

image

Ansible工做原理

image

Ansible主要組成部分功能說明

 PLAYBOOKS：
            任務劇本（任務集），編排定義Ansible任務集的配置文件，由Ansible順序依次執行，一般是JSON格式的YML文件
 INVENTORY：
            Ansible管理主機的清單/etc/anaible/hosts
 MODULES：
            Ansible執行命令的功能模塊，多數爲內置的核心模塊，也可自定義,ansible-doc –l 可查看模塊
 PLUGINS：
            模塊功能的補充，如鏈接類型插件、循環插件、變量插件、過濾插件等，該功能不經常使用
 API：
            供第三方程序調用的應用程序編程接口
 ANSIBLE：
            組合INVENTORY、 API、 MODULES、PLUGINS的綠框，能夠理解爲是ansible命令工具，其爲核心執行工具

注意事項git

 執行ansible的主機通常稱爲主控端，中控，master或堡壘機
 主控端Python版本須要2.6或以上
 被控端Python版本小於2.4須要安裝python-simplejson
 被控端如開啓SELinux須要安裝libselinux-python
 windows不能作爲主控端

安裝Ansible

安裝方法有不少，這裏僅僅以Centos yum安裝爲例。web

Ansible默認不在標準倉庫中，須要用到EPEL源。正則表達式

請自行參考
https://mirrors.aliyun.com/help/centos
#yum install ansible

image

#ansible --version
ansible 2.4.2.0
  config file = /etc/ansible/ansible.cfg
  executable location = /usr/bin/ansible
  python version = 2.7.5

Ansible 功能詳解

配置文件

配置文件或指令 描述
/etc/ansible/ansible.cfg 主配置文件，配置ansible工做特性
/etc/ansible/hosts 主機清單
/etc/ansible/roles/ 存放角色的目錄
/usr/bin/ansible 主程序，臨時命令執行工具
/usr/bin/ansible-doc 查看配置文檔，模塊功能查看工具
/usr/bin/ansible-galaxy 下載/上傳優秀代碼或Roles模塊的官網平臺
/usr/bin/ansible-playbook 定製自動化任務，編排劇本工具
/usr/bin/ansible-pull 遠程執行命令的工具
/usr/bin/ansible-vault 文件加密工具
/usr/bin/ansible-console 基於Console界面與用戶交互的執行工具

Ansible 配置文件

Ansible 配置文件/etc/ansible/ansible.cfg （通常保持默認）
 [defaults]
 #inventory = /etc/ansible/hosts # 主機列表配置文件
 #library = /usr/share/my_modules/ # 庫文件存放目錄
 #remote_tmp = $HOME/.ansible/tmp #臨時py命令文件存放在遠程主機目錄
 #local_tmp = $HOME/.ansible/tmp # 本機的臨時命令執行目錄
 #forks = 5 # 默認併發數
 #sudo_user = root # 默認sudo 用戶
 #ask_sudo_pass = True #每次執行ansible命令是否詢問ssh密碼
 #ask_pass = True      #鏈接時提示輸入ssh密碼
 #remote_port = 22     #遠程主機的默認端口，生產中這個端口應該會不一樣
 #log_path = /var/log/ansible.log #日誌
 #host_key_checking = False # 檢查對應服務器的host_key，建議取消註釋。也就是不會彈出
                                Are you sure you want to continue connecting (yes/no)?

實驗規劃

實驗環境：VMware Workstation Pro 14（試用版）
系統平臺：
CentOS Linux release 7.4.1708 (Core)       內核  3.10.0-693.el7.x86_64
最小化安裝

實驗環境：VMware Workstation Pro 14（試用版）
系統平臺：
CentOS release 6.9 (Final)             內核  2.6.32-696.el6.x86_64
最小化安裝
主機名 系統版本 IP地址 功能
7-web-0 Centos 7.4 192.168.7.200 Ansible主控端
6-dns-1 Centos 6.9 192.168.7.254 DNS服務器
6-web-1 Centos 6.9 192.168.7.201 服務器
7-web-2 Centos 7.4 192.168.7.202 服務器
7-db-3 Centos 7.4 192.168.7.203 服務器

除了6-DNS-1之外，全部的主機的DNS均指向192.168.7.254shell

正向區域設置
#dig -t axfr hunk.tech

; <<>> DiG 9.8.2rc1-RedHat-9.8.2-0.62.rc1.el6 <<>> -t axfr hunk.tech
;; global options: +cmd
hunk.tech.      600 IN  SOA 6-dns-1.hunk.tech. admin.hunk.tech. 24 720 600 86400 10800
hunk.tech.          600 IN  NS  6-dns-1.hunk.tech.
6-dns-1.hunk.tech.  600 IN  A   192.168.7.254
6-web-1.hunk.tech.  600 IN  A   192.168.7.201
7-db-3.hunk.tech.   600 IN  A   192.168.7.203
7-web-0.hunk.tech.  600 IN  A   192.168.7.200
7-web-2.hunk.tech.  600 IN  A   192.168.7.202
hunk.tech.          600 IN  SOA 6-dns-1.hunk.tech. admin.hunk.tech. 24 720 600 86400 10800

Inventory 主機清單

Ansible必須經過Inventory 來管理主機。Ansible 可同時操做屬於一個組的多臺主機,組和主機之間的關係經過 inventory 文件配置。express

語法格式：編程

單臺主機
green.example.com    >   FQDN
192.168.100.10       >   IP地址
192.168.100.11:2222  >   非標準SSH端口

[webservers]         >   定義了一個組名     
alpha.example.org    >   組內的單臺主機
192.168.100.10 

[dbservers]
192.168.100.10       >   一臺主機能夠是不一樣的組，這臺主機同時屬於[webservers] 

[group:children]     >  組嵌套組，group爲自定義的組名，children是關鍵字，固定語法，必須填寫。
dns                  >  group組內包含的其餘組名
db                   >  group組內包含的其餘組名

[webservers] 
www[001:006].hunk.tech > 有規律的名稱列表，
這裏表示至關於：
www001.hunk.tech
www002.hunk.tech
www003.hunk.tech
www004.hunk.tech
www005.hunk.tech
www006.hunk.tech

[databases]
db-[a:e].example.com   >   定義字母範圍的簡寫模式,
這裏表示至關於：
db-a.example.com
db-b.example.com
db-c.example.com
db-d.example.com
db-e.example.com

如下這2條定義了一臺主機的鏈接方式，而不是讀取默認的配置設定
localhost       ansible_connection=local
www.163.com     ansible_connection=ssh        ansible_ssh_user=hunk

最後還有一個隱藏的分組，那就是all，表明所有主機,這個是隱式的，不須要寫出來的。

Inventory 參數說明

ansible_ssh_host
      將要鏈接的遠程主機名.與你想要設定的主機的別名不一樣的話,可經過此變量設置.

ansible_ssh_port
      ssh端口號.若是不是默認的端口號,經過此變量設置.這種可使用 ip:端口 192.168.1.100:2222

ansible_ssh_user
      默認的 ssh 用戶名

ansible_ssh_pass
      ssh 密碼(這種方式並不安全,咱們強烈建議使用 --ask-pass 或 SSH 密鑰)

ansible_sudo_pass
      sudo 密碼(這種方式並不安全,咱們強烈建議使用 --ask-sudo-pass)

ansible_sudo_exe (new in version 1.8)
      sudo 命令路徑(適用於1.8及以上版本)

ansible_connection
      與主機的鏈接類型.好比:local, ssh 或者 paramiko. Ansible 1.2 之前默認使用 paramiko.1.2 之後默認使用 'smart','smart' 方式會根據是否支持 ControlPersist, 來判斷'ssh' 方式是否可行.

ansible_ssh_private_key_file
      ssh 使用的私鑰文件.適用於有多個密鑰,而你不想使用 SSH 代理的狀況.

ansible_shell_type
      目標系統的shell類型.默認狀況下,命令的執行使用 'sh' 語法,可設置爲 'csh' 或 'fish'.

ansible_python_interpreter
      目標主機的 python 路徑.適用於的狀況: 系統中有多個 Python, 或者命令路徑不是"/usr/bin/python",好比  \*BSD, 或者 /usr/bin/python 不是 2.X 版本的 Python.
      咱們不使用 "/usr/bin/env" 機制,由於這要求遠程用戶的路徑設置正確,且要求 "python" 可執行程序名不可爲 python之外的名字(實際有可能名爲python26).

      與 ansible_python_interpreter 的工做方式相同,可設定如 ruby 或 perl 的路徑....

上面的參數用這幾個例子來展現可能會更加直觀

some_host         ansible_ssh_port=2222     ansible_ssh_user=manager
aws_host          ansible_ssh_private_key_file=/home/example/.ssh/aws.pem
freebsd_host      ansible_python_interpreter=/usr/local/bin/python
ruby_module_host  ansible_ruby_interpreter=/usr/bin/ruby.1.9.3

第一條 Ansible 命令

很重要的一點，主機清單必需要先配置，因爲這搭建了內部DNS服務器，因此，這裏的主機使用了FQDN名稱。

#cat /etc/ansible/hosts 
[web]
6-web-1.hunk.tech
7-web-0.hunk.tech
7-web-2.hunk.tech

[group:children]
dns
db

[dns]
6-dns-1.hunk.tech

[db]
7-db-3.hunk.tech

192.168.7.[200:203]
192.168.7.254
#ansible dns -m ping       # 使用ansible對dns組內的主機進行ping模塊測試

image
很是抱歉哦，居然是失敗的。爲何呢？Ansible是基於ssh進行工做的，那麼當ssh一臺遠程主要的時候，是否是須要輸入密碼呢？但是這一條指令並無提示輸入口令呢

#ansible dns -m ping -k
加上-k選項後，會提示輸入ssh密碼了。

image

另外，值得注意的是，當指令成功和失敗都會有不一樣的顏色反映出來，配以changed :false,changed :SUCCESS,可讓咱們很是清晰的知道執行的結果。

當主機數量多的時候，輸入密碼可不是一個好差事呢？前面的章節已經講過主機之間可使用基於密鑰的SSH連接。爲了更方便的管理主機，這個章節的實驗都用這種方法。

基於key的免密碼登陸

#ssh-keygen
#ssh-copy-id 6-web-1.hunk.tech
#ssh-copy-id 6-DNS-1.hunk.tech
#ssh-copy-id 7-web-0.hunk.tech
#ssh-copy-id 7-web-2.hunk.tech
#ssh-copy-id 7-db-3.hunk.tech

如今就不會再提示密碼的問題了。

#ansible all -m ping
6-web-1.hunk.tech | SUCCESS
7-web-0.hunk.tech | SUCCESS
7-web-2.hunk.tech | SUCCESS
7-db-3.hunk.tech | SUCCESS 
6-dns-1.hunk.tech | SUCCESS 
192.168.7.201 | SUCCESS 
192.168.7.200 | SUCCESS

是否是很簡單呀，Ansible用的指令也不是太多，可使用man ansible和官方網站去查詢。http://docs.ansible.com/ansible/latest/

Ansible經常使用命令語法

ansible <host-pattern> [-m module_name] [options]
指令 匹配規則的主機清單 -m 模塊名 選項

--version 顯示版本
-a 模塊參數（若是有）
-m module 指定模塊，默認爲command
-v 詳細過程 –vv -vvv更詳細
--list-hosts 顯示主機列表，可簡寫--list
-k, --ask-pass 提示鏈接密碼，默認Key驗證
-K，--ask-become-pass 提示使用sudo密碼
-C, --check 檢查，並不執行
-T, --timeout=TIMEOUT 執行命令的超時時間，默認10s
-u, --user=REMOTE_USER 執行遠程執行的用戶
-U， SUDO_USER, --sudo-user 指定sudu用戶
-b, --become 代替舊版的sudo 切換
ansible-doc: 顯示模塊幫助
ansible-doc [options] [module...]

-a 顯示全部模塊的文檔
-l, --list 列出可用模塊
-s, --snippet 顯示指定模塊的簡要說明

例子：#ansible-doc ping

因爲ansible的模塊有1378個(2.4.2.0),而且一直在持續更新。所以，這個指令必需要掌握的。
#ansible-doc -l |wc -l
1378

Ansible 主機 匹配列表

通配符

注意用單引號
*  匹配任意字符
#ansible '*' -m ping   等同於 #ansible all -m ping

#ansible '*dns*' -m ping
6-dns-1.hunk.tech | SUCCESS

? 匹配單個字符
#ansible '192.168.7.20?' -m ping
192.168.7.201 | SUCCESS
192.168.7.203 | SUCCESS
192.168.7.202 | SUCCESS
192.168.7.200 | SUCCESS

: 或者
#ansible '192.168.7.201:192.168.7.254' -m ping
192.168.7.201 | SUCCESS
192.168.7.254 | SUCCESS

:& 而且  (邏輯與)
#ansible 'test3:&test' --list

  hosts (1):
    192.168.7.254

:! 邏輯非。在test3組內，可是並不在test組內
#ansible 'test3:!test' --list       > 用到感嘆號的時候，記得引號爲單引號，不然會被bash解析爲歷史命令

  hosts (2):
    192.168.7.200
    192.168.7.203

使用正則表達式
~表示後面是正則匹配，注意~後面不能有空格
#ansible '~[67]-(db|dns).*\.hunk.*' --list

  hosts (2):
    6-dns-1.hunk.tech
    7-db-3.hunk.tech

這裏寫一條正則的坑,咱們在用bash腳本的時候，匹配數字可使用[0-9]或[[:digit:]],在用Ansible的時候，咱們來看下不一樣的效果吧

#cat /etc/ansible/hosts 

[web]
6web-1.hunk.tech
7web-0.hunk.tech
7web-2.hunk.tech

[group:children]
dns
db

[dns]
6-dns-1.hunk.tech

[db]
7-db-3.hunk.tech
[test2]
192.168.7.[200:203]
192.168.7.254
[test]
192.168.7.254

[test3]
192.168.7.200
192.168.7.254
192.168.7.203

DNS都是能夠正確解析出來的，不要懷疑
6-dns-1.hunk.tech.  600 IN  A   192.168.7.254
6-web-1.hunk.tech.  600 IN  A   192.168.7.201
7-db-3.hunk.tech.   600 IN  A   192.168.7.203
7-web-0.hunk.tech.  600 IN  A   192.168.7.200
7-web-2.hunk.tech.  600 IN  A   192.168.7.202

#ansible '~^[[:digit:]]' --list     有人說這種寫法會報錯，但是主機都是centos7.4，版本都是同樣
  hosts (7):                         這裏匹配出7臺主機
    192.168.7.200
    192.168.7.201
    192.168.7.202
    192.168.7.203
    192.168.7.254
    6-dns-1.hunk.tech
    7-db-3.hunk.tech

#ansible '~^[0-9]' --list
  hosts (10):                       這裏匹配出10臺主機
    6web-1.hunk.tech
    6-dns-1.hunk.tech
    7-db-3.hunk.tech
    7web-0.hunk.tech
    7web-2.hunk.tech
    192.168.7.254
    192.168.7.201
    192.168.7.200
    192.168.7.203
    192.168.7.202

#ansible '~^[[:digital:]]' --list
  hosts (10):                       這裏匹配出10臺主機
    6web-1.hunk.tech
    7web-0.hunk.tech
    7web-2.hunk.tech
    192.168.7.200
    192.168.7.201
    192.168.7.202
    192.168.7.203
    192.168.7.254
    6-dns-1.hunk.tech
    7-db-3.hunk.tech

分享2個正則表達式的網址
https://en.wikipedia.org/wiki/Regular_expression#POSIX_basic_and_extended

python2的
https://docs.python.org/2/library/re.html

不一樣軟件對正則的表達都不同，仍是用那些通用性強的吧。

[0-9]純數字
[a-zA-Z0-9]數字和字母

Ansible 的命令執行過程

以 ansible db -m command -a 'ls -l /' -vvv 這條命令爲例，根據顯示的信息時行解讀

1. 加載本身的配置文件，默認/etc/ansible/ansible.cfg
    Using /etc/ansible/ansible.cfg as config file

2.匹配主機清單
    Parsed /etc/ansible/hosts inventory source with ini plugin

3. 加載指令對應的模塊文件，如command，生成.py的文件到本機的臨時目錄，這個目錄就是在/etc/ansible/ansible.cfg定義的
    Using module file /usr/lib/python2.7/site-packages/ansible/modules/commands/command.py
    PUT /tmp/tmp4JvsLH TO /root/.ansible/tmp/ansible-tmp-1517301292.6-155771303493861/command.py

4. 經過ansible將模塊或命令生成對應的臨時py文件，並將該文件傳輸至遠程服務器的對應執行用戶$HOME/.ansible/tmp/ansible-tmp-數字/XXX.PY文件，
    這個目錄就是在/etc/ansible/ansible.cfg定義的
    ( umask 77 && mkdir -p "` echo /root/.ansible/tmp/ansible-tmp-1517301292.6-155771303493861 `" ....)
    sftp> put /tmp/tmp4JvsLH /root/.ansible/tmp/ansible-tmp-1517301292.6-155771303493861/command.py\n'

5. 給文件+x 權限
    'chmod u+x /root/.ansible/tmp/ansible-tmp-1517301292.6-155771303493861/ /root/.ansible/tmp/ansible-tmp-1517301292.6-155771303493861/command.py && sleep 0'

6. 執行並返回結果
    '/usr/bin/python /root/.ansible/tmp/ansible-tmp-1517301292.6-155771303493861/command.py;

7. 刪除臨時py文件，sleep 0退出
    rm -rf "/root/.ansible/tmp/ansible-tmp-1517301292.6-155771303493861/" > /dev/null 2>&1 && sleep 0

8.斷開遠程主機鏈接
    'Shared connection to 7-db-3.hunk.tech closed.\r\n')

執行結果狀態

 綠色：執行成功而且不須要作改變的操做

 ×××：執行成功而且對目標主機作變動

 紅色：執行失敗

能夠在配置文件中定義
[colors]
#highlight = white
#verbose = blue
#warn = bright purple
#error = red
#debug = dark gray
#deprecate = purple
#skip = cyan
#unreachable = red
#ok = green
#changed = yellow
#diff_add = green
#diff_remove = red
#diff_lines = cyan
相關文章
相關標籤/搜索
每日一句
    每一个你不满意的现在，都有一个你没有努力的曾经。
本站公眾號
   歡迎關注本站公眾號,獲取更多信息
聯繫我們 最近搜索 最新文章 沪ICP备13005482号-10 MyBatis教程 SQL 教程 MySQL教程 Java 教程 Thymeleaf 教程 Hibernate教程 Spring教程 Redis教程