CMDB和運維自動化

CMDB和運維自動化

2018-05-05

1. IT運維的分類
2. 傳統運維痛點
3. 自動化運維平臺的特性
4. 資產管理系統（CMDB）
   1. CMDB包含的功能
   2. CMDB實現的四種方式

---

IT運維的分類

IT運維，指的是對已經搭建好的網絡，軟件，硬件進行維護。運維領域也是細分的，有硬件運維和軟件運維

• 硬件運維主要包括對基礎設施的運維，好比機房的設備，主機的硬盤，內存這些物理設備的維護
• 軟件運維主要包括系統運維和應用運維，系統運維主要包括對OS，數據庫，中間件的監控和維護，這些系統介於設備和應用之間，應用運維主要是對線上業務系統的運維

這裏討論的主要是軟件運維的自動化，包括系統運維和應用運維的自動化

傳統運維痛點

• 平常工做繁瑣

平常運維工做是比較繁瑣的，研發同窗會常常須要到服務器上查日誌，重啓應用，或者是說今天上線某個產品，須要部署下環境。這些雜事是傳統運維的大部分工做

• 應用運行環境不統一

在部署某應用後，應用不能訪問，就會聽到開發人員說，在個人環境運行很好的，怎麼部署到測試環境後，就不能用了，由於各種環境的類庫不統一
還有一種極端狀況，運維人員習慣不一樣，可能憑本身的習慣來安裝部署軟件，每種服務器上運行軟件的目錄不統一

• 運維及部署效率低下

  想一想運維人員須要登錄到服務器上執行命令，部署程序，不只效率很低，而且很是容易出現人爲的錯誤，一旦手工出錯，追溯問題將會很是不容易

• 無用報警信息過多

  常常會收到不少報警信息，多數是無用的報警信息，形成運維人員常常屏蔽報警信
  另外若是應用的訪問速度出了問題，老是須要從系統、網絡、應用、數據庫等一步步的查找緣由

• 資產管理和應用管理混亂

  資產管理，服務管理常常記錄在excel、文本文件或者wiki中，不便於管理，老員工由於比較熟，不注重這些文檔的維護，只有靠每次有新員工入職時，資產纔可以更正一次

自動化運維平臺的特性

針對傳統運維的痛點，咱們能夠知道自動化運維須要支持哪些功能

運維自動化最重要的就是標準化一切

• OS的選擇統一化，同一個項目使用一樣的OS系統部署其所須要的各種軟件
• 軟件安裝標準化，例如JAVA虛擬機，php，nginx，mysql等各種應用須要的軟件版本，安裝目錄，數據存放目錄，日誌存放目錄等
• 應用包目錄統一標準化，及應用命名標準化
• 啓動腳本統一目錄和名字，須要變化的部分經過參數傳遞
• 配置文件標準化，須要變化的部分經過參數傳遞
• 日誌輸出，日誌目錄，日誌名字標準化
• 應用生成的數據要實現統一的目錄存放
• 主機/虛擬機命名標準化，虛擬機管理使用標準化模板
• 使用docker比較容易實現軟件運行環境的標準化

資產管理系統（CMDB）

CMDB是全部運維工具的數據基礎

CMDB包含的功能

1. 用戶管理，記錄測試，開發，運維人員的用戶表
2. 業務線管理，須要記錄業務的詳情
3. 項目管理，指定此項目用屬於哪條業務線，以及項目詳情
4. 應用管理，指定此應用的開發人員，屬於哪一個項目，和代碼地址，部署目錄，部署集羣，依賴的應用，軟件等信息
5. 主機管理，包括雲主機，物理機，主機屬於哪一個集羣，運行着哪些軟件，主機管理員，鏈接哪些網絡設備，雲主機的資源池，存儲等相關信息
6. 主機變動管理，主機的一些信息變動，例如管理員，所屬集羣等信息更改，鏈接的網絡變動等
7. 網絡設備管理，主要記錄網絡設備的詳細信息，及網絡設備鏈接的上級設備
8. IP管理，IP屬於哪一個主機，哪一個網段, 是否被佔用等

CMDB實現的四種方式

• Agent實現方式

Agent方式，能夠將服務器上面的Agent程序做定時任務，定時將資產信息提交到指定API錄入數據庫

其本質上就是在各個服務器上執行subprocess.getoutput()命令，而後將每臺機器上執行的結果，返回給主機API，而後主機API收到這些數據以後，放入到數據庫中，最終經過web界面展示給用戶

優勢：速度快
缺點：須要爲每臺服務器部署一個Agent程序

---

• ssh實現方式 （基於Paramiko模塊）

中控機經過Paramiko（py模塊）登陸到各個服務器上，而後執行命令的方式去獲取各個服務器上的信息

優勢：無Agent 缺點：速度慢

若是在服務器較少的狀況下，可應用此方法

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16

import paramiko   # 建立SSH對象 ssh = paramiko.SSHClient() # 容許鏈接不在know_hosts文件中的主機 ssh.set_missing_host_key_policy(paramiko.AutoAddPolicy()) # 鏈接服務器 ssh.connect(hostname= 'c1.salt.com', port= 22, username= 'root', password= '123')   # 執行命令 stdin, stdout, stderr = ssh.exec_command( 'df') # 獲取命令結果 result = stdout.read()   # 關閉鏈接 ssh.close()

---

• saltstack方式

此方案本質上和第二種方案大體是差很少的流程，中控機發送命令給服務器執行。服務器將結果放入另外一個隊列中，中控機獲取將服務信息發送到API進而錄入數據庫。

優勢：快，開發成本低 缺點：依賴於第三方工具

salstack的安裝和配置

1.安裝和配置

點擊顯/隱

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27

master端： """ 1. 安裝salt-master yum install salt-master 2. 修改配置文件：/etc/salt/master interface: 0.0.0.0 # 表示Master的IP 3. 啓動 service salt-master start """   slave端： """ 1. 安裝salt-minion yum install salt-minion   2. 修改配置文件 /etc/salt/minion master: 10.211.55.4 # master的地址 或 master: - 10.211.55.4 - 10.211.55.5 random_master: True   id: c2.salt.com # 客戶端在salt-master中顯示的惟一ID 3. 啓動 service salt-minion start """

2.受權

1 2 3 4 5 6

""" salt-key -L # 查看已受權和未受權的slave salt-key -a salve_id # 接受指定id的salve salt-key -r salve_id # 拒絕指定id的salve salt-key -d salve_id # 刪除指定id的salve   """ 若是通過以上配置，在受權時仍查看不到其餘主機，可能有如下緣由： 一、minion主機名和配置文件主機名不一致 　　命令：hostname  >/etc/salt/minion_id    二、master主機或minion主機selinux未永久關閉 　　命令：vim /etc/sysconfig/selinux 　　# 查看 SELINUX=disabled  這個參數是否爲disabled 　　# 若是不是，設置爲disabled 三、master主機或minion主機防火牆未關閉 　　命令：systemctl disable firewalld.service   # 開機不啓動防火牆

3.執行命令

在master服務器上對salve進行遠程操做

1	salt 'c2.salt.com' cmd.run 'ifconfig'

基於API的方式

1 2 3

import salt.client local = salt.client.LocalClient() result = local.cmd( 'c2.salt.com', 'cmd.run', [ 'ifconfig'])

參考安裝：
http://www.cnblogs.com/tim1blog/p/9987313.html
https://www.jianshu.com/p/84de3e012753

• Puppet（ruby語言開發）（瞭解）

每隔30分鐘，經過RPC消息隊列將執行的結果返回給用戶

AES介紹

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31

from Crypto.Cipher import AES def encrypt(message): key = b'dfdsdfsasdfdsdfs' cipher = AES.new(key, AES.MODE_CBC, key) ba_data = bytearray(message,encoding= 'utf-8') v1 = len(ba_data) v2 = v1 % 16 if v2 == 0: v3 = 16 else: v3 = 16 - v2 for i in range(v3): ba_data.append(v3) final_data = ba_data.decode( 'utf-8') msg = cipher.encrypt(final_data) # 要加密的字符串，必須是16個字節或16個字節的倍數 return msg   # ############################## 解密 ############################## def decrypt(msg): from Crypto.Cipher import AES key = b'dfdsdfsasdfdsdfs' cipher = AES.new(key, AES.MODE_CBC, key) result = cipher.decrypt(msg) # result = b'\xe8\xa6\x81\xe5\x8a\xa0\xe5\xaf\x86\xe5\x8a\xa0\xe5\xaf\x86\xe5\x8a\xa0sdfsd\t\t\t\t\t\t\t\t\t' data = result[ 0:-result[ -1]] return str(data,encoding= 'utf-8')   msg = encrypt( '你好好愛好愛好sss')   res = decrypt(msg)   print(res)

字符串格式化函數

1 2 3 4 5

String.prototype.format = function(args){ return this.replace( /\{(\w+)\}/g, function(s, i){ return args[i]; }); };