《轉載》Jenkins持續集成－自動化部署腳本的實現《python》

本文轉載自慕課網

讀者須知：
一、本手記本着記續接前面的兩張手記內容整理
二、本手記針對tomcat部署測試環境實現

最近工做比較繁忙，致使這章一直拖延，沒有太抽出時間來總結。要實現Jenkins端的持續集成，其實在CI服務配置端很容易，難點呢？就是如何實現自動化的部署。個人腳本設計就是爲了解決如下難題：

難點1、如何使得自動化部署腳本更通用

我用的腳本，依賴依賴一個配置文件的模塊化，讓每個應用業務模塊更加通用。自動化所執行的命令呢？
我也是設計想法本着更加通用平臺的原則，至少對於tomcat+java or java+socket這種模式通用。

難點2、如何使得自動化的部署簡單有效

本腳本，更加切合實際，例：自動化部署關閉tomcat，咱們經常會選擇catalina.sh stop去關閉，然而這裏我選擇了kill的方式，若是檢測中沒有順利關閉，我將調用kill -9 去直接關閉。（沒辦法，選擇了通用，你是沒遇到過tomcat 一直有線程卡住，關閉不了的狀況吧。）
難點3、須要讓咱們自動化的部署實現高的可靠性
體如今：
一、每一次的部署，配置選項中都會進行備份。（備份只一次）
二、服務自動備份完畢後，須要實現檢測（這裏我在配置模塊中有加入日誌終端輸出）

固然，這個腳本中還有未完成的地方：
一、服務啓動後，自動化的檢測機制仍是太薄弱。
二、暫時此腳本還沒法通用到php,python等環境的更多平臺
三、代碼備份方式上，應該更加具更多靈活性。
這裏，若是你以爲個人腳本能夠補充，不如你們一塊兒加入進來（留言、或者郵件我jeson@imoocc.com），我也很想學習學習你們的想法。

1、自動化部署原理圖示
一、二、三、4 表示執行的4個部署基礎步驟

2、實現

一、Tomcat 進程設置惟一標記

用於識別出一個服務器中惟一的Tomcat進程
java -Dmyapp.name=「project_name」
若是用的tomcat咱們能夠，直接修改啓動控制文件catalina.sh。
JAVA_OPTS="-Dmyapp.name:"project_name" -server -Xms1024M -Xmx4096M -Xss512k -XX:+AggressiveOpts -XX:+UseBiasedLocking -XX:PermSize=128M -XX:MaxPermSize=1024M"
二、實現自動化登陸

通常有兩種方式：
方式1、模擬用戶密碼交互方式，你們能夠學習家py中依賴pexcept模塊。
方式2、用ssh + Key方式，這個是ssh的一種公鑰認證機制。本腳本中用的這種，你們自行學習。

三、CI服務器須要在服務端配置rsync服務端
實現中，主要用於客戶端服務拖取代碼。

四、配置文件解釋
[imoocc.com-server] //服務的模塊名稱，這裏須要注意，須要具備惟一性，且服務的進程標示命名一致
CI_IP=ci.iaskjob.com //CI服務器地址
Login_ISA_Key=/back/key/jeson_iaskjob_rsa //登陸ISA的key
Project_IP=192.168.10.99 //工程IP
Project_Login_User=root //對應工程機器登陸用戶
Project_Login_Port=22 //對應工程機器登陸端口
Project_Code_File=/tmp/imoocc //對應工程在CI服務器構建後的執行代碼目錄
Project_Exclude_File="/var/cache","/var/tmp","jdbc.profile" //不須要向線上同步的文件，如配置文件等等
Project_Backup_Dir=/opt/Jenkins_Backup_Dir //工程備份目錄
Project_Deploy_Path=/opt/imoocc //工程部署目錄
Project_Start_Command=tomcat/bin/catalina.sh start //工程啓動方式
Project_Log_Path=/tmp/imoocc.log //啓動後日志的查看方式

分享代碼以下：

# -*- coding: utf-8 -*-
#!/usr/bin/python
#########################################################################
# File Name: Jenkins_Project_Deploy.py
# Program function: ueed for deployment code in CI server.
# Author:Jeson
# mail:jeson@imoocc.com
# Created Time: 一  6/20 19:24:33 2016
#========================================================================
import ConfigParser
import sys
from sys import argv
import paramiko

def Gennerate_cmd(Project_Name,CI_IP,Project_Code_File,Project_Exclude_File,Project_Backup_Dir,Project_Deploy_Path,Project_Start_Command,Project_Log_Path):
    cmd = []
    #生成備份命令
    if Project_Backup_Dir:
        #生成備份原有文件
        cmd.append("mkdir -p /opt/")
        cmd.append("rsync -avzP %s %s && touch /tmp/CI_%s_backuptrue"%(Project_Deploy_Path,Project_Backup_Dir,Project_Name))
    #生成關閉原有進程命令
    cmd.append('test -e /tmp/CI_%s_backuptrue && ps -auxgrep "name:%s"grep -v grepawk \'{print $2}\'xargs kill'%(Project_Name,Project_Name))
    #生成命令－確認原來服務已經順利關閉
    cmd.append('ps -auxgrep "name:%s"grep -v grepawk \'{print $2}\'&& touch /tmp/CI_killSucc  ps -auxgrep "name:%s"grep -v grepawk \'{print $2}\'xargs kill -9'%(Project_Name,Project_Name))
    #生成命令－用於同步新的代碼文件
    if Project_Code_File == "":
        cmd.append('test -e "/tmp/CI_%s_killSucc" && rsync -avzP --delete-after --exclude "{%s}" %s::%s %s'%(Project_Name,Project_Exclude_File,CI_IP,Project_Name,Project_Deploy_Path))
    else:
        cmd.append('test -e "/tmp/CI_%s_killSucc" && rsync -avzP --delete-after --exclude "{%s}" %s::%s/%s %s'%(Project_Name,Project_Exclude_File,CI_IP,Project_Name,Project_Code_File,Project_Deploy_Path))
    #生成命令－用於啓動服務
    cmd.append(Project_Start_Command)
    #生成命令－查看服務啓動後的日誌
    cmd.append('tail -n 200 -f %s'%Project_Log_Path)
    #生成命令－清理這次生成的臨時文件
    # cmd.append('rm -f /tmp/\*%s\*'%Project_Name)
    return cmd

def Login_Execute_Command(Project_IP,Project_Login_Port,Project_Login_User,Login_ISA_Key,cmds):
    Project_Port = int(Project_Login_Port) if Project_Login_Port else 22
    if Project_IP and Project_Login_User and Login_ISA_Key:
        key = paramiko.RSAKey.from_private_key_file(Login_ISA_Key)
        s = paramiko.SSHClient()
        s.load_system_host_keys()
        s.set_missing_host_key_policy(paramiko.AutoAddPolicy())
        s.connect(hostname=Project_IP,port=Project_Port,username=Project_Login_User,pkey=key)
        for cmd_item in cmds:
            stdin,stdout,stderr=s.exec_command(cmd_item)
            print stdout.read()
        return True
    else:
        return false

def main():
    if len(argv) > 2:
        Config_File = argv[1] if argv[1] else "./Jenkins_Project_Deploy.conf "
        Project_Name = argv[2] if argv[2] else ""
    else:
        print "Error 0:Input argv format error! ./Jenkins_Project_Deploy.py ./test.conf testname"
        sys.exit()
    try:
        cf = ConfigParser.ConfigParser()
        cf.read(Config_File)
        CI_IP = cf.get(Project_Name, "CI_IP")
        Project_Code_File = cf.get(Project_Name, "Project_Code_File")
        Project_Exclude_File = cf.get(Project_Name, "Project_Exclude_File")
        Project_Backup_Dir = cf.get(Project_Name, "Project_Backup_Dir")
        Project_Deploy_Path = cf.get(Project_Name, "Project_Deploy_Path")
        Project_Start_Command = cf.get(Project_Name, "Project_Start_Command")
        Project_Log_Path = cf.get(Project_Name, "Project_Log_Path")

        execute_command = Gennerate_cmd(Project_Name,CI_IP,Project_Code_File,Project_Exclude_File,Project_Backup_Dir,Project_Deploy_Path,Project_Start_Command,Project_Log_Path)
        print "{Step 1: Command collected over!}",execute_command
        Project_IP = cf.get(Project_Name, "Project_IP")
        Project_Login_Port = cf.get(Project_Name, "Project_Login_Port")
        Project_Login_User = cf.get(Project_Name, "Project_Login_User")
        Login_ISA_Key = cf.get(Project_Name, "Login_ISA_Key")
    except Exception as e:
        print "Error 1: %s file open or read error!"%Config_File
        sys.exit()
    print "{Step 2:Prepare to loging...}",Project_IP
    result = Login_Execute_Command(Project_IP,Project_Login_Port,Project_Login_User,Login_ISA_Key,cmds=execute_command)
    if result is False:
        print "Error 3:Execute command failed!"
if __name__ == '__main__':
    main()