Pipeline As Code With Jenkins2.0

---

Jenkins2.0 Pipeline導入

Pipeline as Code是Jenkins 2.0版本的精華所在，是幫助Jenkins實現從CI到CD華麗轉身的關鍵工具。

所謂Pipeline，簡單來講，就是一套運行於Jenkins上的工做流框架，將本來獨立運行於單個或者多個節點的任務鏈接起來，實現單個任務難以完成的複雜發佈流程

Pipeline的實現方式是一套Groovy DSL(相似Gradle)，任何發佈流程均可以表述爲一段Groovy腳本，而且Jenkins支持從代碼庫直接讀取腳本，從而實現了Pipeline as Code的理念。

注： 本文首發於 My 公衆號 CodeSheep ，可 長按 或 掃描 下面的 當心心 來訂閱 ↓ ↓ ↓

---

爲何要使用Jenkins2.0 Pipeline

這裏主要結合我本身對傳統Jenkins Job使用的一些痛點來講：

• 傳統的Jenkins Job難以靈活高效地並行（Job間、節點間、任務間、甚至任務內四個維度的並行）

• 傳統的Jenkins Job日益失控的趨勢讓咱們措手不及，Job太多，CI腳本太離散，維護成本實在過高了，並且很危險，一單Jenkins Server掛了，一切都Game Over了

• 新拉分支的分支代碼CI部署太麻煩了

• 傳統的Jenkins Job顯示真的是不太直觀啊

我想這些理由應該足以讓咱們把目光轉向Jenkins2.0的Pipeline！

Pipeline的功能和優勢：

1. 持久性：在jenkins的master按計劃和非計劃的重啓後，pipeline的job仍然可以工做，不受影響。其實理解起來也很簡單，jenkins的master和agent經過ssh鏈接，若是你知道nohup或disown的話，就能夠理解爲啥master的重啓不會影響agent上的job繼續運行。
2. 可暫停性：pipeline基於groovy能夠實現job的暫停和等待用戶的輸入或批准而後繼續執行。 3. 更靈活的並行執行，更強的依賴控制，經過groovy腳本能夠實現step，stage間的並行執行，和更復雜的相互依賴關係。
3. 可擴展性：經過groovy的編程更容易的擴展插件。
4. 設計Pipeline = 設計代碼，很優雅
5. As Code：集中管理CI腳本、用代碼庫來管理腳本、從代碼庫直接讀取腳本，從而能夠將項目CI迅速拉起來！

---

Pipeline原理與流程

Pipeline爲用戶設計了三個最最基本的概念：

• Stage：一個Pipeline能夠劃分爲若干個Stage，每一個Stage表明一組操做。注意，Stage是一個邏輯分組的概念，能夠跨多個Node。
• Node：一個Node就是一個Jenkins節點，或者是Master，或者是Agent，是執行Step的具體運行期環境。
• Step：Step是最基本的操做單元，小到建立一個目錄，大到構建一個Docker鏡像，由各種Jenkins Plugin提供。

一個典型的Stage View以下圖所示：

從圖中能夠十分方便地看到哪些Stage經過，哪些Stage失敗，以及構建的時間。

Jenkins2.0的Pipeline搭建使用的是Groovy腳本，經過Groovy腳本實現工做流管理的步驟以下：

• 去Jenkins主界面創建Pipeline任務

實際上更經常使用的是MultiBranch Pipeline，上面的圖中截圖沒有包含，但與普通Pipeline基本相似。

• 使用Groovy腳本自定義工做流

上圖的實例腳本以下：

node { 
    stage('Checkout Code') { // for display purposes 
        // Get some code from a GitHub repository 
        git 'https://github.com/jglick/simple-maven-project-with-tests.git' 
    }
 
    stage('Build') { 
        // Run the maven build 
        if (isUnix()) { 
            sh "'${MAVEN_HOME}/bin/mvn' -Dmaven.test.failure.ignore clean package" 
        } else { 
            bat(/"${MAVEN_HOME}\bin\mvn" -Dmaven.test.failure.ignore clean package/) 
        } 
    } 
 
    stage('Unit test') { 
        junit '**/target/surefire-reports/TEST-UT.xml' 
        archive 'target/*.jar' 
    } 
} 
複製代碼

• 開始執行Pipeline

構建過程的stage View以下：

很明顯能夠看出，這裏顯示的和Groovy腳本中格式化的代碼是一致的，會實時顯示各個工做流的執行進度和結果，直觀易懂。鼠標移上去，能看到日誌信息的縮略圖，單擊能夠調到對應stage的console中。

總而言之，一切都是那麼地優雅！

---

Jenkins2.0 Pipeline關鍵DSL語法及示例

在這裏總結一下Pipeline中的關鍵DSL語法，利用Groovy對其進行組合能夠完成任何一項複雜的CI/CD流程，熟悉它們大有裨益。

• archiveArtifacts

歸檔文件，舉例：

archiveArtifacts 'target/*.jar'
複製代碼

• bat

執行windows平臺下的批處理文件，如

bat "call example.bat"
複製代碼

• build

觸發構建一個jenkins job，如

build 'TEST_JOB'
複製代碼

• checkout

從SCM系統中checkout repo，如：

checkout([$class: 'SubversionSCM', additionalCredentials: [], excludedCommitMessages: '', excludedRegions: '', excludedRevprop: '', excludedUsers: '', filterChangelog: false, ignoreDirPropChanges: false, includedRegions: '', locations: [[credentialsId: '30e6c1e5-1035-4bdd-8a44-05ba8f885158', depthOption: 'infinity', ignoreExternalsOption: true, local: '.', remote: 'svn://xxxxxx']], workspaceUpdater: [$class: 'UpdateUpdater']]) 
複製代碼

• deleteDir()

從workspace中刪除當前目錄

• dir

切換目錄，如

dir('/home/jenkins') { // 切換到/home/jenkins目錄中作一些事情
    // some block
}
複製代碼

• echo

打印信息，如 echo 'hello world'

• emailtext

利用Jenkins發送郵件，內容、主題全均可以自定義，如

emailext body: 'Subject_test', subject: 'Subject_test', to: 'hansonwang99@163.com.cn'
// 郵件的正文body，主題subject，收件人to等能夠進行自定義
複製代碼

• error

拋出一個錯誤信號，能夠自行在代碼裏拋出，如 error 'read_error'

• fileExists

檢查工做空間某個路徑裏是否存在某個file，舉例：

fileExists '/home/test.txt'  // 檢查是否存在test.txt
複製代碼

• input

等待外界用戶的交互輸入，舉例：

input message: '', parameters: [string(defaultValue: '默認值', description: '版本號', name: 'version')] // 在某一步驟，等待用戶輸入version參數才能往下執行
複製代碼

• isUnix

用於判斷當前任務是否運行於Unix-like節點上，舉例：

def flag = isUnix()
if( flag == false ) { // 能夠據此進行判斷
	echo "not run on a unix node !"
}
複製代碼

• load

調用一個外部groovy腳本，舉例：

load 'D:\\jenkins\\workspace\\test.groovy'
複製代碼

• node

分配節點給某個任務運行，舉例：

node('節點標籤') { // 在對應標籤的節點上運行某項任務
	Task()
}
複製代碼

• parallel

並行地執行任務，能夠說是最實用高效的工具了，舉例：

parallel(   //並行地執行android unit tests和android e2e tests兩個任務
	'android unit tests': {
		runCmdOnDockerImage(androidImageName, 'bash /app/ContainerShip/scripts/run-android-docker-unit-tests.sh', '--privileged --rm')
	},
	'android e2e tests': {
	runCmdOnDockerImage(androidImageName, 'bash /app/ContainerShip/scripts/run-ci-e2e-tests.sh --android --js', '--rm')
	}
)
複製代碼

• properties：

設置Job的屬性，舉例：

properties([parameters([string(defaultValue: '1.0.0', description: '版本號', name: 'VERSION')]), pipelineTriggers([])]) // 爲job設置了一個VERSION參數
複製代碼

• pwd 顯示當前目錄

• readFile

從工做空間中讀取文件，舉例：

def editionName = readFile '/home/Test/exam.txt'
複製代碼

• retry

重複body內代碼N次，舉例：

retry(10) {
    // some block
}
複製代碼

• sh

執行shell腳本，如：sh "sh test.sh"

• sleep

延時，如延時2小時：sleep time: 2, unit: 'HOURS'

• stage

建立任務的stage，舉例：

stage('stage name') {
    // some block
}
複製代碼

• stash

存放文件爲後續構建使用，舉例：

dir('target') {
	stash name: 'war', includes: 'x.war'
}
複製代碼

• unstash

將stash步驟中存放的文件在當前工做空間中重建，舉例：

def deploy(id) {
    unstash 'war'
    sh "cp x.war /tmp/${id}.war"
}
複製代碼

• timeout

時間限制，舉例

timeout(time: 4, unit: 'SECONDS') {
    // some block
}
複製代碼

• timestamps

用於在控制檯加時間戳，舉例：

timestamps {
    // some block
}
複製代碼

• touch

建立文件，舉例：

touch file: 'TEST.txt', timestamp: 0
複製代碼

• unzip

解壓文件，舉例：

unzip dir: '/home/workspace', glob: '', zipFile: 'TEST.zip'
複製代碼

• validateDeclarativePipeline

檢查給定的文件是否包含一個有效的Declarative Pipeline，返回T或者F

validateDeclarativePipeline '/home/wospace'
複製代碼

• waitUntil

等待，直到條件知足

waitUntil {
    // some block
}
複製代碼

• withCredentials

使用憑據

withCredentials([usernameColonPassword(credentialsId: 'mylogin', variable: 'USERPASS')]) {
    sh ''' set +x curl -u $USERPASS https://private.server/ > output '''
}
複製代碼

• withEnv

設置環境變量，注意近本次運行有效!

withEnv(['MYTOOL_HOME=/usr/local/mytool']) {
    sh '$MYTOOL_HOME/bin/start'
}
複製代碼

• writeFile

寫文件到某個路徑

writeFile file: '/home/workspace', text: 'hello world'
複製代碼

• writeJSON

寫JSON文件，用法基本同上

• zip

建立zip文件

zip dir: '/home/workspace', glob: '', zipFile: 'TEST.zip'
複製代碼

• ws

自定義工做空間，在其中作一些工做，效果相似於Dir命令，舉例：

ws('/home/jenkins_workspace') {
    // some block
}
複製代碼

---

後記

• 做者更多的原創文章在此，歡迎觀賞

• My Personal Blog

做者更多的SpringBt實踐文章在此：

• Spring Boot應用監控實戰
• SpringBoot應用部署於外置Tomcat容器
• ElasticSearch搜索引擎在SpringBt中的實踐
• 初探Kotlin+SpringBoot聯合編程
• Spring Boot日誌框架實踐
• SpringBoot優雅編碼之：Lombok加持

---

若是有興趣，也能夠抽點時間看看做者一些關於容器化、微服務化方面的文章：

• 利用K8S技術棧打造我的私有云 連載文章
• 從一份配置清單詳解Nginx服務器配置
• Docker容器可視化監控中心搭建
• 利用ELK搭建Docker容器化應用日誌中心
• RPC框架實踐之：Apache Thrift
• RPC框架實踐之：Google gRPC
• 微服務調用鏈追蹤中心搭建
• Docker容器跨主機通訊
• Docker Swarm集羣初探
• 高效編寫Dockerfile的幾條準則

---