GitLab CI構建SpringBoot-2.3應用

歡迎訪問個人GitHub

https://github.com/zq2599/blog_demos

內容：全部原創文章分類彙總及配套源碼，涉及Java、Docker、Kubernetes、DevOPS等；

關於GitLab CI

在《體驗SpringBoot(2.3)應用製做Docker鏡像(官方方案)》一文中，我們掌握了SpringBoot官方推薦的鏡像構建方案，接下來要體驗的是GitLab的CI能力，它負責把代碼變成私有倉庫中的鏡像，我們能夠專心編碼了；

GitLab CI的做用以下圖，開發者提交代碼到GitLab後，就會觸發編譯、構建、製做鏡像、推送到倉庫這些事情，而後K8S環境就能用上最新的鏡像了：

本文內容

本文繼續堅持實戰的風格，和你們一塊兒完成如下操做：

1. 準備一個SpringBoot-2.3應用；
2. 編寫GitLab的pipeline腳本；
3. 提交代碼觸發pipeline腳本的工做；
4. K8S環境使用最新鏡像；
5. 體驗GitLab如何將最新鏡像自動部署到K8S環境；

環境信息

1. GitLab：Community Edition 13.0.6
2. GilLab Runner：13.1.0
3. kubernetes：1.15.3
4. SpringBoot：2.3.0.RELEASE
5. JDK：1.8.0_121
6. Maven：3.3.9
7. Docker：19.03.8
8. 操做系統：CentOS Linux release 7.8.2003

準備

實戰前須要您準備好如下環境：

1. GitLab，參考《羣暉DS218+部署GitLab》
2. 私有鏡像倉庫，參考《羣暉DS218+部署Harbor(1.10.3)》
3. GitLab Runner，參考《GitLab Runner部署(kubernetes環境)》
4. Kubernetes，參考《kubespray2.11安裝kubernetes1.15》

SpringBoot應用源碼

本次實戰用的是普通的SpringBoot工程，若是您不打算寫代碼，也能夠從GitHub上下載本次實戰的源碼，地址和連接信息以下表所示：

名稱	連接	備註
項目主頁	https://github.com/zq2599/blog_demos	該項目在GitHub上的主頁
git倉庫地址(https)	https://github.com/zq2599/blog_demos.git	該項目源碼的倉庫地址，https協議
git倉庫地址(ssh)	git@github.com:zq2599/blog_demos.git	該項目源碼的倉庫地址，ssh協議

這個git項目中有多個文件夾，本章的應用在dockerlayerdemo文件夾下，以下圖所示：

實戰操做

1. 建立名爲dockerlayerdemo的SpringBoot項目，SpringBoot版本號爲2.3.0.RELEASE，pom.xml內容以下：

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
	xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 https://maven.apache.org/xsd/maven-4.0.0.xsd">
	<modelVersion>4.0.0</modelVersion>
	<parent>
		<groupId>org.springframework.boot</groupId>
		<artifactId>spring-boot-starter-parent</artifactId>
		<version>2.3.0.RELEASE</version>
		<relativePath/> <!-- lookup parent from repository -->
	</parent>
	<groupId>com.bolingcavalry</groupId>
	<artifactId>dockerlayerdemo</artifactId>
	<version>0.0.1-SNAPSHOT</version>
	<name>dockerlayerdemo</name>
	<description>Demo project for Spring Boot layer docker image</description>

	<properties>
		<java.version>1.8</java.version>
	</properties>

	<dependencies>
		<dependency>
			<groupId>org.springframework.boot</groupId>
			<artifactId>spring-boot-starter-web</artifactId>
		</dependency>

		<dependency>
			<groupId>org.springframework.boot</groupId>
			<artifactId>spring-boot-starter-test</artifactId>
			<scope>test</scope>
			<exclusions>
				<exclusion>
					<groupId>org.junit.vintage</groupId>
					<artifactId>junit-vintage-engine</artifactId>
				</exclusion>
			</exclusions>
		</dependency>
	</dependencies>

	<build>
		<plugins>
			<plugin>
				<groupId>org.springframework.boot</groupId>
				<artifactId>spring-boot-maven-plugin</artifactId>
				<version>2.3.0.RELEASE</version>
				<configuration>
					<layers>
						<enabled>true</enabled>
					</layers>
				</configuration>
			</plugin>
		</plugins>
	</build>
</project>

2. java代碼並不是重點，在application類中加了個http接口：

package com.bolingcavalry.dockerlayerdemo;

import org.springframework.boot.SpringApplication;
import org.springframework.boot.autoconfigure.SpringBootApplication;
import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.bind.annotation.RestController;

import java.util.Date;

@SpringBootApplication
@RestController
public class DockerlayerdemoApplication {

	public static void main(String[] args) {
		SpringApplication.run(DockerlayerdemoApplication.class, args);
	}


	@RequestMapping(value = "/hello")
	public String hello(){
		return "hello " + new Date();
	}
}

3. pom.xml所在目錄增長文件夾.m2，裏面放入settings.xml，這是maven的配置文件，能夠設置您的特殊的maven信息；
4. pom.xml所在目錄增長Dockerfile文件，用於製做鏡像：

# 指定基礎鏡像，這是分階段構建的前期階段
FROM openjdk:8u212-jdk-stretch as builder
# 執行工做目錄
WORKDIR application
# 配置參數
ARG JAR_FILE=target/*.jar
# 將編譯構建獲得的jar文件複製到鏡像空間中
COPY ${JAR_FILE} application.jar
# 經過工具spring-boot-jarmode-layertools從application.jar中提取拆分後的構建結果
RUN java -Djarmode=layertools -jar application.jar extract

# 正式構建鏡像
FROM openjdk:8u212-jdk-stretch
WORKDIR application
# 前一階段從jar中提取除了多個文件，這裏分別執行COPY命令複製到鏡像空間中，每次COPY都是一個layer
COPY --from=builder application/dependencies/ ./
COPY --from=builder application/spring-boot-loader/ ./
COPY --from=builder application/snapshot-dependencies/ ./
COPY --from=builder application/application/ ./
ENTRYPOINT ["java", "org.springframework.boot.loader.JarLauncher"]

5. pom.xml所在目錄增長.gitlab-ci.yml文件，這就是CI時的pipeline腳本：

image: maven:3.6.3-jdk-8

variables:
  MAVEN_CLI_OPTS: "-s .m2/settings.xml --batch-mode"
  MAVEN_OPTS: "-Dmaven.repo.local=.m2/repository"

# 定義緩存
# 若是gitlab runner是shell或者docker，此緩存功能沒有問題
# 若是是k8s環境，要確保已經設置了分佈式文件服務做爲緩存
cache:
  key: dockerlayerdemo-ci-cache
  paths:
  - .m2/repository/
  - target/*.jar

# 本次構建的階段：build package
stages:
- package
- build

# 生產jar的job
make_jar:
  image: maven:3.6.3-jdk-8
  stage: package
  tags:
  - k8s
  script:
  - echo "=============== 開始編譯源碼，在target目錄生成jar文件 ==============="
  - mvn $MAVEN_CLI_OPTS clean compile package -Dmaven.test.skip=true
  - echo "target文件夾" `ls target/`

# 生產鏡像的job
make_image:
  image: docker:latest
  stage: build
  tags:
  - k8s
  script:
  - echo "從緩存中恢復的target文件夾" `ls target/`
  - echo "=============== 登陸Harbor  ==============="
  - docker login 192.168.50.43:5888 -u admin -p Harbor12345
  - echo "=============== 打包Docker鏡像 ： " gitlabci-java-demo:$CI_COMMIT_SHORT_SHA "==============="
  - docker build -t 192.168.50.43:5888/common/gitlabci-java-demo:$CI_COMMIT_SHORT_SHA .
  - echo "=============== 推送到鏡像倉庫  ==============="
  - docker push 192.168.50.43:5888/common/gitlabci-java-demo:$CI_COMMIT_SHORT_SHA
  - echo "=============== 登出  ==============="
  - docker logout
  - echo "清理掉本次構建的jar文件"
  - rm -rf target/*.jar

關於以上pipeline腳本，有下面五點須要注意：

第一：關於cache，若是您的gitlab runner是shell或者docker類型就無需關注，cache是直接生效的，但若是您的gitlab runner是K8S那就要注意了，須要在gitlab runner中填寫cache相關的配置，讓分佈式文件服務做爲cache的底層實現；

第二：一共定義了兩個stage：package和build，順序是先package再build，注意生成jar的job必定要是package，使用jar構建鏡像的job要是build，這樣在構建鏡像的時候才能順利從緩存中取得jar；

第三：make_image這個job的腳本中，會執行登陸私有鏡像倉庫的操做，爲了操做方便，登陸的帳號密碼都是直接寫在腳本里面的，實際使用時請不要這樣作，建議使用Harbor的機器人帳號密碼，而且寫入GitLab CI的環境變量配置頁面，而不是直接寫在pipeline腳本中

第四：tags參數用來和已有的GitLab Runner匹配，請按照您本身的runner的狀況設置；

第五：生成docker鏡像的tag等於$CI_COMMIT_SHORT_SHA，這是本次提交的commit id，所以，每次提交都會致使鏡像倉庫中多一個鏡像，其tag等於commit id；

6. 最終整個工程的內容以下：

至此，全部開發工做已經完成，接下來驗證執行狀況；

驗證CI

1. 將全部內容提交到GitLab，若是CI環境配置OK的話會當即觸發構建，下圖是構建成功的效果：

2. 先來看make_jar的執行狀況，以下圖，SpringBoot工程成功構建出jar文件：

3. 再看make_image執行狀況，以下圖：

4. 鏡像製做成功後，開始推送到harbor：

5. 最終完成推送，而且清理殘留文件：

6. 最後看看pipeline的總體狀況，以下圖：

7. 從上圖可知commit id是02307851，所以Harbor中應該有tag等於02307851的鏡像，登陸Harbor查看，以下圖紅框：

在K8S環境驗證

接下來要在K8S環境驗證以前的鏡像能夠正常運行：

1. SSH登陸K8S環境，執行如下命令，用最新的鏡像建立deployment：

kubectl create deployment dockerlayerdemo \
--image=192.168.50.43:5888/common/gitlabci-java-demo:02307851

2. 執行如下命令建立NodePort類型的service：

kubectl create service nodeport \
dockerlayerdemo --tcp 8080:8080

3. 瀏覽器訪問http://192.168.50.135:31685/hello ，其中192.168.50.135是K8S宿主機的IP地址，以下圖，能夠正常訪問SpringBoot服務：

GitLab CI的價值

文章看到這裏，我們pipeline腳本也寫了，鏡像有了，K8S上部署的服務也驗證了，這就結束了嗎？

---尚未，我們來感覺一下從修改代碼到K8S環境上生效的流程：

1. 修改java代碼，以下圖：

2. 提交代碼：

3. 順利生成鏡像：

4. 在K8S環境執行如下命令便可完成鏡像更新：

kubectl set image deployment dockerlayerdemo \
gitlabci-java-demo=192.168.50.43:5888/common/gitlabci-java-demo:8735c78d

5. 上述命令中的gitlabci-java-demo來自kubectl describe deployment dockerlayerdemo結果中，顯示的容器名稱，以下圖紅框：

6. 系統提示更新成功：

7. 再次用瀏覽器訪問相同的地址，以下圖紅框，修改的代碼已經生效：

可見藉助GitLab CI，編碼到部署之間的過程已被簡化，能夠更加專一的擼碼了；

體驗CD？

除了持續集成(CI)，還能夠把持續部署(CD)也加入到pipeline腳本中，這樣咱們只需提交代碼，對應的鏡像會被自動部署到K8S環境；

1. 打開.gitlab-ci.yml，增長一個stage定義deploy，以下所示，如今一共有三個stage了：

stages:
- package
- build
- deploy

2. 再在尾部增長一個job，以下所示，鏡像名爲ictu/sshpass:latest，該鏡像內置了sshpass，能夠ssh鏈接到K8S環境，執行kubectl set image XXX命令更新鏡像，注意包裹kubectl set image命令的是雙引號，這個很重要，只有用雙引號時裏面的$TAG纔會被替換成對應的值：

# 生產鏡像的job
deploy_k8s:
  # 禁用cache，避免上傳、下載、壓縮、解壓縮帶來的開銷
  cache: {}
  image: ictu/sshpass:latest
  stage: deploy
  tags:
  - k8s
  script:
  - export TAG=$CI_COMMIT_SHORT_SHA
  - echo "TAG is "$TAG
  - sshpass -p 888888 ssh -o "StrictHostKeyChecking no" root@192.168.50.135 "kubectl set image deployment dockerlayerdemo gitlabci-java-demo=192.168.50.43:5888/common/gitlabci-java-demo:$TAG"

3. 再次提醒，上面的腳本中，帳號、IP和密碼都應該放入GitLab的參數設置頁面，而不應直接寫入pipeline腳本中；
4. 以下圖，再次修改java文件，將hello返回結果改成abcdef：

5. 提交代碼後，能夠在CI頁面觀察新增job的執行過程；
6. 腳本完成後，打開瀏覽器試試，果真已經更新：

至此，CI和CD都驗證經過，可見GitLab的CI能力給咱們的平常開發帶來了很多便利，也但願本文能給您帶來一些參考；

你不孤單，欣宸原創一路相伴

1. Java系列
2. Spring系列
3. Docker系列
4. kubernetes系列
5. 數據庫+中間件系列
6. DevOps系列

歡迎關注公衆號：程序員欣宸

微信搜索「程序員欣宸」，我是欣宸，期待與您一同暢遊Java世界...
https://github.com/zq2599/blog_demos