Gitlab+Jenkins+K8s集羣+Kuboard+Harbor實現自動化CICD

本次經過Gitlab+Jenkins+K8s集羣+Kuboard+Harbor實現自動化CICD，當容器鏡像推送到 Harbor鏡像庫中以後，自動觸發docker pull 更新 Kubernetes 環境中的容器鏡像。

實驗拓撲圖：

因爲在以前的文章中已經部署過k8s集羣、harbor、kuboard，因此就不在這裏介紹了，你們能夠結合如下文章進行部署；本次重點介紹CICD自動化的實現與落地。

Breeze1.19.0部署Kubernetes1.19.0高可用集羣：

https://blog.51cto.com/890909/2538107

Kuboard圖形化管理k8s集羣及harbor鏡像庫集成：

https://blog.51cto.com/890909/2538334

解決Jenkins初始化插件失敗：

https://blog.51cto.com/890909/2488882

一. Gitlab配置：

去gitlab官網下載最新版rpm包，拷貝到gitlab服務器，我這裏下載了gitlab-ce-13.4.1-ce.0.el7.x86_64.rpm

# yum install -y gitlab-ce-13.4.1-ce.0.el7.x86_64.rpm

修改Hosts：

# vim /etc/hosts

修改gitlab.rb文件，添加gitlab登陸地址：

# vim /etc/gitlab/gitlab.rb

external_url 'http://192.168.50.17'

從新配置gitlab：

# gitlab-ctl reconfigure

等待完成後，用瀏覽器登陸「http://192.168.50.17」，修改登陸密碼，用root用戶登陸。

建立項目：

⑴ 經過http克隆項目：

登陸到client客戶端：

# yum install -y git

# vim /etc/hosts

# git clone http://192.168.50.17/root/cicd.git

# ls

# cd cicd/

# ls -a   //查看隱藏文件

測試提交文件：

# vim index.html

666666	v6

# git add .

# git config --global user.name "Aizenwong"

# git config --global user.email "test@123.com"

# git commit -m "v1"

# git push -u origin master    //輸入root和密碼

登陸gitlab進行查看：

# cd

# rm -rf cicd/

⑵ 經過SSH克隆：

登陸到client客戶端：

# ssh-keygen -N ""

# ls .ssh/

# cat .ssh/id_rsa.pub     //複製紅色框內密鑰

登陸到gitlab網站：

點擊右上角，"settings"

添加客戶端SSH KEY：

之後能夠經過SSH免密提交代碼了

測試：

# git clone git@192.168.50.17:root/cicd.git

# cd cicd/

# vim index.html

88888888    v8

#  git add .

# git commit -m "v8"

# git config --global user.name "Aizenwong"

# git config --global user.email "test@123.com"

# git push

二. 配置Jenkins：

到jenkins和java官網下載rpm包，不在贅述，我這裏下載的是jenkins-2.259-1.1.noarch.rpm、jdk-8u261-linux-x64.rpm

#  yum install -y jenkins-2.259-1.1.noarch.rpm

#  yum install -y git docker

#  rpm -ivh jdk-8u261-linux-x64.rpm

#  service jenkins start

#  chkconfig jenkins on

⑴ 登陸jenkins：

在瀏覽器輸入「http://192.168.50.18:8080」,複製地址/var/lib/jenkins/secrets/initialAdminPassword

登陸jenkins服務器解鎖：

#  cat /var/lib/jenkins/secrets/initialAdminPassword       //複製密鑰

⑵ 安裝推薦的插件：

此處附上解決初始化插件問題解決地址：https://blog.51cto.com/890909/2488882

⑶ 用admin登陸，自行更改密碼：

① 插件管理：

插件管理----可選插件----「查找docker」,選擇"docker-build-step和Docker"，進行安裝。

安裝完成後的效果：

⑶ 系統配置：

① 進入系統配置----Docker Builder

Docker URL     tcp://192.168.50.15:2375

點擊，Test Connection進行測試。

 

因爲harbor默認沒有啓用docker遠程鏈接，還須要先設置docker遠程鏈接，才能訪問2375端口，方法以下：

登陸到harbor主機：

#  systemctl edit docker.service

[Service]
ExecStart=
ExecStart=/usr/bin/dockerd -H unix:///var/run/docker.sock -H tcp://0.0.0.0:2375

#  systemctl daemon-reload ; systemctl restart docker

#  netstat -tnlp | grep 2375

② 新增一個docker雲：

新版jenkins更改了docker雲配置位置：

輸入同樣的URL：

⑷ 權限設置：

#  vim /etc/sudoers.d/jenkins

jenkins jenkins=(root)NOPASSWD:/bin/rm

#  gpasswd -a jenkins root

#  service jenkins restart

⑸ jenkins主機登陸harbor鏡像庫報錯解決方法：

在docker login harbor主機時，發現沒法訪問，從網上找來解決方案：

#  find / -name docker.service -type f

#  vim /usr/lib/systemd/system/docker.service

ExecStart=/usr/bin/dockerd-current \
          --insecure-registry=192.168.50.15

#  systemctl daemon-reload ; systemctl restart docker

#  docker login 192.168.50.15 -u admin -p Harbor12345

⑹ 建立任務：

新建任務，CICD，選擇自由風格

配置：

構建觸發器：

勾選"觸發遠程構建"，身份驗證令牌輸入相關令牌碼

記住jenkins URL，gitlab webhook會用到，http://192.168.50.18:8080/job/CICD/build?token=password

構建：

選擇執行shell：

在執行shell裏輸入相關命令：

cd /zz
sudo rm -rf *
git clone http://192.168.50.17/root/cicd.git
version=$(date +"%Y.%m.%d.%H.%M.%S")
name=192.168.50.15/cicd/cicd-nginx:$version
docker build -t $name cicd
docker login 192.168.50.15 -u admin -p password
docker push $name
bash /root/rm_all_images.sh
curl -X PATCH \
  -H "content-type: application/strategic-merge-patch+json" \
  -H "Authorization:Bearer eyJhbGciOiJSUzI1NiIsImtpZCI6InlUT1lkZjgwNHhBdjlQNnRtSHVoYjg4MGlFUzI4S21sOE1RVkJSZzlNY3MifQ.eyJpc3MiOiJrdWJlcm5ldGVzL3NlcnZpY2VhY2NvdW50Iiwia3ViZXJuZXRlcy5pby9zZXJ2aWNlYWNjb3VudC9uYW1lc3BhY2UiOiJrdWJlLXN5c3RlbSIsImt1YmVybmV0ZXMuaW8vc2VydmljZWFjY291bnQvc2VjcmV0Lm5hbWUiOiJrdWJvYXJkLXVzZXItdG9rZW4tdDk0N2oiLCJrdWJlcm5ldGVzLmlvL3NlcnZpY2VhY2NvdW50L3NlcnZpY2UtYWNjb3VudC5uYW1lIjoia3Vib2FyZC11c2VyIiwia3ViZXJuZXRlcy5pby9zZXJ2aWNlYWNjb3VudC9zZXJ2aWNlLWFjY291bnQudWlkIjoiYjJhOTBiMzQtOGQxMS00NDI5LTlkMjItYWIwYzIzMjU4YzZmIiwic3ViIjoic3lzdGVtOnNlcnZpY2VhY2NvdW50Omt1YmUtc3lzdGVtOmt1Ym9hcmQtdXNlciJ9.7TkJZf21AdNnnYRpLi--ft3sC_iBy6qQk_BgKNREP1hrfOsSpqe_rI4YFg2MKlm6nMadhEL6WC3zSFdgwcI9em9iAeZ5-DxIliDXhm620dClN5ILzO4n0NC9pARB7uRo_KAFIdwJEV4Bjw5hTlPiFNFX6bqY0P9Lx7iM7uluDP2cEvcIKeHSQ_WLfbgzTAs8wvudQbSFVgbdSnJ8npG1lgDT2lXn3Dpqq4FSLipA5GE-J-BWnsJTLuZObTlHyMDs7EKwnWFq7vImVS9HgntUmh48h0qFJmh1LQSbwmfdiVMMsrZuUaFPYhQ-oNqqFrNYZTo6o5gb7pnilvpiIj4kYw" \
  -d '{"spec":{"template":{"spec":{"containers":[{"name":"nginx","image":"192.168.50.15/cicd/cicd-nginx:'$version'"}]}}}}' \
  "http://192.168.50.16:32567/k8s-api/apis/apps/v1/namespaces/cicd/deployments/nginx"

保存，後面我再講每條命令的做用。

⑺ kuboard建立Deployment：

在cicd命名空間建立nginx的Deployment，NodePort爲32568

點擊CI/CD集成，會發現有相關更新鏡像教程：

咱們找到自動觸發教程，查看如何集成：

教程的大體意思是，鏡像版本改爲$變量，這樣在每次觸發時，會更新爲最新鏡像，在個人腳本中爲"192.168.50.15/cicd/cicd-nginx:'$version'"

⑻ 這裏我來說解一下我所寫腳本的做用：

cd /zz         ##jenkins服務新建zz目錄
sudo rm -rf *  ##每次進入zz都先清空目錄，否則會致使下次構建時沒法克隆目錄
git clone        ##http模式克隆gitlab項目目錄 
version=$(date +"%Y.%m.%d.%H.%M.%S")                ##鏡像版本，我利用系統時間來進行鏡像版本$version
name=192.168.50.15/cicd/cicd-nginx:$version          ##上傳鏡像到指定harbor項目下
docker build -t $name cicd                       ##製做dockerfile文件，
docker login 192.168.50.15 -u admin -p password    ##登陸harbor，不然沒法docker push
docker push $name                                      ##docker push 鏡像到harbor,鏡像爲變量$name
bash /root/rm_all_images.sh                             ##這裏我寫了一個jenkins服務器，清空docker鏡像腳本，節約空間
curl -X PATCH \                                       ##這裏就是kuboard自動生成的登陸遠程master vip ip的Authorization:Bearer，注意修改鏡像信息
  -H "content-type: application/strategic-merge-patch+json" \
  -H "Authorization:Bearer eyJhbGciOiJSUzI1NiIsImtpZCI6InlUT1lkZjgwNHhBdjlQNnRtSHVoYjg4MGlFUzI4S21sOE1RVkJSZzlNY3MifQ.eyJpc3MiOiJrdWJlcm5ldGVzL3NlcnZpY2VhY2NvdW50Iiwia3ViZXJuZXRlcy5pby9zZXJ2aWNlYWNjb3VudC9uYW1lc3BhY2UiOiJrdWJlLXN5c3RlbSIsImt1YmVybmV0ZXMuaW8vc2VydmljZWFjY291bnQvc2VjcmV0Lm5hbWUiOiJrdWJvYXJkLXVzZXItdG9rZW4tdDk0N2oiLCJrdWJlcm5ldGVzLmlvL3NlcnZpY2VhY2NvdW50L3NlcnZpY2UtYWNjb3VudC5uYW1lIjoia3Vib2FyZC11c2VyIiwia3ViZXJuZXRlcy5pby9zZXJ2aWNlYWNjb3VudC9zZXJ2aWNlLWFjY291bnQudWlkIjoiYjJhOTBiMzQtOGQxMS00NDI5LTlkMjItYWIwYzIzMjU4YzZmIiwic3ViIjoic3lzdGVtOnNlcnZpY2VhY2NvdW50Omt1YmUtc3lzdGVtOmt1Ym9hcmQtdXNlciJ9.7TkJZf21AdNnnYRpLi--ft3sC_iBy6qQk_BgKNREP1hrfOsSpqe_rI4YFg2MKlm6nMadhEL6WC3zSFdgwcI9em9iAeZ5-DxIliDXhm620dClN5ILzO4n0NC9pARB7uRo_KAFIdwJEV4Bjw5hTlPiFNFX6bqY0P9Lx7iM7uluDP2cEvcIKeHSQ_WLfbgzTAs8wvudQbSFVgbdSnJ8npG1lgDT2lXn3Dpqq4FSLipA5GE-J-BWnsJTLuZObTlHyMDs7EKwnWFq7vImVS9HgntUmh48h0qFJmh1LQSbwmfdiVMMsrZuUaFPYhQ-oNqqFrNYZTo6o5gb7pnilvpiIj4kYw" \
  -d '{"spec":{"template":{"spec":{"containers":[{"name":"nginx","image":"192.168.50.15/cicd/cicd-nginx:'$version'"}]}}}}' \
  "http://192.168.50.16:32567/k8s-api/apis/apps/v1/namespaces/cicd/deployments/nginx"

⑼ 查看nginx服務：

在瀏覽器輸入master vip ip + 32568端口：

⑽ 配置gitlab與jenkins的聯動：

在jenkins主機上:

#  mkdir /zz

#  chown jenkins.jenkins /zz

登陸jenkins網站：

安全----全局安全配置

① 受權策略：

"登陸用戶能夠作任何事"，勾選"匿名用戶具備可讀權限"

② 跨站請求僞造保護：

目前高版本的jenkins沒法手動關閉，須要在jenkins主機裏修改：

#  vim /etc/sysconfig/jenkins

JENKINS_JAVA_OPTIONS="-Djava.awt.headless=true -Dhudson.security.csrf.GlobalCrumbIssuerConfiguration.DISABLE_CSRF_PROTECTION=true"

添加藍框部分：

#  service jenkins restart

③ 登陸到gitlab網頁：

點擊"扳手"按鈕，Settings----Network----Outbound requests，勾選"Allow requests to the local network from web hooks and services"

"Save changes"

進入cicd項目，Settings----Integrations----Go to Webhooks

URL輸入：http://192.168.50.18:8080/job/CICD/build?token=password

Add webhook

三. 實戰CICD項目：

登陸client客戶端：

#  cd cicd/

#  vim index.html

Hello CICD!    V10

#  vim Dockerfile      //編寫Dockerfile，利用harbor已有鏡像建立

FROM 192.168.50.15/cicd/nginx
MAINTAINER      Aizenwong
ADD index.html  /usr/share/nginx/html
EXPOSE  80
CMD     ["nginx", "-g","daemon off;"]

#  git add .

#  git commit -m "v10"

#  git push

四. 鏡像回滾：

先登陸harbor，查看鏡像版本：

找一個時間最先的鏡像，進行回滾

登陸到kuboard：