【Kubernetes系列】第7篇 CI/CD之組件部署

前言

應對敏捷開發的需求，對CI(持續集成))/CD（持續交付）的提出了更高的標準，今天來討論下，如何基於開源組件（gitlab/jenkins/harbor/kubernetes）使用CI/CD，賦能團隊的開發、運維。

核心組件

組件名稱	版本	備註
kubernetes	v1.15.3	10.0.0.182:6443
jenkins	2.176.2	集羣內部署/ namespace: devops
gitlab	11.8	主機部署
harbor	v1.7.4	docker-compose部署

基本流程

1. 在GitLab建立對應的項目。
2. 開發者將代碼提交到GitLab。
3. Jenkins建立對應的任務（Job），集成該項目的Git地址和Kubernetes集羣。
4. 若有配置鉤子，推送（Push）代碼會自動觸發Jenkins構建，如沒有配置鉤子，須要手動構建。
5. Jenkins控制Kubernetes（使用的是Kubernetes插件）建立Jenkins Slave。
6. Jenkins Slave根據流水線（Pipeline）定義的步驟執行構建。
   1. 檢出代碼、打包、編譯。
   2. 經過Dockerfile生成鏡像。
   3. 將鏡像提送（Push）到私有Harbor。
   4. Jenkins再次控制Kubernetes進行最新的鏡像部署。

注:

• 上面所述爲通常步驟，中間還可能會涉及自動化測試等步驟，可自行根據業務場景添加。
• 上面流水線步驟通常由應用代碼庫的根目錄下Jenkinsfile決定，Jenkins會自動讀取該文件；另外若是須要對具體的應用流水線實施強管控，能夠獨立管理jenkinsfile模板，而後根據jenkins API接口即時生成流水線。
• 默認使用的Dockerfile放置在代碼倉庫的根目錄下。

組件部署

1. kubernetes【Kubernetes系列】第3篇 Kubernetes集羣安裝部署
2. gitlab 無忌過招:手把手教你搭建本身的GitLab庫
3. harbor 安裝配置指南
4. jenkins

注: 本文主要說明下jenkins的部署及配置，其餘組件若是你部署有問題，歡迎留言。

Jenkins 部署及配置

說明:

• 如下的yaml文件均在 k8s master節點的 /home/jenkins_deploy目錄下，
• 部署示例的depployment.yaml 的註解
  • nodeName ipaddress , ipaddress 請確認其爲一個有效的ip.
  • 示例中jenkins的目錄 /var/jenkins_home 是直接掛載到host_path, 若是你有條件，建議替換爲共享存儲。
  • 因使用的jenkins-master 的基礎鏡像來自公網，須要k8s maste 節點也要能夠訪問外網，或者你能夠將 jenkins/jenkins:lts-alpine 推送至本身的內網鏡像倉庫。
• 部署示例的ingress.yaml 的註解
  • 須要你也須要辦公網（集羣外）訪問，請將jenkins.dev.hanker.net, 改成有效的域名地址，或是你也能夠經過NodePort的形式聲明 service，就能夠直接經過ip:port的形式訪問jenkins了。

1. 準備部署yaml

• deployment.yaml

apiVersion: v1
kind: Namespace
metadata:
  name: devops
  
# Deployment 
apiVersion: extensions/v1beta1
kind: Deployment
metadata:
  name: jenkins
  namespace: devops
spec:
  replicas: 1
  revisionHistoryLimit: 3
  template:
    metadata:
      labels:
        app: jenkins
    spec:
      nodeName: 1.1.1.1
      serviceAccountName: jenkins-admin
      containers:
      - image: jenkins/jenkins:lts-alpine
        imagePullPolicy: IfNotPresent
        name: jenkins
        volumeMounts:
        - name: jenkins-volume
          mountPath: /var/jenkins_home
        - name: jenkins-localtime
          mountPath: /etc/localtime
        env:
          - name: JAVA_OPTS
            value: '-Xms256m -Xmx1024m -Duser.timezone=Asia/Shanghai'
          - name: TRY_UPGRADE_IF_NO_MARKER
            value: 'true'
        ports:
        - name: http
          containerPort: 8080
        - name: agent
          containerPort: 50000
        resources:
          requests:
            cpu: 1000m
            memory: 1Gi
          limits:
            cpu: 1200m
            memory: 2Gi
      volumes:
        - name: jenkins-localtime
          hostPath:
            path: /etc/localtime
        - name: jenkins-volume
          hostPath:
            path: /home/jenkins/jenkins_home
複製代碼

• 配置service, services.yaml

---
apiVersion: v1
kind: Service
metadata:
  name: jenkins-service
  namespace: devops
spec:
  ports:
  - name: http
    protocol: TCP
    port: 8080
    targetPort: 8080
  - port: 50000
    targetPort: 50000
    name: agent
  selector:
    app: jenkins
複製代碼

• 受權jenkins對k8s的訪問 rbac.yaml

apiVersion: v1
kind: ServiceAccount
metadata:
  labels:
    k8s-app: jenkins
  name: jenkins-admin
  namespace: devops

---

apiVersion: rbac.authorization.k8s.io/v1beta1
kind: ClusterRole
metadata:
  name: jenkins-rbac
  namespace: devops
rules:
  - apiGroups: ["","extensions","app"]
    resources: ["pods","pods/exec","deployments","replicasets"]
    verbs: ["get","list","watch","create","update","patch","delete"]

---

apiVersion: rbac.authorization.k8s.io/v1beta1
kind: ClusterRoleBinding
metadata:
  name: jenkins-admin
  namespace: devops
  labels:
    k8s-app: jenkins
subjects:
  - kind: ServiceAccount
    name: jenkins-admin
    namespace: devops
roleRef:
  kind: ClusterRole
  name: jenkins-rbac
  apiGroup: rbac.authorization.k8s.io
複製代碼

• 爲了便於辦公網（集羣外）訪問，ingress.yaml

apiVersion: extensions/v1beta1
kind: Ingress
metadata:
  name: jenkins-ingress
  namespace: devops
spec:
  rules:
  - host: jenkins.dev.hanker.net
    http:
      paths:
      - backend:
          serviceName: jenkins-service
          servicePort: 8080
        path: /
複製代碼

2. 應用yaml，部署jenkins

$ pwd
$ /home/jenkins_deploy
$ kubectl apply -f *.yaml
複製代碼

3. 確認jenkins 服務狀態

[root@node0 jenkins_deploy]# kubectl -n devops get deployment jenkins
NAME      READY   UP-TO-DATE   AVAILABLE   AGE
jenkins   1/1     1            1           51d
[root@node0 jenkins_deploy]# 
複製代碼

4. 訪問jenkins 安裝插件、設置

注: 步驟1 聲明的域名 jenkins.dev.hanker.net 已經解析至ingress，故可直接訪問； 若是你也想經過自定義域名訪問jenkins，麻請解析至正確的ingress服務節點，便可。

1. 確認你也已經安裝了kubernetes/ kubernetes cli 插件

操做指引： 【Manage Jenkins】 -> 【Manage Plugins】

你應該能夠經過相似的指令獲取jenkins-master的密碼

$ kubectl -n devops exec jenkins-pod-name cat /var/jenkins_home/secrets/initialAdminPassword
複製代碼

2. 配置Kubernetes 插件

操做指引： 【Manage Jenkins】->【Configure System】

圖中標註：

1. 請修改成你所在環境對應的k8s master
2. 聲明jenkins-agent 的命令空間，也能夠根據須要調整；
3. jenkins-master的訪問地址，本示例使用的是 service-name的形式訪問。
4. 測試與k8s分享羣的鏈接狀況。若是你獲取到『 Connection test successful』，恭喜你能夠繼續。
5. 配置Kubernetes Pod Template

圖中標註：

1. 設置基礎的jenkins-agent鏡像；
2. 指定工做目錄；
   • 若是你須要下載、導出或是緩存構建的話，指定一個爲共享存儲的目錄就頗有意義了。
3. 設置目錄掛載
   • 如步驟2如說，你能夠將宿主機的目錄或是網絡存儲掛載至jenkins-agent.