k8s+Jenkins+GitLab-自動化部署asp.net core項目

 

0、目錄

---

總體架構目錄：ASP.NET Core分佈式項目實戰-目錄

k8s架構目錄：Kubernetes(k8s)集羣部署（k8s企業級Docker容器集羣管理）系列目錄

 

此文閱讀目錄：

一、閒聊

二、部署流程介紹

三、部署Harbor倉庫

四、jenkins-slave鏡像搭建

五、部署jenkins

六、jenkins+gitlab掛鉤

七、k8s部署asp.net core項目

 

1、閒聊

---

 如今基本上是隔幾天寫一篇文章，仍是不夠勤奮，努力把本身打形成勤奮的人，把工做上面所用到的技術點分享給你們。爲了研究k8s自動化部署aspnet core項目，足足花費了我一個禮拜的時間，過程是痛苦的，但結果是美好的。

若是如下內容有不足的地方，請指出，我會第一時間更正。謝謝你們。

2、部署流程介紹

---

  一、先上一下手繪導圖，大體的流程圖以下：（不喜勿噴呀）

大體的部署流程是這樣的：開發人員把作好的asp.net core項目代碼經過git推送到gitlab，而後Jenkins經過 gitlab webhook （前提是配置好），自動從拉取gitlab上面拉取代碼下來，而後進行build，編譯、生成鏡像、而後把鏡像推送到Harbor倉庫；而後在部署的時候經過k8s拉取Harbor上面的代碼進行建立容器和服務，最終發佈完成，而後能夠用外網訪問。（ps:看着我講這麼簡單，但內心有許多小鹿在內心亂撞，不要緊，下面將會好好的分享給你們）

 

固然啦，上面只是粗略的，請看下圖才更加形象。

 

 二、先介紹一下個人服務器IP和在各個服務器上面所安裝的內容

ps:因爲個人電腦配置有限，運行太多的虛擬機會致使內存空間不夠用，所以就弄了三臺，已是極限了。

若是你們對於k8s怎麼部署，請看我以前的文章有介紹。前提是要安裝好docker環境、gitlab等

IP	角色
192.168.161.151	master一、Harbor、Jenkins
192.168.161.152	node1
192.168.161.153	node二、Gitlab

 

3、部署Harbor倉庫

---

 第一步：下載harbor二進制文件：https://github.com/goharbor/harbor/releases 

第二步：安裝 docker compose

命令：

sudo curl -L https://github.com/docker/compose/releases/download/1.22.0/docker-compose-$(uname -s)-$(uname -m) -o /usr/local/bin/docker-compose

而後把下載的docker-compose 設置可執行權限

命令：chmod +x /usr/local/bin/docker-compose

第三步：此處應該設置自簽證書的，即訪問的時候是採用HTTPS進行訪問的。此處略去，不影響咱們接下去的部署。（後期會出一篇關於自簽證書的文章，僅供參考）

第四步：將下載好的Harbor二進制包上傳到服務器上面，而後解壓出來

解壓的命令爲： tar xzvf 包名

 

第五步：進入解壓出來的文件夾harbor中，有以下文件。

 

配置文件，vi harbor.cfg

把其中的hostname修改成：master1 的IP地址。

 

而後 修改harbor的登陸密碼：爲了方便起見，我修改成123456,你們可自行修改

 

 第六步：在當前文件夾中開啓harbor

執行命令：

./prepare

 

 

./install.sh  (運行此處的時候須要必定的時間，請等待吧)

 

 

 第七步：啓動成功，查看一下（完美的運行）

docker-compose ps

 

 用瀏覽器查看一下（出現如下內容，表明成功，完美）

進入到裏面後，我先在用戶管理中建立了一個用戶  louie 。你們自行建立，爲了後期須要把一些依賴鏡像先推送到harbor倉庫中。而後在項目中建立項目，以下：

所建立的項目，而且，我在每一個項目中都加入了我剛纔所建立的用戶，方便後期登陸並推送鏡像

                            

此處介紹一下個人項目，coresdk 主要用來存放  asp.net core 所須要的sdk；ops主要是用來存放的jenkins鏡像和jenkins-slave鏡像；projectdemo 主要存放個人asp.netcore 項目的鏡像，供k8s拉取。

至此，harbor部署完成。

 

4、jenkins-slave鏡像搭建

---

 

操做服務器：node1

說明:jenkins-slave 主要是爲了分擔jenkins-master的壓力。以下圖所示：（在多任務運行的時候能夠採用）

 

 一、爲了建立jenkins-slave鏡像，我這邊準備了三個文件

Dockerfile：構建jenkins-slave鏡像

jenkins-slave：shell腳本（須要加入可執行權限 chmod +x jenkins-slave），在鏡像構建時須要用到。

slave.jar: 啓動腳本

---

 

Dockerfile 文件內容以下（如需源文件可加入QQ羣獲取），以下圖所示：能夠看到 jenkins-slave須要依賴java的一些環境。

二、配置java的基礎環境。

配置 JDK和maven，把下載的二進制包放到以下目錄（因爲文件太大，可移步到羣中下載）

apache-maven-3.5.3-bin.tar.gz解壓到的地址爲 /usr/local/maven裏面。
jdk-8u45-linux-x64.tar.gz解壓到的地址爲 /usr/local/jdk裏面。

 

三、準備好環境後，剛纔構建鏡像，以下：

執行命令：

構建完成後把鏡像推送到Harbor倉庫中。

在推送的過程當中須要先登陸到harbor倉庫

執行命令： docker login 192.168.161.151 

執行後發現及時輸入帳號和密碼也沒法登陸，因爲在node1中沒有添加harbor倉庫的IP地址致使沒法登陸，所以

執行命令： vi /etc/docker/daemon.json  

把下圖的紅色圈的部分加入，而後重啓一下docker。

 

執行 docker info ，看一下IP地址是否生效，發現已加入。好了，在試一下登陸，發現登陸成功，而後開始推送把。

 

固然harbor 上也給出了 鏡像推送的語句

 

開始推送：docker push 192.168.161.151/ops/jenkins-slave 

至此，jenkins-slave 鏡像已推送完畢。

 

 

5、部署jenkins

---

 

部署jenkins時，我把jenkins的數據卷採用pv/pvc、nfs 進行掛載。

一、須要準備文件有

jenkins-service-account.yml :jenkins的服務帳號建立

jenkins.yml : 建立容器和service 服務得。進行能夠訪問。

Dockerfile ：主要用來生成 jenkins 鏡像的。

registry-pull-secret.yaml：主要是用來部署時能夠直接登陸harbor倉庫來拉取鏡像（在部署jenkins須要用到）

 

二、開始吧。

切換到node1服務器，把以前準備好的Dockerfile文件構建一下

命令：docker build -t 192.168.161.151/ops/jenkins:lts-alpine .

而後推送到Harbor倉庫中，命令：docker push 192.168.161.150/ops/jenkins:lts-alpine

 

三、切換到master 服務器上

構建 jenkins-service-account.yml 和jenkins.yml  文件以及registry-pull-secret.yaml

特別注意registry-pull-secret.yaml 中的namespace,須要在k8s中建立，以及 data裏面的64位認證信息（須要登陸harbor倉庫後生成的信息黏貼在這裏）

生成方式爲：能夠在有登陸的harbor 的node服務器上面執行如下命令生成認證信息
命令： cat ~/.docker/config.json |base64 -w0 便可生成信息

 

執行上上面的文件後，命令： kubectl create -f  文件名。

生成以下，發現jenkins已在運行，並且是運行在153節點上。那麼開始用瀏覽器訪問把

 

查看一下 service ，jenkins的外部訪問端口爲誒 30001.

 

 

四、輸入訪問地址：http://192.168.161.153:30001/

在第一次登錄的時候須要密碼進行解鎖jenkins，按照提示獲取密碼便可。

 

而後選擇 「」插件來安裝「」，若是須要特別的插件直接選擇，不然直接安裝便可。

 

五、要想把jenkins關聯到k8s中須要安裝幾個插件

打開  「系統管理」 =》「管理插件」 而後安裝

Kubernetes Continuous Deploy、Kubernetes、Gitlab Hook 、GitLab、Build Authorization Token

 

 六、安裝完畢後就開始構建項目啦。

我新建一個項目，而後選擇 流水線、而後點擊肯定。

 七、建立完任務後先不進行配置，咱們先要設置一下jenkins掛鉤k8s的環境

點擊 「系統管理」=》「系統設置」。一直往下滑動，點擊「新增一個雲」，選擇k8s，若是這邊沒有出現k8s，則表明你的插件沒有安裝成功，請從新安裝吧。

 

 而後配置一下里面的內容，只要配置這兩個地方就能夠了。針對URL，我這邊是採用kube-dns來作服務發現，不須要實際的ip地址進行輸入。至此搞定。不過還得配置一下 「憑證」，即SSH密鑰，方即可以從gitlab那邊拉取代碼，有玩過gitlab應該知道，拉取代碼分爲git和http。

 

此處若是發現測試不經過，請如今k8s中安裝一下kube-dns.yaml，文件在羣中k8s集羣部署文件下面：直至在k8s中執行便可。

命令：kubectl create -f kube-dns.yaml

 

 

 八、添加憑證

在這裏我添加了兩個憑證，一個是ssh，和k8s的憑證。這個可自行添加一下便可。這裏要注意一下：憑證生成後，進入憑證裏面會有一個自動生成的ID，此ID須要在asp.net core項目中的Jenkinsfile裏面配置。

root中的密鑰時私鑰，而且在服務器上須要把公鑰配置到gitlab上。

 這下面是gitlab 上面配置ssh， ssh的私鑰和公鑰，直接在 node服務器上生成一下便可 ssh-keygen,  而後把裏面的內容複製出來便可。

 

 

 

6、jenkins+gitlab掛鉤

---

 

上面已經建立了一個任務。而後咱們開始配置這個任務裏面的內容而且與gitlab掛鉤把

一、進入testproject裏面配置。按照如下圖配置完後便可。而後點擊保存。這樣就完成了任務配置，接下來就是要配置一下gitlab啦

 

 

 

 二、配置gitlab

在gitlab中我建立了一個項目Testproject

 

而後進入到項目中，點擊 「Settings」=》Integrations 

 

把上面URL和Token複製到這邊，而後點擊保存便可。接下來就是測試一下這個配置是否能夠用

 

將上面建立好的webhook 進行測試，gitlab會模擬代碼推送事件，返回200就表明成功啦。

 

 

 成功啦。

 

 

 

7、終於到了咱們asp.net core項目啦

---

 github地址：上面有完整的代碼 https://github.com/LouieGuo/testproject,記得fork me喲。感謝感謝。

 在這裏我建立了一個asp.net core webapi 的項目，不作任何修改。而後在項目中加入了這幾個部署文件。

deploy文件裏面包含 Jenkinsfile 和deploy.yml(用來部署項目鏡像的)

 

注：Jenkinsfile裏面這兩個地方須要配置爲大家在Jenkins裏面建立的兩個受權的ID，ID內容能夠進入到憑證裏面看。切記，必定要改。

 

 

Dockerfile ：中是用來構建項目鏡像 的

dockerfile 內容，固然裏面的sdk我已經打包好了，已經上傳到個人harbor倉庫中。

 

---

 

 到目前爲止 咱們就能夠開始上傳代碼到gitlab上，而後自動觸發構建啦。

 

上傳後再這邊會出現構建進行，咱們能夠查看 控制檯輸出

 

 

 

 

輸出、以及構建成功

在master上面查看

發現已經運行個人項目啦，用瀏覽器訪問如下。

 

 查看一下外部發布的端口

 

 

 

運行成功啦。這篇文章寫了很久，可能中間有漏掉的步驟，歡迎你們留言，後期補充。

---

 

 

github：fork me

asp.net Core 交流羣：787464275 歡迎加羣交流
若是您認爲這篇文章還不錯或者有所收穫，您能夠點擊右下角的【推薦】按鈕精神支持，由於這種支持是我繼續寫做，分享的最大動力！

做者：LouieGuo

聲明：原創博客請在轉載時保留原文連接或者在文章開頭加上本人博客地址，如發現錯誤，歡迎批評指正。凡是轉載於本人的文章，不能設置打賞功能，若有特殊需求請與本人聯繫！

微信公衆號：歡迎關注                                                 QQ技術交流羣： 歡迎加羣