Docker+Jenkins+Gitlab+Django應用部署實踐

時間  2019-11-24
標籤 docker+jenkins+gitlab+django docker jenkins gitlab django 應用 部署 實踐 欄目 Docker 简体版
原文   原文鏈接

1、背景介紹

在互聯網應用快速更新迭代的大背景下，傳統的人工手動或簡單腳本已經不能適應此變化，此時Devops爲咱們提供了良好的解決方案，應用好CI/CD能夠大大的方便咱們的平常工做，自動化快速的持續集成/持續交付爲咱們帶來了應用開放的更快速度、更好的穩定性和更強的可靠性。html

2、拓撲環境

2.1 架構拓撲

如上圖實例，簡單花了下流程拓撲：前端

  • 當研發push本地代碼到gitlab-server後，webhook自動觸發jenkins構建應用
  • 在docker host上部署應用git clone來自gitlabserver源碼，並啓動應用
  • 前端能夠放置lb來作高可用
  • 數據庫鏈接雲數據庫
  • 可將日誌存儲在log後期投遞到elk實現日誌可視化
  • 構建完成郵件通知相關人員（測試或開放）

2.2 系統軟件版本

名稱 版本
Linux系統 CentOS7.3 64位
Docker 1.13
Django 2.0

3、安裝部署

3.1 Jenkins安裝部署

Jenkins安裝部署可參考：jenkins筆記python

  • 安裝完成後添加Docker目標服務器

  • 配置郵件發送服務器

3.2 Docker安裝部署

Docker安裝部署及Dockerfile編寫可參考：容器Docker詳解git

3.3 Gitlab安裝部署

GitLab安裝在公網Linux服務器運行一些命令便可，若是沒有公網須要手動修改 /etc/gitlab/gitlab.rb文件的external_url 'http://本身的內網IP'web

yum install -y libsemanage-static libsemanage-devel policycoreutils openss
h-server openssh-clients postfix
systemctl enable postfix && systemctl start postfix

wget https://mirrors.tuna.tsinghua.edu.cn/gitlab-ce/yum/el7/gitlab-ce-8.0.
0-ce.0.el7.x86_64.rpm
rpm -i gitlab-ce-8.0.0-ce.0.el7.x86_64.rpm
# 獲取公網IP
PUBLICIP=$(curl http://ipv4.icanhazip.com)
# 修改
sed -i "s/gitlab-server/${PUBLICIP}/g" /etc/gitlab/gitlab.rb

gitlab-ctl reconfigure
gitlab-ctl restart

echo "Username:root"
echo "Password:5iveL!fe"
複製代碼

3.4 配置發佈流程

  • Jenkins新建構建一個自由風格的軟件項目

  • 利用參數化構建方便後續部署Docker傳入映射的源端口和release

  • 源代碼來自gitlab的django項目

  • 利用webhook關聯gitlab和jenkins

jenkins安裝插件： docker

生成隨機token值
將jenkins生成的GitLab webhook URL配置到gitlab

  • 當開發者在本地push代碼後自動觸發jenkins構建項目，有Dockerfile內寫的git pull代碼，再次不用將代碼由jenkins分發到docker宿主機，jenkins做爲觸發docker構建使用

  • 配置構建完成後的郵件

郵件模版，郵件類型選擇： 內容類型選擇：HTML 郵件主題填寫：構建通知:${BUILD_STATUS} - ${PROJECT_NAME} - Build # ${BUILD_NUMBER} ! 構建通知模版：數據庫

<!DOCTYPE html>
<html>
<head>
<meta charset="UTF-8">
<title>${ENV, var="JOB_NAME"}-第${BUILD_NUMBER}次構建日誌</title>
</head>

<body leftmargin="8" marginwidth="0" topmargin="8" marginheight="4"
    offset="0">
    <table width="95%" cellpadding="0" cellspacing="0"
        style="font-size: 11pt; font-family: Tahoma, Arial, Helvetica, sans-serif">
        <tr>
            <td>(本郵件是程序自動下發的，請勿回覆！)</td>
        </tr>
        <tr>
            <td><h2>
                    <font color="#0000FF">構建結果 - ${BUILD_STATUS}</font>
                </h2></td>
        </tr>
        <tr>
            <td><br />
            <b><font color="#0B610B">構建信息</font></b>
            <hr size="2" width="100%" align="center" /></td>
        </tr>
        <tr>
            <td>
                <ul>
                    <li>項目名稱 ： ${PROJECT_NAME}</li>
                    <li>構建編號 ： 第${BUILD_NUMBER}次構建</li>
                    <li>SVN 版本： ${SVN_REVISION}</li>
                    <li>觸發緣由： ${CAUSE}</li>
                    <li>構建日誌： <a href="${BUILD_URL}console">${BUILD_URL}console</a></li>
                    <li>構建  Url ： <a href="${BUILD_URL}">${BUILD_URL}</a></li>
                    <li>工做目錄 ： <a href="${PROJECT_URL}ws">${PROJECT_URL}ws</a></li>
                    <li>項目  Url ： <a href="${PROJECT_URL}">${PROJECT_URL}</a></li>
                </ul>
            </td>
        </tr>
        <tr>
            <td><b><font color="#0B610B">Changes Since Last
                        Successful Build:</font></b>
            <hr size="2" width="100%" align="center" /></td>
        </tr>
        <tr>
            <td>
                <ul>
                    <li>歷史變動記錄 : <a href="${PROJECT_URL}changes">${PROJECT_URL}changes</a></li>
                </ul> ${CHANGES_SINCE_LAST_SUCCESS,reverse=true, format="Changes for Build #%n:<br />%c<br />",showPaths=true,changesFormat="<pre>[%a]<br />%m</pre>",pathFormat="    %p"}
            </td>
        </tr>
        <tr>
            <td><b>Failed Test Results</b>
            <hr size="2" width="100%" align="center" /></td>
        </tr>
        <tr>
            <td><pre
                    style="font-size: 11pt; font-family: Tahoma, Arial, Helvetica, sans-serif">$FAILED_TESTS</pre>
                <br /></td>
        </tr>
        <tr>
            <td><b><font color="#0B610B">構建日誌 (最後 100行):</font></b>
            <hr size="2" width="100%" align="center" /></td>
        </tr>
        <!-- <tr>
            <td>Test Logs (if test has ran): <a
                href="${PROJECT_URL}ws/TestResult/archive_logs/Log-Build-${BUILD_NUMBER}.zip">${PROJECT_URL}/ws/TestResult/archive_logs/Log-Build-${BUILD_NUMBER}.zip</a>
                <br />
            <br />
            </td>
        </tr> -->
        <tr>
            <td><textarea cols="80" rows="30" readonly="readonly"
                    style="font-family: Courier New">${BUILD_LOG, maxLines=100}</textarea>
            </td>
        </tr>
    </table>
</body>
</html>
複製代碼

觸發類型可根據自身須要填寫，這裏填寫always不管成功仍是失敗都發送郵件 django

  • 查看遠程Docker服務器內的文件

  • django部署已經利用conda打包好了項目的Python3.6的環境包自制了Docker鏡像

以前利用的是純淨的Python3.6系統，在每次構建的時候利用pip安裝requirements.txt的模塊，可是久而久之因爲環境變化不多，每次須要pip安裝耗時，因此利用conda將打包好的Python環境自制成定製化環境，以此來減小環境部署時間，也能夠經過docker鏡像製做是-v參數將本地磁盤掛載在環境內，每次構建本地的conda便可，完成快速環境部署。bash

查看Dockerfile服務器

FROM 87a69025db6a
MAINTAINER kaliarch

# 定義docker中工做目錄
ENV WORK_DIR /work/
# 建立docker內工做目錄
RUN mkdir $WORK_DIR
# 定義映射端口

EXPOSE 80

WORKDIR $WORK_DIR 
RUN git clone http://123.xxxx.xxxxx.245/Devops/go2cloud.git

# 添加啓動服務腳本
ADD *.sh ${WORK_DIR}

CMD `which bash` /work/start_all.sh && tail -f /work/logs/server-$(date +%F).log
複製代碼

查看Django啓動腳本

#!/bin/bash 
BASEPATH=$(cd `dirname $0`;pwd)

PY_CMD=/python3/bin/python


# 服務入口文件
#MAIN_APP=${BASEPATH}/go2cloud/manage.py 
# 遷移腳本入口文件
SCRIPTS_APP=${BASEPATH}/go2cloud/scripts/migrate_task_schdule.py
# 刪除腳本入口文件
DELETE_APP=${BASEPATH}/go2cloud/scripts/delete_transfer_server.py


# 日誌目錄

LOG_DIR=${BASEPATH}/logs/
[ ! -d ${LOG_DIR} ] && mkdir ${LOG_DIR}

# 啓動服務
#nohup ${PY_CMD} -u ${MAIN_APP} runserver 0.0.0.0:80 >> ${LOG_DIR}server-$(date +%F).log 2>&1 &
# 啓動腳本遷移調度腳本
echo "---------$0 $(date) excute----------" >> ${LOG_DIR}task-script-$(date +%F).log
nohup ${PY_CMD} -u ${SCRIPTS_APP} >> ${LOG_DIR}script-$(date +%F).log 2>&1 &

# 啓動遷移刪除腳本
echo "---------$0 $(date) excute----------" >> ${LOG_DIR}delete-script-$(date +%F).log
nohup ${PY_CMD} -u ${DELETE_APP} >> ${LOG_DIR}delete-script-$(date +%F).log 2>&1 &

複製代碼

查看jenkins部署腳本

#!/bin/bash 
release=$1
port=$2

BASEPATH=$(cd `dirname $0`;pwd)

# 構建go2cloud-platform 鏡像
cd /dockerwork
docker build -t go2cloud-platform-mini:$release .

IMGNAME=$(docker images|awk -v release=$release '{if($1=="go2cloud-platform-mini" && $2==release) print $3}')

echo $IMGNAME
# 啓動容器
docker run -d -p ${port}:80 -v /testlog/:/work/logs ${IMGNAME}

複製代碼

利用-v參數將日誌持續化存儲到docker 宿主機之上

4、測試展現

4.1 測試構建

手動構建測試

4.2 查看log

4.3 查看docker容器

4.4 測試app

5、反思改進

  • 目前數據庫鏈接的爲雲服務器搭建的數據庫，後期數據庫也利用docker，多組採用docker-compose統一部署管理
  • 後期能夠利用利用公有云k8s集羣進行方便測試
  • 目前docker容器產生的日誌在docker宿主機上，後期能夠將其存儲在cos上，再投遞到elk集羣日誌可視化處理
  • 將鏡像統一管理製做本地鏡像倉庫
  • gitlab添加code review並結合自動測試
相關文章
相關標籤/搜索
每日一句
    每一个你不满意的现在，都有一个你没有努力的曾经。
本站公眾號
   歡迎關注本站公眾號,獲取更多信息
聯繫我們 最近搜索 最新文章 沪ICP备13005482号-10 MyBatis教程 SQL 教程 MySQL教程 Java 教程 Thymeleaf 教程 Hibernate教程 Spring教程 Redis教程