Jenkins+Git+python+Pgyer Android打包發佈實踐

時間 2019-12-06

標籤 jenkins+git+python+pgyer jenkins git python pgyer android 打包發佈實踐欄目自動化構建简体版

原文原文鏈接

[TOC]html

常常在開發的時候,測試/產品/運營等人員會來要求安裝一下軟件,這時候不得不停下手中的事情來打包安裝,但終歸不是長久之計:java

本身開發時被常常打斷思路;
停下來手頭的工做來打包,每次怎麼也得浪費個幾分鐘,長期下來不划算;
開發中的代碼常常不是穩定或者未通過自測的代碼,冒然給人安裝老是容易發生問題,徒增bug;

做爲一個 '懶人' ,這種重複性的工做腫麼能每次都本身動手呢,另外最好再有個地方能提供穩定分支代碼的安裝包供人下載安裝,免得有人說不會安裝apk ==!... 話說前公司就提供有自動打包功能,之前不以爲有什麼,等到沒有的時候才發覺它的好...無奈,只能本身動手搭一套;python

P.S. jenkins會去gitlab倉庫中讀取最新的分支代碼到本地,具體地址也就是其環境變量 WORKSPACE 指代的位置;

基於: 系統: mac 10.12.4(Sierra) Jenkins: 2.46.1 Git: 2.10.0 Python: 3.xandroid

Jenkins的基本使用

安裝運行Jenkins

到官網下載軟件,應該是一個 jenkins.war 單文件;
運行:

// 方式1: 假如系統中安裝有Tomcat,就把它當作普通的war包放置到 webapps/ 下運行便可;
// 方式2: (假設 jenkins.war 放置在 ~/Downloads/ 目錄下)
cd  ~/Downloads/
nohup java -jar jenkins.war & // 後臺運行jenkins.war程序,默認使用8080端口
// 指定端口
--httpPort=8080 // 用來設置jenkins運行時的web端口,避免衝突
複製代碼

安裝運行成功後在瀏覽器中打開 localhost:8080 (端口號請按需修改),第一次會要求輸入帳號密碼, jenkins 提供了一個初始密碼,能夠根據頁面提示在文件 initialAdminPassword 中獲取:

sudo cat /Users/***/initialAdminPassword // 提示路徑可能不一樣,根據頁面提示修改
複製代碼

初始化後就會彈出添加帳號的界面,按需設置一個新的帳號密碼,也能夠後續在 Manage Users 中進行建立或修改;
登陸成功後會有個安裝插件提示頁面,選擇 Install suggested plugins :

後續也可在 jenkins首頁 - Manage Jenkins - Manage Plugins 中安裝插件,主要是 Gradle Plugin Android Signing Plugin Git Parameter Plug-In GitHub Authentication plugin Gitlab Authentication plugin Git plugin等git

安裝完重啓就能夠在首頁添加任務 New Item ,添加完成後會在右側顯示已添加的 job 列表:

初始化配置

開始打包發佈Android應用前須要進行以下環境的設置:Android/Git/Gradle/Python等github

指定ANDROID_HOME全局變量

==! 不知道咋回事,沒有識別到我配置在 ~/.bash_profile 中的ANDROID_HOME環境變量,最後折騰了很久才發現要在jenkins中手動指定一個web

在 Manage Jenkins - Configure System - Global properties 勾選 Environment variables ,並添加一個:shell

Name : ANDROID_HOME
Value : /Users/***/Applications/AndroidSDK
複製代碼

配置JDK/Git/Gradle

在 Manage Jenkins - global tool configuration 中按需選擇工具 , name 隨意指定,其餘的參考下圖:json

// 配置JDK主目錄
name:     MAC_JDK
path:     /Library/Java/JavaVirtualMachines/jdk1.8.0_101.jdk/Contents/Home

// 配置Git運行路徑
name:    Default
path:    /usr/bin/git

// 配置Gradle主目錄
name:    gradle3.5
path:    /Users/lynxz/.sdkman/candidates/gradle/current/bin
// 注意: 在 `gradle /current/bin/bin`中需存在 `gradle` 可執行文件;
// 備註: 我以前是使用 `sdkman` 來安裝的 `gradle` ,因此路徑比較奇怪
curl -s https://get.sdkman.io | bash
sdk install gradle 3.5
複製代碼

建立和配置job

在jenkins首頁左側導航欄中點擊 new item , 輸入名稱, 選擇 Freestyle project ,點擊 ok 按鈕便可;
建立完成後,在首頁右側的 Job 列表中選擇剛纔建立的job,而後選擇 Configure 進行配置;
在 General 中按需輸入 project name 和 Description ; 另外,這個tab頁面中比較經常使用的還有參數化設置( This project is parameterized ), 後續會講到;
在 Source Code Management 中指定版本管理類型/倉庫地址/認證信息等;
在 Build 中選擇 Invoke Gradle Script ,在 Gradle Version 下拉列表中選擇自定義的本機Gradle版本;並在 Tasks 中輸入打包命令:

// 默認未作多渠道多版本配置時,打包release類型的命令:
clean assembleRelease  --stacktrace --debug
複製代碼

若是有須要將 general 標籤也中定義的變量注入到項目中讓 gradle 腳本使用,則請勾選 Pass job parameters as Gradle properties ,則gradle腳本中用到的同名自定義變量就會使用jenkins中指定的值; python3.x

參數化構建

有時候須要在構建的時候進行一些定製化操做,好比指定編譯的代碼分支,增長打包版本說明等,又或者項目中使用了私有倉庫,而倉庫的登陸帳號名(如mavenUser)以及密碼(mavenPassword)存儲於 gradle.properties (不一樣步到gitlab倉庫中),這時就須要添加參數,並將該參數注入到Android項目中了,以便gradle腳本能獲取到正確的值,具體操做以下:

在job頁面的 Configure - General 面板中勾選 This project is parameterized;
在 Add Parameter 下拉列表中就能夠選擇對應的類型變量

注意: 若參數須要注入到Android項目構建腳本中,則須要勾選 configure - Build - Pass job parameters as Gradle properties ; 3. 好比選擇添加一個 String Parameter

4. 好比增長一個 Choice Parameter ,用於指定要打包的版本:

圖中指定的三個choice是我在Android項目 app/build.gradle 中定義過的,用於後續的打包命令:

android{
    buildTypes {
        release {
            signingConfig signingConfigs.release
        }
        //不能以"test"開頭
        tstEnv {
            debuggable true
            signingConfig signingConfigs.release
        }
        debug {
            versionNameSuffix "-dev"
            debuggable true
            signingConfig signingConfigs.release
        }
    }
}
複製代碼

上面指定的 choice parameter 類型參數 buildTypes 即可用在 Build 命令中:

簽名

還沒去研究過jenkins簽名插件,通常直接在Android項目中配置好腳本便可:

將簽名文件 *.jks 放置於 app/ 目錄下;
在 app/build.gradle 中配置簽名參數,這樣jenkins打包出來的apk就是簽名過的:

android{
  signingConfigs {
        release {
            keyAlias '***'
            keyPassword '***'
            storeFile file('*.jks')
            storePassword '***'
        }
    }

 buildTypes {
        release {
            signingConfig signingConfigs.release
        }

        debug {
            signingConfig signingConfigs.release
      }
  }
}
複製代碼

P.S. 不過總以爲這樣直接公開簽名文件到倉庫中不太好,在打包服務器上進行控制會更合適點,畢竟知曉的人更少,這個後續再研究,先佔個位;

獲取當前用戶的名稱等信息

須要安裝插件 user build vars plugin ,可在插件列表中直接獲取安裝或者到這裏下載插件包;
安裝後等待jenkins重啓,並找到 job - configure - Build Environment - Set jenkins user build variables,勾選此項後才生效;
在 shell 中即可像jenkins自帶的變量那樣使用,如 echo "$BUILD_USER":

插件可用的變量名	變量描述
BUILD_USER	Full name (first name + last name)
BUILD_USER_FIRST_NAME	First name
BUILD_USER_LAST_NAME	Last name
BUILD_USER_ID	Jenkins user ID
BUILD_USER_EMAIL	Email address

Build History 定製

默認的job構建歷史命名( 如 #35 Apr 27, 2017 11:15 AM )不容易理解記憶,咱們能夠自定義,加入構建者姓名,版本等信息; 定製包括"build name" 和 "build description" 兩部分的定製,效果以下

構建名稱定製

下載 Build Name Setter Plugin 插件;
手動安裝: manage jenkins - manage plugins - Advanced 在 upload plugin 中選擇剛纔下載的插件,提交後重啓jenkins便可;
選擇一個 job 進入 Configure - Build Environment ,就會多出一個 Set Build Name 複選項,勾選後便可定製;

構建描述定製

安裝插件 description setter plugin (能夠在jenkins的 manage plugins 中找到);
重啓jenkins後,進入 job 的 Configure - post-build Actions ,選擇 Add post-build action - set build description 便可定製;
爲了顯示蒲公英的二維碼圖片,須要先在 manage jenkins - Configure global security ,找到 Markup Formatter ,將默認的 plain text 改成 safe html;
在 job - configure - post-build actions - set build description 中就能夠輸入html標籤了,好比我設置了:

// 這裏的${pgyerNotes}是我在general中添加的參數
<p>${pgyerNotes}</p><br/>![](https://static.pgyer.com/app/qrcode/Cb6T)<br/><a href='https://www.pgyer.com/Cb6T'>Download Directly</a>
複製代碼

構建完成後打包記錄並顯示在 job 首頁面,便於下載

進入 job - Configure - Post-Build Actions
在 Add post-build action 列表中選擇 Archive the artifacts 輸入要存檔的文件路徑,可以使用通配符,好比我輸入的是 app/build/outputs/apk/Sb*.apk ,就會在job項目首頁看到存檔記錄,能夠直接下載;

注意:這裏不能使用 ${WORKSPACE} 等變量,貌似就是直接以當前工做空間爲根目錄的;

使用shell上傳apk到蒲公英

請首先到蒲公英上註冊帳號,並認證,若不認證則上傳失敗; 蒲公英上傳文件接口蒲公英的key值可在 帳戶設置 - API信息 中查看到因爲我是mac系統,所以在 Job - Configure - Build - Add build step 列表中選擇 Execute shell,運行shell腳本 P.S. 如果對shell不熟悉,可參考教程另外,因爲我在項目中根據版本號(vesionName)重命名了生成的apk,所以須要在shell腳本中提取版本號以便得到apk全稱,進而上傳蒲公英

# build -> Add build step -> Execute shell
pgyerApiKey="******"
pgyerUKey=="******"
echo "獲取apk版本號..."
# ${WORKSPACE} 是jenkins提供的環境變量,表示當前項目跟目錄路徑
# 下面的命令是獲取 app/build.gradle 的第17行內容,而後按照雙引號進行切換,提取第2部份內容,即上面圖示中的 1.1.4
versionName=`sed -n '17p' ${WORKSPACE}/app/build.gradle | cut -d \" -f 2`
echo "獲取apk所在路徑..."
# _360 是項目中定義了多渠道,但因爲以前在 Build - Task 中設置的打包命令,直接指定了渠道號,所以這裏也直接固定寫好就能夠;
apkAbsPath="${WORKSPACE}/app/build/outputs/apk/SonicMoving_${buildTypes}_[_360]_v${versionName}.apk"
echo "上傳apk到蒲公英進行發佈..."
response=$(curl -F "file=@${apkAbsPath}" -F "uKey=${pgyerUKey}" -F "_api_key=${pgyerApiKey}" https://qiniu-storage.pgyer.com/apiv1/app/upload)
echo "上傳結束"
 # 本來上傳結束後想要使用 jq 工具 (`brew install jq`) 對蒲公英上傳時返回的response進行json處理的,結果在電腦的shell中測試可行,但寫到這裏就一直不成功,無奈,只好放棄
# 提取蒲公英返回的json數據中的 appShortcutUrl 字段值,可拼接成下載地址
#responseCode=$(echo -E "${response}" | jq .code) 
#if [ $((responseCode)) == 0 ] 
#then
# echo "上傳結束,處理返回相應..."
# appShortcutUrl=$(echo -E "${response}" | jq ".data.appShortcutUrl" | cut -d \" -f 2)
# apkOnlineUrl="https://www.pgyer.com/${appShortcutUrl}"
#else
# echo "上傳失敗,返回碼爲: ${responseCode} ,具體請看日誌"
#fi
複製代碼

使用python上傳apk到蒲公英

最先以前我也是嘗試直接使用python插件的,操做以下:

安裝 Python Plugin;
在 job 的 Configure - Build 中就會多一個選項 Execute python script;

import os
# 獲取jenkins變量 'BUILD_NUMBER'
print("build_number is ==> ",os.getenv("BUILD_NUMBER"))
複製代碼

可是因爲我是mac,系統中默認的python是2.7.x,而我又裝了其餘版本的python,雖然在jenkins的全局變量中指定了python版本,但實際執行的時候卻用的不是它,大體的錯誤以下:

能夠發現jenkins把咱們寫在 python script 中的生成了一份位於 /var/.../*.py 的文件,而後使用系統默認的 python 版原本執行,而我 mac 默認的python是python2.7.*,致使裏面寫的不少基於python3.x的代碼出錯:

解決方案

使用python多版本問題的經常使用方法 virtualenv,最後演變成經過shell來啓用版本隔離,而後手動調用python命令加載腳本: 在 Build - add build step - execute shell 中寫入以下腳本:

# 若是當前無指定的環境目錄存在,則建立,並指定python版本
if [ ! -d ".env" ]; then
    virtualenv -p /usr/local/bin/python3 .env
fi
# 啓動virtualenv
source .env/bin/activate
echo "當前操做的用戶是 : $BUILD_USER "
 #requestsLibName="requests"
#isInstallRequest=$(pip freeze | grep $requestsLibName)
#if [[ $isInstallRequest =~ "*requests*" ]];then
# pip install requests
#fi
# 安裝所須要的第三方庫,若已安裝,則不會從新安裝
pip install requests
# 運行指定路徑下的python腳本
python3 ~/Desktop/upload.py
複製代碼

上面shell腳本中的 upload.py 內容以下(可考慮將其放在Android項目中,上傳gitlab):

#!/usr/local/bin/python3.5
# -*- coding: utf-8 -*-

''' jenkins 打包線上代碼生成apk後發佈到蒲公英 本腳本路徑: ~/Desktop/upload.py '''

import os
import io
import re
import requests
import json

WORKSPACE = os.getenv("WORKSPACE")  # 獲取jenkins環境變量
userName = os.getenv("BUILD_USER")  # 獲取用戶名
buildTypes = os.getenv("buildTypes")  # 獲取用戶選擇的編譯版本
pgyerNotes = os.getenv("pgyerNotes")  # 獲取用戶填寫的版本說明

# 重置默認編碼爲utf8
import sys
default_encoding = 'utf-8'
if sys.getdefaultencoding() != default_encoding:
    reload(sys)
    sys.setdefaultencoding(default_encoding)
# 確認下當前python版本
print("當前編譯器版本: %s " % sys.version)
print("python編譯器詳細信息: ", sys.version_info)

# 獲取版本號
# guild.gralde文件所在路徑
buildGradleFilePath = "%s/app/build.gradle" % (WORKSPACE)  # 指定文件所在的路徑
print("build.gradle路徑是: ", buildGradleFilePath)

# 讀取build.gradle並獲取versionName值 
with open(buildGradleFilePath, 'r', encoding='utf-8') as buildGradleFile:
    line = buildGradleFile.readlines()[16:17][0] # 讀取第17行數據, 切片從0開始;
    print("line 17 is .... ", line)
    versionName = re.split(r'\"', line)[1]
    print("版本號爲: %s" % versionName)

# "獲取apk所在路徑..."
apkAbsPath = "%s/app/build/outputs/apk/SonicMoving_%s_[_360]_v%s.apk" % (WORKSPACE, buildTypes, versionName)
print("準備上傳apk到蒲公英進行發佈,apk所在路徑爲: %s" % apkAbsPath)

# 上傳結束後發出請求通知服務端,進而由服務端發送釘釘消息
def notify_upload_result(msg):
    headers = {'user-agent': 'jenkins_upload_pgyer'}
    params = {'userName': userName, 'msg': msg}  # 字段中值爲None的字段不會被添加到url中
    response = requests.get('http://btcserver.site:8080/WebHookServer_war', params=params, headers=headers)
    #response = requests.get('http://localhost:8081', params=params, headers=headers)
    print("通知webhook服務器結果: ", response.text)

# 蒲公英帳號信息
pgyerApiKey = "******"
pgyerUKey = "******"

# response=$(curl -F "file=@${apkAbsPath}" -F "uKey=${pgyerUKey}" -F "_api_key=${pgyerApiKey}" -F "updateDescription=${pgyerNotes}" https://qiniu-storage.pgyer.com/apiv1/app/upload | jq .)
# post請求中所需攜帶的信息
data = {
    '_api_key': pgyerApiKey,
    'uKey': pgyerUKey,
    'updateDescription': pgyerNotes
}

files = {'file': open(apkAbsPath, 'rb')}
uploadUrl = 'https://qiniu-storage.pgyer.com/apiv1/app/upload'
response = requests.post(uploadUrl, data=data, files=files)
print(response.status_code, response.text)
if response.status_code == 200:
    print("上傳成功,通知webhook服務器...")
    notify_upload_result(response.text)
else:
    print("上傳失敗,狀態碼爲: %s" % (response.status_code))
複製代碼

蒲公英發布成功後通知釘釘

參考打通Gitlab與釘釘之間的通信這裏有兩種方式通知服務器後臺:

使用蒲公英項目中自帶的webhook功能,可是這個通知沒法具體得知是誰進行的此次打包發佈,而且若上傳蒲公英失敗的話也不會進行webhook通知,所以不太方便:
如上面python腳本中寫那樣,在上傳返回後,主動調用服務器接口,將response和jenkins相關信息上傳,而後後臺有針對性的發送消息;

碰到的異常

1. Failed to connect to repository : Command "git ls-remote -h https://git.***.git HEAD" returned status code 143:

須要在倉庫中添加公鑰;

//獲取公鑰
ssh-keygen -t rsa -f ~/.ssh/id_rsa.pub
複製代碼

測試時用的是 coding.net , 所以在 coding.net 對應項目的 設置 - 部署公鑰 - 新建部署公鑰 將剛纔輸出的公鑰粘貼進去便可;

2. token-macro v1.5.1 is missing. To fix, install v1.5.1 or later

token-macro-plugin 到插件管理頁面中搜索 Token Macro Plugin 安裝便可;

相關標籤/搜索

每日一句

每一个你不满意的现在，都有一个你没有努力的曾经。