【Azkaban搭建】---Azkaban 3.25.0搭建細則 超實用

1、前述

Azkaban是一個工做流調度工具，由於須要各個任務之間有依賴關係，傳統的Crontab 任務已經不能知足。

因此須要創建一套工做流引擎。相比Ooize來講，Azkaban的優點是做爲一個客戶端來提供任務的提交。而Ooize是將任務隨機分配到咱們的集羣環境中。

考慮到經常使用架構，因此咱們選擇Azkaban進行工做流引擎。可是網上的搭建教程總會有各類各樣的問題，實在使人煩心。折騰了好幾天，終於把Azkaban搭建成功，特將詳細步驟描述以下。

這裏給出一個建議，Azkaban千萬不要用最新的搭建，由於你會有意想不到的坑。。

2、具體步驟

一、下載Azkaban的3.25.0的軟件包 地址以下：

https://github.com/azkaban/azkaban/releases/tag/3.25.0

二、下載後上傳到對應服務器 目錄上面。本文地址目錄爲/mnt/data8/ire/

三、解壓目錄並重命名

tar - xf azkaban-3.25.0.tar.gz

mv azkaban-3.25.0 azkaban

四、對源碼編譯

./gradlew build 編譯
./gradlew build -x test 忽略測試 （當上一個命令執行不成功再執行這個命令，上個執行成功後就不須要了，由於有的時候總卡在編譯測試上面，沒辦法進行了）

./gradlew installDist 打包

五、新建azkaban編譯後的運行目錄

我在根目錄/mnt/data8/ire/下新建目錄azkaban-ire

mkdir azkaban-ire

六、將build後的tar包cp到azkaban-ire目錄下

cp azkaban/azkaban-web-server/build/distributions/azkaban-web-server-0.1.0-SNAPSHOT.tar.gz azkaban-ire/
cp azkaban/azkaban-exec-server/build/distributions/azkaban-exec-server-0.1.0-SNAPSHOT.tar.gz azkaban-ire/
cp azkaban/azkaban-db/build/distributions/azkaban-db-0.1.0-SNAPSHOT.tar.gz azkaban-ire/
解壓對應jar 包 並重命名（強力建議） 由於後面會有一堆絕對路徑的引入，名字太長，太麻煩。效果以下

tar -xf azkaban-db-0.1.0-SNAPSHOT.tar.gz

tar -xf azkaban-exec-server-0.1.0-SNAPSHOT.tar.gz

tar -xf azkaban-web-server-0.1.0-SNAPSHOT.tar.gz

mv azkaban-db-0.1.0-SNAPSHOT azkaban-db

mv azkaban-exec-server-0.1.0-SNAPSHOT azkaban-exec-server

mv azkaban-web-server-0.1.0-SNAPSHOT azkaban-web-server

七、導入Azkaban-sql

選擇一個數據庫，或者新建一個數據庫爲Azkaban 命令以下：

CREATE DATABASE azkaban;
CREATE USER 'azkaban'@'%' IDENTIFIED BY 'azkaban';
GRANT ALL ON azkaban.* to 'azkaban'@'localhost' IDENTIFIED BY 'azkaban';
flush privileges;

use azkaban;
source azkaban-ire/azkaban-db-0.1.0-SNAPSHOT/create-all-sql-0.1.0-SNAPSHOT.sql

 這裏建議手動執行吧 執行以前最好刪除以前由於其餘版本建立的表，以下：

drop table active_executing_flows; drop table active_sla; drop table execution_flows; drop table execution_jobs; drop table execution_logs; drop table executor_events; drop table executors; drop table project_events; drop table project_files; drop table project_flows; drop table project_permissions; drop table project_properties; drop table properties_index ; drop table projects; drop table properties; drop table triggers; drop table project_flow_files; drop table project_versions; drop table  qrtz_blob_triggers,qrtz_calendars,qrtz_cron_triggers,qrtz_fired_triggers,qrtz_job_details,qrtz_locks,qrtz_paused_trigger_grps,qrtz_scheduler_state,qrtz_simple_triggers,qrtz_simprop_triggers,qrtz_triggers;  

在create-all-sql-0.1.0-SNAPSHOT.sql裏面最後一行能夠去掉 ，由於已經有這個字段了。

 

 八、配置azkaban-web-server

 8.一、在azkaban-web-server中新建conf目錄，結構以下

mkdir conf

├── conf
│   ├── azkaban-users.xml
│   ├── azkaban.properties
│   ├── global.properties
│   └── log4j.properties

azkaban-users.xml

<azkaban-users>
    <user username="azkaban" password="azkaban" roles="admin" groups="azkaban" />
    <user username="metrics" password="metrics" roles="metrics"/>
    <user username="admin" password="admin" roles="admin,metrics" />
    <role name="admin" permissions="ADMIN" />
    <role name="metrics" permissions="METRICS"/>
</azkaban-users>

azkaban.properties

# Azkaban Personalization Settings
#設置項目名稱
azkaban.name=Test
#設置項目副標題
azkaban.label=My Local Azkaban
azkaban.color=#FF3601
azkaban.default.servlet.path=/index
#這裏必定寫成絕對路徑  不然頁面會找不到對應地址
web.resource.dir=/mnt/data8/ire/azkaban-ire/azkaban-web-server/web/
#必定要設置爲上海，不然按美國時間執行
default.timezone.id=Asia/Shanghai

# Azkaban UserManager class
user.manager.class=azkaban.user.XmlUserManager
#這裏必定寫成絕對路徑
user.manager.xml.file=/mnt/data8/ire/azkaban-ire/azkaban-web-server/conf/azkaban-users.xml

# Loader for projects
#這裏必定寫成絕對路徑  不然頁面會找不到對應地址
executor.global.properties=/mnt/data8/ire/azkaban-ire/azkaban-web-server/conf/global.properties
azkaban.project.dir=projects

database.type=mysql
mysql.port=3306
mysql.host=127.0.0.1
mysql.database=azkaban
mysql.user=root
mysql.password=root
mysql.numconnections=100

# Velocity dev mode
velocity.dev.mode=false

# Azkaban Jetty server properties.
jetty.maxThreads=25
jetty.ssl.port=8443
jetty.use.ssl=false
jetty.port=8081
jetty.keystore=keystore
jetty.password=password
jetty.keypassword=keypassword
jetty.truststore=keystore
jetty.trustpassword=password
jetty.excludeCipherSuites=SSL_RSA_WITH_DES_CBC_SHA,SSL_DHE_RSA_WITH_DES_CBC_SHA,SSL_DHE_DSS_WITH_DES_CBC_SHA,SSL_RSA_EXPORT_WITH_RC4_40_MD5,SSL_RSA_EXPORT_WITH_DES40_CBC_SHA,SSL_DHE_RSA_EXPORT_WITH_DES40_CBC_SHA,SSL_DHE_RSA_WITH_3DES_EDE_CBC_SHA,SSL_DHE_DSS_WITH_3DES_EDE_CBC_SHA,TLS_DHE_RSA_WITH_AES_256_CBC_SHA256,TLS_DHE_DSS_WITH_AES_256_CBC_SHA256,TLS_DHE_RSA_WITH_AES_256_CBC_SHA,TLS_DHE_DSS_WITH_AES_256_CBC_SHA,TLS_DHE_RSA_WITH_AES_128_CBC_SHA256,TLS_DHE_DSS_WITH_AES_128_CBC_SHA256,TLS_DHE_RSA_WITH_AES_128_CBC_SHA,TLS_DHE_DSS_WITH_AES_128_CBC_SHA

# Azkaban Executor settings
executor.port=12321

# mail settings
#mail.sender=email帳號
#mail.host=email服務器
#mail.user=email帳號
#mail.password=email密碼
mail.sender= 
mail.host=
job.failure.email=
job.success.email=

lockdown.create.projects=false

cache.directory=cache

# JMX stats
jetty.connector.stats=true
executor.connector.stats=true

global.properties (置空便可)


log4j.properties

log4j.rootLogger=INFO,C
log4j.appender.C=org.apache.log4j.ConsoleAppender
log4j.appender.C.Target=System.err
log4j.appender.C.layout=org.apache.log4j.PatternLayout
log4j.appender.C.layout.ConversionPattern=%d{yyyy-MM-dd HH:mm:ss} %-5p %c{1}:%L - %m%n

8.二、生成keystore文件。

在conf目錄下執行
keytool -keystore keystore -alias azkaban -genkey -keyalg RSA
具體執行效果以下:
Enter keystore password:    
    Re-enter new password:   
    What is your first and last name?  
      [Unknown]:  azkaban.test.com  
    What is the name of your organizational unit?  
      [Unknown]:  azkaban  
    What is the name of your organization?  
      [Unknown]:  test  
    What is the name of your City or Locality?  
      [Unknown]:  beijing  
    What is the name of your State or Province?  
      [Unknown]:  beijing  
    What is the two-letter country code for this unit?  
      [Unknown]:  CN  
    Is CN=azkaban.test.com, OU=azkaban, O=test, L=beijing, ST=beijing, C=CN correct?  
      [no]:  yes  

    Enter key password for <azkaban>  
            (RETURN if same as keystore password)

 

8.三、在azkaban-web-server中新建logs目錄，用於記錄azkaban運行日誌結構以下：

 

currentpid是在啓動的時候生成的，不用管。

九、配置azkaban-exec-server

9.1在azkaban-exec-server中的conf目錄下配置 沒有conf目錄則建立，同時建立對應下面文件

├── conf │ ├── azkaban.properties
│ ├── log4j.properties

azkaban.properties

# Azkaban
default.timezone.id=Asia/Shanghai

# Azkaban JobTypes Plugins
azkaban.jobtype.plugin.dir=plugins/jobtypes

# Loader for projects 絕對路徑
executor.global.properties=/mnt/data8/ire/azkaban-ire/azkaban-web-server/conf/global.properties
azkaban.project.dir=projects

database.type=mysql
mysql.port=3306
mysql.host=127.0.0.1
mysql.database=azkaban
mysql.user=root
mysql.password=root
mysql.numconnections=100

# Azkaban Executor settings
executor.maxThreads=50
executor.port=12321
executor.flow.threads=30

# JMX stats
jetty.connector.stats=true
executor.connector.stats=true

# uncomment to enable inmemory stats for azkaban
#executor.metric.reports=true
#executor.metric.milisecinterval.default=60000

log4j.properties

log4j.rootLogger=INFO,C
log4j.appender.C=org.apache.log4j.ConsoleAppender
log4j.appender.C.Target=System.err
log4j.appender.C.layout=org.apache.log4j.PatternLayout
log4j.appender.C.layout.ConversionPattern=%d{yyyy-MM-dd HH:mm:ss} %-5p %c{1}:%L - %m%n

 

9.2 在azkaban-exec-server建立plugins/jobtypes 文件夾

mkdir -p plugins/jobtypes

在/jobtypes中生成commonprivate.properties文件 寫入

execute.as.user=false

 

9.3 在azkaban-exec-server建立logs目錄

9.4 最終azkaban-exec-server目錄層級以下：

上圖中圈出的即爲建立相應文件夾後的格式，而 executors projects temp目錄會在執行任務時建立 不用管。

 十、啓動azkaban-web-server

必定要在bin層啓動  不在bin目錄裏面啓動  以下：

cd azkaban-web-server/

bin/start-web.sh

十一、啓動azkaban-exec-server

cd azkaban-exec-server/

bin/start-exec.sh

十二、驗證效果以下：

1三、前端啓動host:8081便可

 1四、注意千萬不要用firefox瀏覽器打開，用google，不然會出現以下界面。不兼容，致使Job不能查看。