Azkaban

1.Azkaban的安裝部署

azkaban的資源下載

https://azkaban.github.io/azkaban/docs/latest/#ajax-api

http://azkaban.github.io/downloads.html

 

1.1.配置mysql

1.1.1.修改mysql的編碼

（1）啓動mysql

service mysqld start

(2) 登陸mysql

mysql -uroot -p

(3)執行編碼顯示

show variables like 'character%';

（4）在linux下修改mysql配置文件my.conf

vi /etc/my.conf

找到客戶端配置[client] 在下面添加 （沒有的話建立）

default-character-set=utf8 //默認字符集爲utf8

在找到[mysqld] 在下面添加

character-set-server=utf8 //默認字符集爲utf8 

修改好後，從新啓動mysql便可

service mysqld restart

 

登陸MySQL查詢一下

show variables like 'character%';

1.1.2.登陸mysql執行腳本

mysql –uroot –p

#爲Azkaban建立數據庫

CREATE DATABASE azkaban;

#受權

set password=password('123456');

update mysql.user set authentication_string=password('123456') where user='root';

grant all on *.* to azkaban@'%'  identified by 'azkaban';

grant all on *.* to azkaban@'hadoop01'  identified by 'azkaban';

grant all on *.* to azkaban@'localhost'  identified by 'azkaban';

#刷新權限

flush privileges;

#退出

exit；

#執行初始化腳本（Azkaban須要的數據表）

在 /usr/local/ 下面建立了文件夾azkaban

mkdir azkaban

 

 create-all-sql-2.5.0.sql是我本身的數據庫表

 在mysql裏面執行

source  /usr/local/azkaban/create-all-sql-2.5.0.sql

 1.2.配置azkaban web server

1.2.1.解壓azkaban壓縮包

下載安裝unzip

yum -y install unzip

上傳壓縮包azkaban-web-2.5.0.zip到 /usr/local/azkaban/下

unzip azkaban-web-2.5.0.zip

1.2.1.上傳mysql驅動包（咱們只須要mysql驅動包中的mysql-connector-java-5.1.46-bin.jar）

（1）能夠直接上傳mysql-connector-java-5.1.46-bin.jar 至 azkaban-web-2.5.0/extlib/

（2）或者

解壓MySQL驅動包
[lan@master azkaban]$ tar  -xvf mysql-connector-java-5.1.46.tar.gz
[[lan@masterazkaban]$cp mysql-connector-java-5.1.46/mysql-connector-java-5.1.46-bin.jar azkaban-web-2.5.0/extlib/

1.3.配置jetty.ssl

keytool -keystore keystore -alias jetty -genkey -keyalg RSA
		執行完上面的命令以後顯示以下信息：
		Enter keystore password:  password
		What is your first and last name? 您的名字與姓氏是什麼？
		[Unknown]:  jetty.mortbay.org
		What is the name of your organizational unit?您的組織單位名稱是什麼？
		[Unknown]:  Jetty
		What is the name of your organization?您的組織名稱是什麼？
		[Unknown]:  Mort Bay Consulting Pty. Ltd.
		What is the name of your City or Locality?您所在的城市或區域名稱是什麼？
		[Unknown]:
		What is the name of your State or Province?您所在的州或省份名稱是什麼？
		[Unknown]:
		What is the two-letter country code for this unit?該單位的兩字母國家代碼是什麼
		[Unknown]:
		Is CN=jetty.mortbay.org, OU=Jetty, O=Mort Bay Consulting Pty. Ltd.,
		L=Unknown, ST=Unknown, C=Unknown correct?正確嗎？
		[no]:  是
		Enter key password for <jetty>
		(RETURN if same as keystore password):  password
		注意：這裏keystore的密碼爲password；key的密碼爲password可自行修改

 

1.3.1.生成 keystore

完成上述工做後,將在當前目錄生成 keystore 證書文件,將keystore 考貝到 azkaban web服務器根目錄中，命令以下：

[lan@master ~]$ cp keystore azkaban/azkaban-web-2.5.0/

1.4.修改配置文件

1.4.1.進入azkaban web服務器安裝目錄 conf目錄,修改azkaban.properties文件

[lan@master azkaban]$ cd azkaban-web-2.5.0/conf/
[lan@master conf]$ vi  azkaban.properties

#Azkaban Personalization Settings
#服務器UI名稱,用於服務器上方顯示的名字
azkaban.name=Test      
#描述                                                          
azkaban.label=My Local Azkaban  
#UI顏色                            
azkaban.color=#FF3601     
#默認servlet路徑                                            
azkaban.default.servlet.path=/index 
#默認根web目錄                        
web.resource.dir=web/            
#默認時區,已改成亞洲/上海默認爲美國                                  
default.timezone.id=Asia/Shanghai                           
 
#Azkaban UserManager class
#用戶權限管理默認類
user.manager.class=azkaban.user.XmlUserManager   
#用戶配置,具體配置參加下文
user.manager.xml.file=conf/azkaban-users.xml              
#Loader for projects
# global配置文件所在位置
executor.global.properties=conf/global.properties 
#  
azkaban.project.dir=projects                                                
#數據庫類型
database.type=mysql
#端口號                                                             
mysql.port=3306
#數據庫鏈接IP                                                                      
mysql.host=master    
#數據庫實例名                                              
mysql.database=azkaban 
#數據庫用戶名                                                   
mysql.user=azkaban  
#數據庫密碼                                                              
mysql.password=azkaban 
#最大鏈接數                                                         
mysql.numconnections=100                                                  
# Velocity dev mode
velocity.dev.mode=false
# Jetty服務器屬性.
#最大線程數
jetty.maxThreads=25 
#Jetty SSL端口                                                              
jetty.ssl.port=8443 
#Jetty端口                                                                 
jetty.port=8081 
#SSL文件名                                                                        
jetty.keystore=keystore   
#SSL文件密碼                                                       
jetty.password=password     
#Jetty主密碼 與 keystore文件相同                                                    
jetty.keypassword=password     
#SSL文件名                          
jetty.truststore=keystore  
# SSL文件密碼                                                            
jetty.trustpassword=password                                                  
#執行服務器屬性
#執行服務器端口
executor.port=12321                                                              
#郵件設置  （能夠不設置）
#發送郵箱
mail.sender=sunboyscf@163.com    
#發送郵箱smtp地址                                  
mail.host=smtp.163.com                                                       
#發送郵件時顯示的名稱
mail.user=sunboyscf   
#郵箱密碼                                                             
mail.password=**********      
#任務失敗時發送郵件的地址                                          
job.failure.email=sunboyscf@163.com 
#任務成功時發送郵件的地址                             
job.success.email=sunboyscf@163.com    
#                      
lockdown.create.projects=false  
#緩存目錄                                        
cache.directory=cache

 1.4.2.修改文件權限

chmod 755 /usr/local/azkaban/azkaban-web-2.5.0/bin/*

1.5.配置Azkaban Executor Server

1.5.1解壓

上傳壓縮包azkaban-executor-2.5.0.zip至/usr/local/azkaban/下

unzip azkaban-executor-2.5.0.zip

1.5.2.azkaban執行服務器配置

（1）進入執行服務器安裝目錄修改配置文件

 cd azkaban-executor-2.5.0/conf/

 vi azkaban.properties

#Azkaban
#時區
default.timezone.id=Asia/Shanghai                                            
#Azkaban JobTypes 插件配置
#jobtype 插件所在位置
azkaban.jobtype.plugin.dir=plugins/jobtypes                 
#Loader for projects
executor.global.properties=conf/global.properties
azkaban.project.dir=projects
#數據庫設置
#數據庫類型(目前只支持mysql)
database.type=mysql   
#數據庫端口號                                                  
mysql.port=3306  
#數據庫IP地址                                                                              
mysql.host=master
#數據庫實例名                                                                 
mysql.database=azkaban 
#數據庫用戶名                                                              
mysql.user=azkaban 
#數據庫密碼                                                          
mysql.password=azkaban 
#最大鏈接數                                                                 
mysql.numconnections=100                                                         
#執行服務器配置
#最大線程數
executor.maxThreads=50        
#端口號(如修改,請與web服務中致)                                                    
executor.port=12321
#線程數                                                              
executor.flow.threads=30 

 1.5.3.修改文件權限

chmod 755 /usr/local/azkaban/azkaban-executor-2.5.0/bin/*

1.6.用戶配置

進入azkaban web服務器conf目錄，修改azkaban-users.xml

增長管理員用戶

 cd azkaban-web-2.5.0/conf/

 vi azkaban-users.xml

增長紅色字體部分
<azkaban-users>
<user username="azkaban" password="azkaban" roles="admin" groups="azkaban" />
        		<user username="metrics" password="metrics" roles="metrics"/>
        		<user username="admin" password="admin" roles="admin,metrics" />
        		<role name="admin" permissions="ADMIN" />
        		<role name="metrics" permissions="METRICS"/>
</azkaban-users>

 

1.6.啓動

1.6.1web服務器

在azkaban web服務器目錄下執行啓動命令

[lan@master azkaban-web-2.5.0]$ bin/azkaban-web-start.sh

注:只能要web服務器根目錄運行

1.6.1.執行服務器

 

在執行服務器目錄下執行啓動命令

 

[lan@master azkaban-executor-2.5.0]$ bin/azkaban-executor-start.sh

 

注:只能要執行服務器根目錄運行