工做流調度器azkaban

2.1 概述

2.1.1爲何須要工做流調度系統

l  一個完整的數據分析系統一般都是由大量任務單元組成：

shell腳本程序，java程序，mapreduce程序、hive腳本等

l  各任務單元之間存在時間前後及先後依賴關係

l  爲了很好地組織起這樣的複雜執行計劃，須要一個工做流調度系統來調度執行；

 

例如，咱們可能有這樣一個需求，某個業務系統天天產生20G原始數據，咱們天天都要對其進行處理，處理步驟以下所示：

一、  經過Hadoop先將原始數據同步到HDFS上；

二、  藉助MapReduce計算框架對原始數據進行轉換，生成的數據以分區表的形式存儲到多張Hive表中；

三、  須要對Hive中多個表的數據進行JOIN處理，獲得一個明細數據Hive大表；

四、  將明細數據進行復雜的統計分析，獲得結果報表信息；

五、  須要將統計分析獲得的結果數據同步到業務系統中，供業務調用使用。

 

 

2.1.2 工做流調度實現方式

簡單的任務調度：直接使用linux的crontab來定義；

複雜的任務調度：開發調度平臺

或使用現成的開源調度系統，好比oozie、azkaban等

 

 

2.1.3 常見工做流調度系統

市面上目前有許多工做流調度器

在hadoop領域，常見的工做流調度器有Oozie, Azkaban,Cascading,Hamake等

 

 

 

 

2.1.4 各類調度工具特性對比

下面的表格對上述四種hadoop工做流調度器的關鍵特性進行了比較，儘管這些工做流調度器可以解決的需求場景基本一致，但在設計理念，目標用戶，應用場景等方面仍是存在顯著的區別，在作技術選型的時候，能夠提供參考

特性	Hamake	Oozie	Azkaban	Cascading
工做流描述語言	XML	XML (xPDL based)	text file with key/value pairs	Java API
依賴機制	data-driven	explicit	explicit	explicit
是否要web容器	No	Yes	Yes	No
進度跟蹤	console/log messages	web page	web page	Java API
Hadoop job調度支持	no	yes	yes	yes
運行模式	command line utility	daemon	daemon	API
Pig支持	yes	yes	yes	yes
事件通知	no	no	no	yes
須要安裝	no	yes	yes	no
支持的hadoop版本	0.18+	0.20+	currently unknown	0.18+
重試支持	no	workflownode evel	yes	yes
運行任意命令	yes	yes	yes	yes
Amazon EMR支持	yes	no	currently unknown	yes

2.1.5 Azkaban與Oozie對比

對市面上最流行的兩種調度器，給出如下詳細對比，以供技術選型參考。整體來講，Oozie相比azkaban是一個重量級的任務調度系統，功能全面，但配置使用也更復雜。若是能夠不在乎某些功能的缺失，輕量級調度器azkaban是很不錯的候選對象。

詳情以下：

u  功能

二者都可以調度mapreduce,pig,java,腳本工做流任務

二者都可以定時執行工做流任務

 

u  工做流定義

Azkaban使用Properties文件定義工做流

Oozie使用XML文件定義工做流

 

u  工做流傳參

Azkaban支持直接傳參，例如${input}

Oozie支持參數和EL表達式，例如${fs:dirSize(myInputDir)}

 

u  定時執行

Azkaban的定時執行任務是基於時間的

Oozie的定時執行任務基於時間和輸入數據

 

u  資源管理

Azkaban有較嚴格的權限控制，如用戶對工做流進行讀/寫/執行等操做

Oozie暫無嚴格的權限控制

 

u  工做流執行

Azkaban有兩種運行模式，分別是solo server mode(executor server和web server部署在同一臺節點)和multi server mode(executor server和web server能夠部署在不一樣節點)

Oozie做爲工做流服務器運行，支持多用戶和多工做流

 

u  工做流管理

Azkaban支持瀏覽器以及ajax方式操做工做流

Oozie支持命令行、HTTP REST、Java API、瀏覽器操做工做流

 

 

2.2 Azkaban介紹

Azkaban是由Linkedin開源的一個批量工做流任務調度器。用於在一個工做流內以一個特定的順序運行一組工做和流程。Azkaban定義了一種KV文件格式來創建任務之間的依賴關係，並提供一個易於使用的web用戶界面維護和跟蹤你的工做流。

它有以下功能特色：

²  Web用戶界面

²  方便上傳工做流

²  方便設置任務之間的關係

²  調度工做流

²  認證/受權(權限的工做)

²  可以殺死並從新啓動工做流

²  模塊化和可插拔的插件機制

²  項目工做區

²  工做流和任務的日誌記錄和審計

 

 

 

2. 3 Azkaban安裝部署

準備工做

Azkaban Web服務器

azkaban-web-server-2.5.0.tar.gz

Azkaban執行服務器 

azkaban-executor-server-2.5.0.tar.gz

 

MySQL

目前azkaban只支持 mysql,需安裝mysql服務器,本文檔中默認已安裝好mysql服務器,並創建了 root用戶,密碼 root.

 

 

下載地址:http://azkaban.github.io/downloads.html

 

 

 

安裝

將安裝文件上傳到集羣,最好上傳到安裝 hive、sqoop的機器上,方便命令的執行

在當前用戶目錄下新建 azkabantools目錄,用於存放源安裝文件.新建azkaban目錄,用於存放azkaban運行程序

azkaban web服務器安裝

解壓azkaban-web-server-2.5.0.tar.gz

命令: tar –zxvf azkaban-web-server-2.5.0.tar.gz

將解壓後的azkaban-web-server-2.5.0 移動到 azkaban目錄中,並從新命名 webserver

命令: mv azkaban-web-server-2.5.0 ../azkaban

        cd ../azkaban

        mv azkaban-web-server-2.5.0  server

 

azkaban 執行服器安裝

解壓azkaban-executor-server-2.5.0.tar.gz

命令:tar –zxvf azkaban-executor-server-2.5.0.tar.gz

將解壓後的azkaban-executor-server-2.5.0 移動到 azkaban目錄中,並從新命名 executor

命令:mv azkaban-executor-server-2.5.0  ../azkaban

cd ../azkaban

mv azkaban-executor-server-2.5.0  executor

 

azkaban腳本導入

解壓: azkaban-sql-script-2.5.0.tar.gz

命令:tar –zxvf azkaban-sql-script-2.5.0.tar.gz

將解壓後的mysql 腳本,導入到mysql中:

進入mysql

mysql> create database azkaban;

mysql> use azkaban;

Database changed

mysql> source /home/hadoop/azkaban-2.5.0/create-all-sql-2.5.0.sql;

 

 

 

 

 

 

建立SSL配置

參考地址: http://docs.codehaus.org/display/JETTY/How+to+configure+SSL

命令: keytool -keystore keystore -alias jetty -genkey -keyalg RSA

運行此命令後,會提示輸入當前生成 keystor的密碼及相應信息,輸入的密碼請勞記,信息以下:

 

輸入keystore密碼： 

再次輸入新密碼:

您的名字與姓氏是什麼？

  [Unknown]： 

您的組織單位名稱是什麼？

  [Unknown]： 

您的組織名稱是什麼？

  [Unknown]： 

您所在的城市或區域名稱是什麼？

  [Unknown]： 

您所在的州或省份名稱是什麼？

  [Unknown]： 

該單位的兩字母國家代碼是什麼

  [Unknown]：  CN

CN=Unknown, OU=Unknown, O=Unknown, L=Unknown, ST=Unknown, C=CN 正確嗎？

  [否]：  y

 

輸入<jetty>的主密碼

        （若是和 keystore 密碼相同，按回車）： 

再次輸入新密碼:

完成上述工做後,將在當前目錄生成 keystore 證書文件,將keystore 考貝到 azkaban web服務器根目錄中.如:cp keystore azkaban/webserver

 

配置文件

注：先配置好服務器節點上的時區

一、先生成時區配置文件Asia/Shanghai，用交互式命令 tzselect 便可

二、拷貝該時區文件，覆蓋系統本地時區配置

cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime 

 

 

azkaban web服務器配置

進入azkaban web服務器安裝目錄 conf目錄

 

v  修改azkaban.properties文件

命令vi azkaban.properties

內容說明以下:

#Azkaban Personalization Settings azkaban.name=Test                           #服務器UI名稱,用於服務器上方顯示的名字 azkaban.label=My Local Azkaban                               #描述 azkaban.color=#FF3601                                                 #UI顏色 azkaban.default.servlet.path=/index                         # web.resource.dir=web/                                                 #默認根web目錄 default.timezone.id=Asia/Shanghai                           #默認時區,已改成亞洲/上海 默認爲美國   #Azkaban UserManager class user.manager.class=azkaban.user.XmlUserManager   #用戶權限管理默認類 user.manager.xml.file=conf/azkaban-users.xml              #用戶配置,具體配置參加下文   #Loader for projects executor.global.properties=conf/global.properties    # global配置文件所在位置 azkaban.project.dir=projects                                                #   database.type=mysql                                                              #數據庫類型 mysql.port=3306                                                                       #端口號 mysql.host=hadoop03                                                      #數據庫鏈接IP mysql.database=azkaban                                                       #數據庫實例名 mysql.user=root                                                                 #數據庫用戶名 mysql.password=root                                                          #數據庫密碼 mysql.numconnections=100                                                  #最大鏈接數   # Velocity dev mode velocity.dev.mode=false # Jetty服務器屬性. jetty.maxThreads=25                                                               #最大線程數 jetty.ssl.port=8443                                                                   #Jetty SSL端口 jetty.port=8081                                                                         #Jetty端口 jetty.keystore=keystore                                                          #SSL文件名 jetty.password=123456                                                             #SSL文件密碼 jetty.keypassword=123456                                                      #Jetty主密碼 與 keystore文件相同 jetty.truststore=keystore                                                                #SSL文件名 jetty.trustpassword=123456                                                   # SSL文件密碼   # 執行服務器屬性 executor.port=12321                                                               #執行服務器端口   # 郵件設置 mail.sender=xxxxxxxx@163.com                                       #發送郵箱 mail.host=smtp.163.com                                                       #發送郵箱smtp地址 mail.user=xxxxxxxx                                       #發送郵件時顯示的名稱 mail.password=**********                                                 #郵箱密碼 job.failure.email=xxxxxxxx@163.com                              #任務失敗時發送郵件的地址 job.success.email=xxxxxxxx@163.com                            #任務成功時發送郵件的地址 lockdown.create.projects=false                                           # cache.directory=cache                                                            #緩存目錄

 

v  azkaban 執行服務器配置

進入執行服務器安裝目錄conf,修改azkaban.properties

vi azkaban.properties

#Azkaban default.timezone.id=Asia/Shanghai                                              #時區   # Azkaban JobTypes 插件配置 azkaban.jobtype.plugin.dir=plugins/jobtypes                   #jobtype 插件所在位置   #Loader for projects executor.global.properties=conf/global.properties azkaban.project.dir=projects   #數據庫設置 database.type=mysql                                                                       #數據庫類型(目前只支持mysql) mysql.port=3306                                                                                #數據庫端口號 mysql.host=192.168.20.200                                                           #數據庫IP地址 mysql.database=azkaban                                                                #數據庫實例名 mysql.user=azkaban                                                                         #數據庫用戶名 mysql.password=oracle                                                                   #數據庫密碼 mysql.numconnections=100                                                           #最大鏈接數   # 執行服務器配置 executor.maxThreads=50                                                                #最大線程數 executor.port=12321                                                               #端口號(如修改,請與web服務中一致) executor.flow.threads=30                                                                #線程數

 

 

v  用戶配置

進入azkaban web服務器conf目錄,修改azkaban-users.xml

vi azkaban-users.xml 增長 管理員用戶

<azkaban-users>         <user username="azkaban" password="azkaban" roles="admin" groups="azkaban" />         <user username="metrics" password="metrics" roles="metrics"/>         <user username="admin" password="admin" roles="admin,metrics" />         <role name="admin" permissions="ADMIN" />         <role name="metrics" permissions="METRICS"/> </azkaban-users>

 

 

啓動

web服務器

在azkaban web服務器目錄下執行啓動命令

bin/azkaban-web-start.sh

注:在web服務器根目錄運行

 

執行服務器

在執行服務器目錄下執行啓動命令

bin/azkaban-executor-start.sh ./

注:只能要執行服務器根目錄運行

 

啓動完成後,在瀏覽器(建議使用谷歌瀏覽器)中輸入https://服務器IP地址:8443 ,便可訪問azkaban服務了.在登陸中輸入剛纔新的戶用名及密碼,點擊 login.