Oozie如何和安裝部署

一、Oozie的簡單介紹：

1、Oozie是一個工做流引擎服務器，用於運行hadoop map/reduce和hive等任務工做流，同時Oozie仍是一個Java web程序，運行在Java Servlet容器中，如Tomcat中。Oozie以action爲基本任務單元，能夠將多個action構成一個DAG圖，（有向五環圖Direct Acyclic Graph）的模式進行運行。Oozie工做流經過HPDL(一種經過XML自定義處理的語言)來構造Oozie的工做流。一個Oozie服務器主要包括四個服務：Oozie Workflow,Oozie Coordinator,Oozie Bundle和Oozie SLA(Oozie服務器等級協定)。
　　a、Oozie Workflow:該組件用於定義和執行一個特定順序的mapreduce,hive和pig做業。
　　b、Oozie Coordinator:該組件用戶支持基於事件，系統資源存在性等條件的workflow的自動化執行。
　　c、Oozie Bundle:該引擎能夠定義和執行「一束」應用，從而提供一個批量化的方法，將一組Coordinator應用程序一塊兒進行管理。
　　d、Oozie服務器等級協定（Service Level Agreement,SLA）:該組件支持workflow應用程序執行過程的記錄跟蹤。

 二、Oozie的安裝操做：

一、Oozie使用tomcat等服務器做爲web頁面展現容器，使用關係型數據庫存儲Oozie的工做流元數據，默認使用derby,因爲derby的缺點，通常狀況使用mysql做爲Oozie的元數據庫，使用extjs來做爲報表展現js框架。
　　a、安裝步驟：
　　　　1）、安裝mysql。以前安裝過，省略。
　　　　2）、安裝tomcat。
　　　　　　a、下載tomcat壓縮包：wget http://archive.apache.org/dist/tomcat/tomcat-7/v7.0.8/bin/apache-tomcat-7.0.8.tar.gz
　　　　　　　　[hadoop@slaver1 package]$ wget http://archive.apache.org/dist/tomcat/tomcat-7/v7.0.8/bin/apache-tomcat-7.0.8.tar.gz
　　　　　　b、解壓縮操做。
　　　　　　　[hadoop@slaver1 package]$ tar -zxvf apache-tomcat-7.0.8.tar.gz -C /home/hadoop/soft/
　　　　　　c、設置環境變量。
　　　　　　　　[hadoop@slaver1 soft]$ sudo vim /etc/profile
　　　　　　　　export CATALINA_HOME=/home/hadoop/soft/apache-tomcat-7.0.8
　　　　　　　　export PATH=$PATH:$CATALINA_HOME/bin
　　　　　　d、啓動tomcat測試是否安裝成功。
　　　　　　　　[hadoop@slaver1 bin]$ startup.sh
　　　　　　　　[hadoop@slaver1 apache-tomcat-7.0.8]$ jps
　　　　　　　　4547 Bootstrap
　　　　3）、安裝Oozie。下載地址：archive.cloudera.com/cdh5/cdh/5/oozie-4.0.0-cdh5.3.6.tar.gz
　　　　　　a、下載Oozie安裝包解壓縮操做和ext-2.2.zip。
　　　　　　　　[hadoop@slaver1 package]$ tar -zxvf oozie-4.0.0-cdh5.3.6.tar.gz -C /home/hadoop/soft/
　　　　　　b、設置用戶環境變量。
　　　　　　　　[hadoop@slaver1 soft]$ sudo vim /etc/profile
　　　　　　　　export OOIZE_HOME=/home/hadoop/soft/oozie-4.0.0-cdh5.3.6
　　　　　　　　export PATH=$PATH:$OOIZE_HOME/bin
　　　　　　c、修改cong/Oozie-site.xml文件進行配置信息修改。（這個文件的內容能夠去Oozie-default.xml文件找）
　　　　　　　　主要就是進行元數據指定和service的指定：
　　　　　　　　配置信息見下面所示:
　　　　　　若是修改端口號，能夠在conf/oozie-enc.sh文件中進行參數修改，好比修改端口號，默認端口號爲11000。
　　　　　　d、在Oozie根目錄下建立libext文件夾，並將Oozie依賴的其餘第三方jar移動到該目錄下面。
　　　　　　　　[hadoop@slaver1 oozie-4.0.0-cdh5.3.6]$ mkdir libext
　　　　　　　　而後將mysql的driver壓縮包到libext文件夾中：
　　　　　　　　[hadoop@slaver1 oozie-4.0.0-cdh5.3.6]$ cp /home/hadoop/package/mysql-connector-java-5.1.31.jar ./libext/
　　　　　　e、建立Oozie元數據庫。執行sql建立，執行完成後，mysql中出現數據庫和數據表：
　　　　　　　　[hadoop@slaver1 ~]$ ooziedb.sh create -sqlfile oozie.sql -run
　　　　　　f、設置hadoop代理用戶。必須設置 哦。
　　　　　　　　[hadoop@slaver1 oozie-4.0.0-cdh5.3.6]$ vim /home/hadoop/soft/hadoop-2.5.0-cdh5.3.6/etc/hadoop/core-site.xml
　　　　　　　　 <property>
                <name>hadoop.proxyuser.hadoop.hosts</name>
                <value>*</value>
        　　　　</property>
       　　 　　<property>
                <name>hadoop.proxyuser.hadoop.groups</name>
                <value>*</value>
        　　　　</property>
　　　　　　g、在hdfs上設置Oozie的公用jar文件夾。
　　　　　　　　hadoop的默認端口號是8020,我改爲了9000，因此這裏注意一下：
　　　　　　　　[hadoop@slaver1 ~]$ oozie-setup.sh sharelib create -fs hdfs://slaver1:8020 -locallib $OOIZE_HOME/oozie-sharelib-4.0.0-cdh5.3.6-yarn.tar.gz
　　　　　　　　[hadoop@slaver1 oozie-4.0.0-cdh5.3.6]$ oozie-setup.sh sharelib create -fs hdfs://slaver1:9000 -locallib oozie-sharelib-4.0.0-cdh5.3.6-yarn.tar.gz
　　　　　　h、建立Oozie的war文件。
　　　　　　　　[hadoop@slaver1 oozie-4.0.0-cdh5.3.6]$ addtowar.sh -inputwar ./oozie.war -outputwar ./oozie-server/webapps/oozie.war -hadoop 2.5.0 $HADOOP_HOME -jars ./libext/mysql-connector-java-5.1.31.jar -extjs ../../../hadoop/package/ext-2.2.zip
　　　　　　　　或者將hadoop相關包，mysql相關包，ext相關壓縮包放到libext文件夾中，運行oozie-setup.sh prepare-war也能夠建立war文件。
　　　　　　i、運行Oozie並檢查是否安裝完成。
　　　　　　　　oozied.sh run 或者oozied.sh start（前端在前端運行，後者在後臺運行）
　　　　　　　　[hadoop@slaver1 oozie-4.0.0-cdh5.3.6]$ oozied.sh start
　　　　　　j、查詢web界面&查看狀態：oozie admin -oozie http://slaver1:11000/oozie -status。
　　　　　　　　[hadoop@slaver1 oozie-4.0.0-cdh5.3.6]$ oozie admin -oozie http://slaver1:11000/oozie -status

3：Oozie的conf文件修改oozie.site.xml：

<?xml version="1.0"?>
<configuration>
    <property>
        <name>oozie.services</name>
        <value>
        org.apache.oozie.service.JobsConcurrencyService,
            org.apache.oozie.service.SchedulerService,
            org.apache.oozie.service.InstrumentationService,
            org.apache.oozie.service.MemoryLocksService,
            org.apache.oozie.service.CallableQueueService,
            org.apache.oozie.service.UUIDService,
            org.apache.oozie.service.ELService,
            org.apache.oozie.service.AuthorizationService,
            org.apache.oozie.service.UserGroupInformationService,
            org.apache.oozie.service.HadoopAccessorService,
            org.apache.oozie.service.URIHandlerService,
            org.apache.oozie.service.DagXLogInfoService,
            org.apache.oozie.service.SchemaService,
            org.apache.oozie.service.LiteWorkflowAppService,
            org.apache.oozie.service.JPAService,
            org.apache.oozie.service.StoreService,
            org.apache.oozie.service.CoordinatorStoreService,
            org.apache.oozie.service.SLAStoreService,
            org.apache.oozie.service.DBLiteWorkflowStoreService,
            org.apache.oozie.service.CallbackService,
            org.apache.oozie.service.ActionService,
            org.apache.oozie.service.ShareLibService,
            org.apache.oozie.service.ActionCheckerService,
            org.apache.oozie.service.RecoveryService,
            org.apache.oozie.service.PurgeService,
            org.apache.oozie.service.CoordinatorEngineService,
            org.apache.oozie.service.BundleEngineService,
            org.apache.oozie.service.DagEngineService,
            org.apache.oozie.service.CoordMaterializeTriggerService,
            org.apache.oozie.service.StatusTransitService,
            org.apache.oozie.service.PauseTransitService,
            org.apache.oozie.service.GroupsService,
            org.apache.oozie.service.ProxyUserService,
            org.apache.oozie.service.XLogStreamingService,
            org.apache.oozie.service.JvmPauseMonitorService
        </value>
    </property>
    <property>
        <name>oozie.service.HadoopAccessorService.hadoop.configurations</name>
        <value>*=/home/hadoop/soft/hadoop-2.5.0-cdh5.3.6/etc/hadoop</value>
    </property>
    <property>
        <name>oozie.service.JPAService.create.db.schema</name>
        <value>true</value>
    </property>
    
    <property>
        <name>oozie.service.JPAService.jdbc.driver</name>
        <value>com.mysql.jdbc.Driver</value>
    </property>
    <property>
        <name>oozie.service.JPAService.jdbc.url</name>
        <value>jdbc:mysql://slaver1:3306/ooize?createDatabaseIfNotExist=true</value>
    </property>

    <property>
        <name>oozie.service.JPAService.jdbc.username</name>
        <value>hive</value>
    </property>

    <property>
        <name>oozie.service.JPAService.jdbc.password</name>
        <value>hive</value>
    </property>

    <property>
        <name>oozie.processing.timezone</name>
        <value>GMT+0800</value>
    </property>
</configuration>

 四、web界面以下所示：

 五、Oozie的工做流介紹：

一、Oozie的四大組件服務分別是:workflow,coordinator,boundle和sla。啓動sla是做爲監控服務協議的一個組件，workflow定義Ooize的基本工做流，coordinator定義定時（或者是根據其餘資源指標）運行的workflow任務。bundle是將多個coordinator做爲一個組件一塊兒管理。也就是說workflow是oozie中最基本的一個服務組件。三大服務的關係是：bundle包含多個coordinator，coordinator包含一個workflow，workflow定義具體的action動做。
二、workflow使用hadoop流程定義語言（hadoop process defination language,hPDL）來描述工做流，hPDL是相似xml語言的一種至關簡介的定義類語言，使用有限數目的流控制節點和動做節點來描述workflow，也就是說workflow有兩大類節點構成：工做流控制節點和動做節點。其中工做流控制節點是workflow自己提供的一種控制workflow工做流執行路徑的方法，不能夠自定義，動做節點是具體的操做方法，用戶能夠自定義。
　　workflow工做流的聲明週期：
　　a、PREP,一個工做流第一次建立就處於PREP狀態，表示工做流已經建立，可是尚未運行。
　　b、RUNNIG,當一個已經被建立的工做流job開始執行的時候，就處於RUNNING狀態。它不會達到結束狀態，只能由於出錯而結束或者被掛起。
　　c、SUSPENDED,一個RUNNING狀態的工做流Job會變成SUSPENDED狀態，並且它會一直處於該狀態，除非這個工做流Job被重啓開始執行或者被殺死。
　　d、SUCCESSEDED,當一個RUNNING狀態的工做流Job達到了end節點，他就變成了SUCCESSEDED最終完成狀態。
　　e、KILLED,當一個工做流Job處於被建立後的狀態。或者處於RUNNING,SUSPENDED狀態時，被殺死，則工做流Job的狀態變爲了KILLED狀態。
　　f、FAILED,當一個工做流Job不可預期的錯誤失敗而終止，就會變成FAILED狀態。
三、
四、

 組件之間的關係以下所示：

六、

 

 

 

 

 

待續......