Oozie — What Why and How

• Oozie是什麼？

Oozie最初是Yahoo！爲Hadoop開發的一個工做流調度器，一個工做流有多個Job組成。它容許用戶提交由多個Job組成的工做流配置文件，這些Job既能夠順序執行，也能夠並行執行，還能夠配置其中的Job定時執行、出錯從新執行等。

Oozie提供了Java Client API和Web Service API以及命令行接口,使用簡單。

如今是Apache的一個開源項目。

• 爲何使用Oozie？

主要是爲了更方便、自由的使用Hadoop，提交做業。

對一個集羣中天天有大量左右須要提交執行的狀況來講，使用Oozie管理這些Job很方便。

另一點就是，若是有Job執行出錯，能夠配置Oozie從新執行這些Job。

• 如何使用Oozie？
  1. 首先須要執行的Job的配置寫入workflow.xml，配置中須要指明每一個Job的輸入文件、輸出文件、輸出Reader、輸出Writer、Mapper、Reducer、Job的執行參數
  2. 而後提交這個xml文件
  3. 配置workflow的property （指明Name Node、JobTraker、job執行過程當中所使用的jar包的location）

關於oozie的更多信息，請參考：
http://yahoo.github.com/oozie/
http://yahoo.github.com/oozie/releases/3.1.0/
http://incubator.apache.org/oozie

--------------
本文地址：http://nourlcn.ownlinux.net/2011/11/oozie-what-why-and-how.html

https://twitter.com/nourlcn

2011-11-20