使用oozie實現spark定時調度和spark依賴

oozie是針對hadoop的任務調度框架,由於spark on yarn的模式是基於hadoop的任務調度模塊yarn來作的,因此spark on yarn模式能夠利用oozie的定時模塊和任務依賴調度模塊,實現按時按步驟的執行spark的job,下面就簡單介紹一下剛使用oozie時容易忽略和比較重要的地方。 最簡單來說,一個簡單依賴關係的ooziejob,須要一個提交到hdfs上的xml用來解
相關文章
相關標籤/搜索