Azkaban學習(一)Azkaban的基礎介紹

一、爲何須要工做流調度器 (1)一個完整的數據分析系統一般都是由大量任務單元組成: shell 腳本程序,java 程序,mapreduce 程序、hive 腳本等java (2)各任務單元之間存在時間前後及先後依賴關係python (3)爲了很好地組織起這樣的複雜執行計劃,須要一個工做流調度系統來調度執行linux 例如,咱們可能有這樣一個需求,某個業務系統天天產生 20G 原始數據,咱們天天都
相關文章
相關標籤/搜索