輔助框架之azkaban工作流調度器

1. 爲什麼需要工作流調度系統 (1)完整的數據分析系統通常都是由大量任務單元組成;包括:shell腳本程序、java程序、mapreduce程序、hive腳本等 (2)各任務單元之間存在時間先後及前後依賴關係; (3)爲了很好地組織起這樣的複雜執行計劃,需要一個工作流調度系統來調度執行。 2. Azkaban是什麼 (1)Azkaban是由Linkedin開源的一個批量工作流任務調度器。用於在一
相關文章
相關標籤/搜索