使用Azkaban調度Spark任務

概述 爲何須要工做流調度系統 l 一個完整的數據分析系統一般都是由大量任務單元組成：html shell腳本程序，java程序，mapreduce程序、hive腳本等java l 各任務單元之間存在時間前後及先後依賴關係node l 爲了很好地組織起這樣的複雜執行計劃，須要一個工做流調度系統來調度執行；mysql   例如，咱們可能有這樣一個需求，某個業務系統天天產生20G原始數據，咱們天天都要對

>>阅读原文<<