葵花寶典--Azkaban

一 概述 1.1 爲什麼需要工作流調度系統 1）一個完整的數據分析系統通常都是由大量任務單元組成： shell 腳本程序，java 程序，mapreduce 程序、hive 腳本等。 2）各任務單元之間存在時間先後及前後依賴關係。 3）爲了很好地組織起這樣的複雜執行計劃，需要一個工作流調度系統來調度執行。    例如，我們可能有這樣一個需求，某個業務系統每天產生 20G 原始數據，我們每天都要對其

>>阅读原文<<