大數據-Azkaban介紹

1. Azkaban介紹 1.1. 爲什麼需要Azkaban 一個完整的數據分析系統通常都是由大量任務單元組成 shell腳本程序 java程序 mapreduce程序 hive腳本等 各任務單元之間存在時間先後及前後依賴關係, 爲了很好地組織起這樣的複雜執行計劃, 需要一個工作流調度系統來調度執行; 例如,我們可能有這樣一個需求,某個業務系統每天產生20G原始數據,我們每天都要對 其進行處理,處
相關文章
相關標籤/搜索