大數據平臺任務調度與監控系統

目前各業務的數據任務基本都是靠Crontab定時調度，各個任務之間的依賴僅靠簡單的串行來實現。 這樣做的問題： 很容易造成前面的任務未結束或者失敗，後面的任務也運行起來，最終跑出錯誤的分析結果； 任務不能併發執行，增加任務執行的整體時間窗口； 任務管理和維護很不方便，不好統計任務的執行時間及運行日誌； 缺乏及時有效的告警； SkyNet調度監控系統，正是爲了解決以上問題。 系統架構 名詞解釋 Sk

>>阅读原文<<