離線數據開發之任務調度系統

大數據調度系統的由來 1）大數據下，調度系統時整個大數據體系的指揮中心，負責合理的調配資源。 2）在調度系統中各類任務互相依賴，形成一個有向無環圖。 3）傳統的數據倉庫是依靠定時任務的方式進行調度，這種方式存在幾個缺點： ① 任務調度依據時間，造成前一個任務未完成而後面的任務已經開始 ② 任務難以併發，難以設置優先級 ③ 任務管理維護比方便 4）大數據下數據量巨大，同時任務種類繁多，如MapRed

>>阅读原文<<