數據倉庫JOB血緣關係及調度器設計

上2篇文章主要談的是經過atlas來展現表與表的元數據管理,倉庫中還有一個極其重要的就是分佈式調度器。從我對調度器的認知,大概有如下3種類型調度器:1. 按照線來跑JOB,對於JOB之間的多級交叉依賴無能爲力,好比OOZIE 2. 按層來執行JOB,把JOB分層,一層一層跑,這種一般是本身開發 3. 根據JOB依賴關係來跑,一般也是本身開發。java 以上3種調度器第三種固然是最好的,根據依賴自動
相關文章
相關標籤/搜索