一種基於離線計算的分佈式調度系統

1.1 背景 隨着企業業務的擴展，運營管理和生產過程中每天都會產生大量的異構數據，如何能高效的對這些數據進行分析和計算直接影響到大數據在應用中的價值和使用。 調度系統是一個基於工作流引擎的服務器，可以在上面運行Hadoop的MapReduce、Pig等任務。調度系統使用mysql存儲工作流任務定義信息，任務之間的依賴信息，當前運行的工作流實例，包括實例的狀態和變量等；使用hbase存儲運行腳本。調

>>阅读原文<<