任務流程引擎設計

一、前言         前段時間做的一塊東西,涉及到任務的拆解與依賴,由於時間緊急,當時採用的硬編碼辦法解決,現在終於回過神來,於是設計成一個「小框架」。 二、問題描述         進行大數據分析,用Java調用Sqoop接口將數據導入Hadoop,然後運行一個mapreduce任務和多個Hive任務進行建表、統計、分析,最後運算結果導回數據庫。 三、圖解問題 四、需求分析         
相關文章
相關標籤/搜索