基於某電商離線處理項目架構和實現一（處理流程）

1.涉及的基本組件技術 Hadoop：HDFS MapReduce(清洗) YARN、需要部署Hadoop集羣 Hive：外部表、SQL 、解決數據傾斜 、sql優化、基於元數據管理、SQL 到MR過程 Flume：將數據抽取到hdfs 調度：crontab、shell、Azkaban HUE：可視化的notebook，CM自帶 ，排查數據 2.處理流程 大數據開發：關注的是2、3、4步驟。1,2

>>阅读原文<<