hadoop之離線處理電商項目架構和實現

處理流程 1.涉及的基本技術組件 Hadoop：HDFS MapReduce(清洗) YARN、須要部署Hadoop集羣 Hive：外部表、SQL 、解決數據傾斜 、sql優化、基於元數據管理、SQL 到MR過程 Flume：將數據抽取到hdfs 調度：crontab、shell、Azkaban HUE：可視化的notebook，CM自帶 ，排查數據 2.處理流程 大數據開發：關注的是二、

>>阅读原文<<