大數據之日誌分析步驟

日誌分析處理步驟 數據採集 Flume：將web日誌寫入HDFS中 數據清洗： Spark、Hive、MapReduce或者其餘分佈式框架，去除不符合要求的數據，清洗完以後的數據能夠存放在HDFS中 數據處理：按照需求，進行相應的業務統計和分析，使用Spark、Hive、MapReduce或者其餘分佈式框架，去除不符合要求的數據 處理結果的存放 結果能夠存放在RDBMS或者Nosql數據庫中 數據

>>阅读原文<<