大數據之日誌分析步驟

日誌分析處理步驟 數據採集 Flume：將web日誌寫入HDFS中 數據清洗： Spark、Hive、MapReduce或者其他分佈式框架，去除不符合要求的數據，清洗完之後的數據可以存放在HDFS中 數據處理：按照需求，進行相應的業務統計和分析，使用Spark、Hive、MapReduce或者其他分佈式框架，去除不符合要求的數據 處理結果的存放 結果可以存放在RDBMS或者Nosql數據庫中 數據

>>阅读原文<<