HDFS+Spark(Hive On Spark)+Flume/Shell架構進行大數據分析

前言 公司需要對數據進行運營分析，爲了滿足運營大數據分析的需求，決定採用hadoop進行數據分析查詢 經過研究打算採用如下架構 遊戲服通過http方式把日誌消息寫入到BI服務器，BI服務器通過log4j記錄日誌信息。然後把日誌文件導入HDFS中，通過Spark進行數據的統計查詢。 這裏把日誌文件導入HDFS中有兩種方法： 1、flume 定時把日誌文件拷貝到flume監控的目錄下，然後flume就

>>阅读原文<<