Flume + HDFS + Hive日誌收集系統

最近一段時間，負責公司的產品日誌埋點與收集工作，搭建了基於Flume+HDFS+Hive日誌蒐集系統。   一、日誌蒐集系統架構： 簡單畫了一下日誌蒐集系統的架構圖，可以看出，flume承擔了agent與collector角色，HDFS承擔了數據持久化存儲的角色。 作者搭建的服務器是個demo版，只用到了一個flume_collector，數據只存儲在HDFS。當然高可用的日誌蒐集處理系統架構是需

>>阅读原文<<