flume+kafka

大數據平臺每天會產生大量的日誌，處理這些日誌需要特定的日誌系統。 一般而言，這些系統需要具有以下特徵： 構建應用系統和分析系統的橋樑，並將它們之間的關聯解耦； 支持近實時的在線分析系統和類似於Hadoop之類的離線分析系統； 具有高可擴展性。即：當數據量增加時，可以通過增加節點進行水平擴展。 爲此建議將日誌採集分析系統分爲如下幾個模塊： 數據採集模塊：負責從各節點上實時採集數據，建議選用Flume

>>阅读原文<<