大數據解決方案：實時日誌處理系統架構及整體思路

1.實時日誌處理系統架構及整體思路   整個系統分爲三層：收集(Agent)層，彙總(Collector)層和處理層。 其中Agent層採用flume收集日誌，每個機器部署一個進程，負責對單機的日誌收集工作； Collector層flume部署在後端服務器上，負責接收Agent層發送的日誌，彙總並決定最終流向； 對於單個日誌文件的服務器，flume採用傳統的source-channel-sink配

>>阅读原文<<