大數據之flume

Flume是一個分佈式、可靠、和高可用的海量日誌採集、聚合和傳輸的系統。 它可以採集文件，socket數據包等各種形式源數據，又可以將採集到的數據輸出到HDFS、hbase、hive、kafka等衆多外部存儲系統中。 一、flume結構 Flume分佈式系統中最核心的角色是agent，每一個agent相當於一個數據傳遞員，內部有三個組件： Source：：採集源，用於跟數據源對接，以獲取數據； S

>>阅读原文<<