大數據之flume

Flume是一個分佈式、可靠、和高可用的海量日誌採集、聚合和傳輸的系統。 它可以採集文件,socket數據包等各種形式源數據,又可以將採集到的數據輸出到HDFS、hbase、hive、kafka等衆多外部存儲系統中。 一、flume結構 Flume分佈式系統中最核心的角色是agent,每一個agent相當於一個數據傳遞員,內部有三個組件: Source::採集源,用於跟數據源對接,以獲取數據; S
相關文章
相關標籤/搜索