Flume1:基礎知識、Agent架構、Channel/Sink傳輸攔截器與Put/Take傳輸事務控制

1. 基礎知識       flume是一個實時數據採集工具,可以從各種各樣的數據源(服務器)上採集用戶行爲、事件日誌數據集中傳輸(匯聚)到大數據生態的各種存儲平臺中(hdfs,hbase,hive,kafka) 1.1 flume的優勢: 可以高速採集數據,採集的數據能夠以想要的文件格式及壓縮方式存儲在hdfs上 事務功能保證了數據在採集的過程中數據不丟失 部分Source保證了Flume掛了以
相關文章
相關標籤/搜索