flume基本介紹

flume是一個日誌收集的框架,配置簡單,在大數據很多場景下都有應用,api也很簡單,可以移步到官方文檔中查看,但是在flume的應用中,發現有兩個弊端,①配置只支持配置文件的方式,無法嵌入邏輯,如採集某個字段,將日誌進行逐條過濾等;②偶爾出現丟失數據的情況,尤其是在對接kafka的場景下;針對第一種,可以採用logstash的技術,可以完成寫邏輯,過濾等需求; 在一個完整的大數據處理系統中,除了
相關文章
相關標籤/搜索