flume基本介紹

flume是一個日誌收集的框架，配置簡單，在大數據很多場景下都有應用，api也很簡單，可以移步到官方文檔中查看，但是在flume的應用中，發現有兩個弊端，①配置只支持配置文件的方式，無法嵌入邏輯，如採集某個字段，將日誌進行逐條過濾等；②偶爾出現丟失數據的情況，尤其是在對接kafka的場景下；針對第一種，可以採用logstash的技術，可以完成寫邏輯，過濾等需求； 在一個完整的大數據處理系統中，除了

>>阅读原文<<