flume-ng編程之自定義攔截器

學習flume以來,實現了日誌的多來源自動抽取和多target的自動發送等,可是一直以來的數據清洗過程一直是放在hadoop中用MR程序定時進行清洗的,有沒有一種方式編程可以直接在flume中來進行相關的數據清洗數據匹配,過濾掉那些不規範的髒數據,因而決定打這個flume攔截器的主義,以爲只要把代碼稍微改改,從攔截body開始自定義intercepter編程完成每一個body字符串的解析字段的正則
相關文章
相關標籤/搜索