Flume自定義攔截器,重啓後不能繼續處理的問題

1、背景 flume版本:1.8,有一個自定義攔截器Interceptor把json數據,轉化爲|分隔的數據,便於hive加載。 使用File Channel,重啓後,不能繼續處理數據。 2、原因分析 查看日誌,一直報json轉換異常,轉換的內容是 |分隔的,猜測內容應該是經過攔截器處理以後的。 進一步分析,因爲使用了File Channel,重啓後,會從檢查點Checkpoint取出數據繼續處理
相關文章
相關標籤/搜索