Flume Interceptor 攔截器

 近期因爲業務需要,解決數據漂移問題 (數據漂移:flume從kafka拉取日誌到hdfs,因爲使用得攔截器timestamp,就是使用系統時間作爲日誌落地得時間,因爲kafka數據亂序問題,所以有些昨天得數據會被打上今天得系統時間;舉個例子:日誌內得時間戳是2019-5-20 23:59:59,但是卻存在了2019-5-21得文件夾下) 所以爲了解決這個問題,就要提取日誌中得時間戳,作文存儲文件
相關文章
相關標籤/搜索