logstash經過webhdfs放入hdfs增長時間戳和host字段

1.問題描述

logstash經過webhdfs插件把數據放入hdfs的時候,發現每行數據的簽名都增長了一個時間戳和host字段git

2018-12-19T08:30:30.234Z %{host} "128.1.1.2" "GET"

2.資料查找

在網上找了不少資料,描述的都是webhdfs怎麼使用,至於使用後的數據格式都沒有說github

我去github的logstash-plugins下看了一下issues,看到了以下的文章,給出瞭解決辦法web

https://github.com/logstash-plugins/logstash-output-webhdfs/issues/25

3.解決辦法

經過codec對輸出數據進行format插件

codec => line {
        format => "%{message}"
    }
相關文章
相關標籤/搜索