logstash經過webhdfs插件把數據放入hdfs的時候,發現每行數據的簽名都增長了一個時間戳和host字段git
2018-12-19T08:30:30.234Z %{host} "128.1.1.2" "GET"
在網上找了不少資料,描述的都是webhdfs怎麼使用,至於使用後的數據格式都沒有說github
我去github的logstash-plugins下看了一下issues,看到了以下的文章,給出瞭解決辦法web
https://github.com/logstash-plugins/logstash-output-webhdfs/issues/25
經過codec對輸出數據進行format插件
codec => line { format => "%{message}" }