filebeat的配置文件說明

filebeat.prospectors:
- input_type: log
  paths:
    - /tmp/fblog/*        #指定採集文件的路徑，可多級匹配
  fields:                 #爲採集的信息中添加字段
    topicName: TEST2
hostIP: 192.168.100.130
Line_breaker: \n   #指定換行符 
  fields_under_root: true 
  encoding: gbk     #設置信息的編碼格式  
clean_removed: true  #當文件在磁盤中找不到時，清理註冊表中的文件信息
close_removed: true  #當文件被刪除時，filebeat關閉文件的讀取處理和clearn_remove一塊兒使用
ignore_older: 25h  #超過該時間以前更新的文件filebeta不採集，默認關閉
close_inactive: 1m  #當harvester讀取文件最後一行後，在該時間內文件內容沒有變化就關閉文件句柄(file handle)。官方建議將這個參數設置爲一個比文件最大更新間隔大的值默認值爲5min.
close_timeout: 5m  #harvester採集文件的生命週期，超過設定時間就關閉採集，等待scan_frequency下一次從新開始讀取文件
clean_inactive: 6h  #從註冊表中刪除先前收穫的文件的狀態 設置須要大於ignore+scan_frequency,確保在文件仍收集時不被刪除狀態
scan_frequency: 30s   #設置filebeat搜索新更新文件的頻率
 
#多行合併匹配規則，實例是根據時間爲開頭的信息爲一行
multiline.pattern: '^(.?)[0-9]{1,4}[-|:][0-9]{1,}'
multiline.negate: true
multiline.match: after   #多行內容添加到模式匹配行以後
 
#================================ Outputs =====================================
output.kafka:
  enabled: true
  hosts: ["192.168.1.145:9092"]   #kafka的ip和port
  topic: filebeat     #指定輸出到的topicname