filebeat.prospectors: - input_type: log paths: - /tmp/fblog/* #指定採集文件的路徑,可多級匹配 fields: #爲採集的信息中添加字段 topicName: TEST2 hostIP: 192.168.100.130 Line_breaker: \n #指定換行符 fields_under_root: true encoding: gbk #設置信息的編碼格式 clean_removed: true #當文件在磁盤中找不到時,清理註冊表中的文件信息 close_removed: true #當文件被刪除時,filebeat關閉文件的讀取處理和clearn_remove一塊兒使用 ignore_older: 25h #超過該時間以前更新的文件filebeta不採集,默認關閉 close_inactive: 1m #當harvester讀取文件最後一行後,在該時間內文件內容沒有變化就關閉文件句柄(file handle)。官方建議將這個參數設置爲一個比文件最大更新間隔大的值默認值爲5min. close_timeout: 5m #harvester採集文件的生命週期,超過設定時間就關閉採集,等待scan_frequency下一次從新開始讀取文件 clean_inactive: 6h #從註冊表中刪除先前收穫的文件的狀態 設置須要大於ignore+scan_frequency,確保在文件仍收集時不被刪除狀態 scan_frequency: 30s #設置filebeat搜索新更新文件的頻率 #多行合併匹配規則,實例是根據時間爲開頭的信息爲一行 multiline.pattern: '^(.?)[0-9]{1,4}[-|:][0-9]{1,}' multiline.negate: true multiline.match: after #多行內容添加到模式匹配行以後 #================================ Outputs ===================================== output.kafka: enabled: true hosts: ["192.168.1.145:9092"] #kafka的ip和port topic: filebeat #指定輸出到的topicname