Logstash7配置

#使用分層表單來設置管道的批處理大小和批處理延遲
   pipeline:
     batch:
       size: 125        #管道批處理大小
       delay: 5             #管道批處理延遲

#若要表示與平面鍵相同的值：
   pipeline.batch.size: 125
   pipeline.batch.delay: 5


#節點名稱，在集羣中具有惟一性，默認爲logstash主機的主機名
node.name: logstast-node1

#logstash及其插件所使用的數據路徑，默認路徑爲logstash家目錄下的data目錄
path.data: /usr/local/logstash-7.0.0/data/

#管道的ID，默認爲main
pipeline.id: main

#輸入、輸出及過濾器的總工做數量，也就是logstash的工做進程，此工做進程默認爲主機的cpu核心數量
pipeline.workers: 16 

#在輸入階段，單個工做線程將從輸入中收集的最大事件數，此事件數堆內存開銷較大，內存開銷可在jvm.options中設置堆內存大小來優化此選項
pipeline.batch.size: 125

#在將一個較小的批發送到filters+output以前,輪詢下一個事件時等待的時間(以毫秒爲單位)
pipeline.batch.delay: 50

#設置爲true時，在強制關閉logstash期間，即便內存中還有事件，那麼爲true將會強制關閉，致使數據丟失；默認爲false，false在強制關閉logstash期間，將拒絕退出，直到全部在管道中的事件被安全輸出，再關閉。
pipeline.unsafe_shutdown: false

#指定管道配置的目錄，在此目錄下的全部管道配置文件都將被logstash讀取，除管道配置外，不要聽任何文件
path.config: /usr/local/logstash-7.0.0/conf.d/

#在啓動時，測試配置是否有效並退出，檢測配置文件是否正確，包括檢測管道配置文件，默認爲false
config.test_and_exit: true

#按期檢查配置是否更改並從新加載管道，默認爲false
config.reload.automatic: true

#logstash間隔多久檢查一次配置中的更改，默認爲3秒
config.reload.interval: 600s

#設置爲true時，將徹底編譯的配置顯示爲調試日誌消息
config.debug: false

#用於事件緩衝的內部排隊模型;能夠指定內存memory或者磁盤persisted，內存處理速度相對磁盤來講效率要高，默認爲內存
queue.type: memory

#啓用持久隊列時將存儲數據文件的目錄路徑,默認爲logstash路徑下的queue
path.queue: /usr/local/logstash-7.0.0/queue/

#啓用持久隊列時使用的頁面數據文件的大小(queue.type: persisted)隊列數據由分紅頁面的僅附加數據文件組成
queue.page_capacity: 64mb

#啓用持久隊列時隊列中未讀事件的最大數量(queue.type: persisted)，默認爲0，0爲無限制
queue.max_events: 0

#隊列的總容量，以字節數表示，默認爲1G，根據業務需求而定
queue.max_bytes: 1024mb

#啓用持久隊列時強制檢查點以前最大的ACK事件數量(queue.type: persisted)，設置爲0，表示無限制，默認爲1024
queue.checkpoint.acks: 1024

#啓用持久隊列時強制檢查點以前寫入事件的最大數量(queue,type: persisted)，設置爲0，表示無限制，默認爲1024
queue.checkpoint.writes: 1024

#啓用持久隊列(queue,type: persisted)，強制在頭部頁面上設置檢查點的間隔(以毫秒爲單位)，有周期性檢查點的默認值是1000毫秒
queue.checkpoint.interval: 1000

#用於指示logstast啓用插件支持DLQ功能的標誌，默認爲false
dead_letter_queue.enable: false

#每一個死信隊列的最大大小，若是條目超過此設置會增長死信隊列的大小，則會刪除條目，默認爲1024mb
dead_letter_queue.max_bytes: 1024mb

#爲死信隊列存儲數據文件的目錄路徑
path.dead_letter_queue: /usr/local/logstash-7.0.0/letter-queue

#度量標準REST端點的綁定地址，默認爲127.0.0.1
http.host: "127.0.0.1"

#度量標準REST端點的綁定端口，默認爲9600
http.port: 9600

#日誌級別，能夠設置爲如下幾種級別，默認爲info
log.level: info
           fatal
           error
           warn
           info (default)
           debug
           trace

#logstash日誌目錄位置，默認爲logstash路徑下的logs
path.logs: /usr/local/logstash-7.0.0/logs


#logstash插件路徑
path.plugins: []

 

# ------------ Other Settings --------------
#
# Where to find custom plugins
# path.plugins: []
#
# ------------ X-Pack Settings (not applicable for OSS build)--------------
#
# X-Pack Monitoring
# https://www.elastic.co/guide/en/logstash/current/monitoring-logstash.html
#xpack.monitoring.enabled: false
#xpack.monitoring.elasticsearch.username: logstash_system
#xpack.monitoring.elasticsearch.password: password
#xpack.monitoring.elasticsearch.hosts: ["https://es1:9200", "https://es2:9200"]
#xpack.monitoring.elasticsearch.ssl.certificate_authority: [ "/path/to/ca.crt" ]
#xpack.monitoring.elasticsearch.ssl.truststore.path: path/to/file
#xpack.monitoring.elasticsearch.ssl.truststore.password: password
#xpack.monitoring.elasticsearch.ssl.keystore.path: /path/to/file
#xpack.monitoring.elasticsearch.ssl.keystore.password: password
#xpack.monitoring.elasticsearch.ssl.verification_mode: certificate
#xpack.monitoring.elasticsearch.sniffing: false
#xpack.monitoring.collection.interval: 10s
#xpack.monitoring.collection.pipeline.details.enabled: true
#
# X-Pack Management
# https://www.elastic.co/guide/en/logstash/current/logstash-centralized-pipeline-management.html
#xpack.management.enabled: false
#xpack.management.pipeline.id: ["main", "apache_logs"]
#xpack.management.elasticsearch.username: logstash_admin_user
#xpack.management.elasticsearch.password: password
#xpack.management.elasticsearch.hosts: ["https://es1:9200", "https://es2:9200"]
#xpack.management.elasticsearch.ssl.certificate_authority: [ "/path/to/ca.crt" ]
#xpack.management.elasticsearch.ssl.truststore.path: /path/to/file
#xpack.management.elasticsearch.ssl.truststore.password: password
#xpack.management.elasticsearch.ssl.keystore.path: /path/to/file
#xpack.management.elasticsearch.ssl.keystore.password: password
#xpack.management.elasticsearch.ssl.verification_mode: certificate
#xpack.management.elasticsearch.sniffing: false
#xpack.management.logstash.poll_interval: 5s