Logstash和Flume-NG Syslog接收小測試

目前在大規模日誌處理平臺中常見的日誌採集器能夠採用Logstash或Flume。這兩種日誌採集器架構設計理念基本類似，都採用採集-過濾處理-輸出的方式。下面對這兩種採集器Syslog接收性能作個簡單測試，供你們參考。

•  測試過程

基本測試過程是使用2臺機器，1臺負責發送Syslog數據包，一臺採集器。

在採集器上分別安裝ELK套件和Apache Flume 1.8.0軟件。

Logstash採集配置以下：

input {

  udp {

   host => "0.0.0.0"

   port => "514"

   type => "syslog"

   codec => plain { charset => "UTF-8" }

  }

}

output {

  elasticsearch { 

      hosts => ["10.0.190.109:9200"] 

      document_type => "syslog"

  }

}

Flume-NG採集配置以下：

a1.sources = r1

a1.sinks = k1

a1.channels = c1

 

# Describe/configure the source

a1.sources.r1.type = syslogudp

a1.sources.r1.port = 5140

a1.sources.r1.host = 10.0.190.109

a1.sources.r1.channels = c1

 

# Describe the sink

a1.sinks.k1.type = file_roll

a1.sinks.k1.channel = c1

a1.sinks.k1.sink.directory = /opt/flumelog

 

 

# Use a channel which buffers events in memory

a1.channels.c1.type = memory

a1.channels.c1.capacity = 1000

a1.channels.c1.transactionCapacity = 100

 

# Bind the source and sink to the channel

a1.sources.r1.channels = c1

a1.sinks.k1.channel = c1

 

重點來了，從測試機連續發送Syslog數據包，連續發送1000次，屢次驗證測試結果能夠發現：

ELK中能夠基本接收到1000條。

Flume能夠接收到並寫入本地文件200到350條之間。上述二者差異主要在於Logstash接收並寫入ES中，Flume接收並寫入本地文件（寫入ES太麻煩，Flume的ES Sink模塊不兼容最新的ES版本）。

可是把配置中a1.sources.r1.type = syslogudp改爲a1.sources.r1.type = syslogtcp，在測試機發送tcp格式的syslog數據包基本能夠收到1000條。

以上只是個小小的測試，供你們參考。