Logstash配置

Logstash配置

通常logstash更經常使用於ELK日誌監控系統，做爲數據管道

Logstash：接收，處理，轉發日誌

Elasticsearch：文檔型數據庫，實時的分佈式搜索和分析引擎

Kibana：查詢、生成報表的web GUI

Logstash 有兩個必要元素：input 和 output ，一個可選元素：filter。

input：採集數據，指定數據來源。能夠是文件路徑，也能夠是kafka的某個topic、redis。

filter：篩選、處理數據，剔除多餘的數據，生成想要的索引。

output：將數據傳輸到目的地，能夠是具體文件路徑，也能夠是kafka、redis。

配置

在安裝目錄bin文件夾裏新建一個logstash.conf，用來配置上述所說的輸出輸出等，將會覆蓋logstash.yml默認設置。
通常配置以下：

# 輸入輸入
input { stdin {} }
# 數據處理
filter {
    grok {
        match => ["message",  "%{COMBINEDAPACHELOG}"]
    }
}
# 數據輸出
output { stdout { codec => rubydebug } }

配置文件語法相似Ruby

filter

filter中的配置,基本格式以下，plugin都是官方提供的，針對文本作處理，好比正則表達式啊（grok），按固定的格式作切分（kv）等等。選擇正確的plugin能夠更快速的幫助你解析日誌

filter {
    plugin {
        XX => "YY"
    }

    if expression {
        plugin {
             XX => "YY"
        }
    } else if expression {
        plugin {
            XX => "YY"
        }
    } else {
        plugin {
            XX => "YY"
        }
    }

    plugin {
        XX => "YY"
    }
}

關於插件

一、grok：正則表達式插件，功能強大，有許多內置的pattern

以何種規則從字符串中提取出結構化的信息，grok是logstash裏的一款插件，能夠使用正則表達式匹配日誌，上文中的%{COMBINEDAPACHELOG}是內置的正則，用來匹配apache access日誌
默認正則：

# Log formats
SYSLOGBASE %{SYSLOGTIMESTAMP:timestamp} (?:%{SYSLOGFACILITY} )?%{SYSLOGHOST:logsource} %{SYSLOGPROG}:
COMMONAPACHELOG %{IPORHOST:clientip} %{USER:ident} %{USER:auth} \[%{HTTPDATE:timestamp}\] "(?:%{WORD:verb} %{NOTSPACE:request}(?: HTTP/%{NUMBER:httpversion})?|%{DATA:rawrequest})" %{NUMBER:response} (?:%{NUMBER:bytes}|-)
COMBINEDAPACHELOG %{COMMONAPACHELOG} %{QS:referrer} %{QS:agent}

# Log Levels
LOGLEVEL ([A-a]lert|ALERT|[T|t]race|TRACE|[D|d]ebug|DEBUG|[N|n]otice|NOTICE|[I|i]nfo|INFO|[W|w]arn?(?:ing)?|WARN?(?:ING)?|[E|e]rr?(?:or)?|ERR?(?:OR)?|[C|c]rit?(?:ical)?|CRIT?(?:ICAL)?|[F|f]atal|FATAL|[S|s]evere|SEVERE|EMERG(?:ENCY)?|[Ee]merg(?:ency)?)

二、mutate：字段的CRUD操做，好比替換內容，截取等等

mutate {
    split=>{"error_request_info"=>",fromuid"}
    add_field=>{"error_uri"=>"%{error_request_info[0]}"}
    remove_field=>["error_request_info"]
}

三、kv：key-value插件，很是適合URL參數解析一類的具備固定分隔符的日誌

#好比解析URL的querystring： a=1&b=2&c=3

filter {
    kv {
        field_split => "&"
    }
}

四、json：將json字符串直接轉換成對應的key-value

#好比日誌爲：xxxxxxxxx:xxxxxx&result={"data":"1"}:xxxxxx
filter {
    json {
        #假設數據經過grok預處理，將result內容捕獲
        source => "result"
    }
}

#經過json encode後
{
  "data": "1"
}

五、drop：直接丟掉本行日誌，過濾不符合要求的日誌

if "/app/log/logfront" in [content] {
        # 特定的處理
        drop {}  
}

output

配置保存解析結果

• elasticsearch：將事件數據發送給 Elasticsearch（推薦模式）。
• file：將事件數據寫入文件或磁盤。
• statsd：將事件數據發送到 statsd （這是一種偵聽統計數據的服務，如計數器和定時器，經過UDP發送並將聚合發送到一個或多個可插入的後端服務）