使用logstash+elasticsearch+kibana快速搭建日誌平臺

https://www.loggly.com/

日誌的分析和監控在系統開發中佔很是重要的地位，系統越複雜，日誌的分析和監控就越重要，常見的需求有:

• 根據關鍵字查詢日誌詳情
• 監控系統的運行情況
• 統計分析，好比接口的調用次數、執行時間、成功率等
• 異常數據自動觸發消息通知
• 基於日誌的數據挖掘

不少團隊在日誌方面可能遇到的一些問題有:

• 開發人員不能登陸線上服務器查看詳細日誌，通過運維週轉費時費力
• 日誌數據分散在多個系統，難以查找
• 日誌數據量大，查詢速度慢
• 一個調用會涉及多個系統，難以在這些系統的日誌中快速定位數據
• 數據不夠實時

常見的一些重量級的開源Trace系統有

• facebook scribe
• cloudera flume
• twitter zipkin
• storm

這些項目功能強大，但對於不少團隊來講過於複雜，配置和部署比較麻煩，在系統規模大到必定程度前推薦輕量級下載即用的方案，好比logstash+elasticsearch+kibana(LEK)組合。

對於日誌來講，最多見的需求就是收集、查詢、顯示，正對應logstash、elasticsearch、kibana的功能。

logstash

logstash主頁

logstash部署簡單，下載一個jar就能夠用了，對日誌的處理邏輯也很簡單，就是一個pipeline的過程

inputs >> codecs >> filters >> outputs

對應的插件有

從上面能夠看到logstash支持常見的日誌類型，與其餘監控系統的整合也很方便，能夠將數據輸出到zabbix、nagios、email等。

推薦用redis做爲輸入緩衝隊列。

你還能夠把數據統計後輸出到graphite，實現統計數據的可視化顯示。

metrics demo 
statsd 
graphite

參考文檔

• cookbook
• doc
• demo

elasticsearch

elasticsearch主頁

elasticsearch是基於lucene的開源搜索引擎，近年來發展比較快，主要的特色有

• real time
• distributed
• high availability
• document oriented
• schema free
• restful api

elasticsearch的詳細介紹之後再寫，經常使用的一些資源以下

中文

smartcn, ES默認的中文分詞 
https://github.com/elasticsearch/elasticsearch-analysis-smartcn

mmseg 
https://github.com/medcl/elasticsearch-analysis-mmseg

ik 
https://github.com/medcl/elasticsearch-analysis-ik

pinyin, 拼音分詞，可用於輸入拼音提示中文 
https://github.com/medcl/elasticsearch-analysis-pinyin

stconvert, 中文簡繁體互換 
https://github.com/medcl/elasticsearch-analysis-stconvert

經常使用插件

elasticsearch-servicewrapper，用Java Service Wrapper對elasticsearch作的一個封裝 
https://github.com/elasticsearch/elasticsearch-servicewrapper

Elastic HQ，elasticsearch的監控工具 
http://www.elastichq.org

elasticsearch-rtf，針對中文集成了相關插件(rtf = Ready To Fly) 
https://github.com/medcl/elasticsearch-rtf 
做者主頁

kibana

kibana主頁

kibana是一個功能強大的elasticsearch數據顯示客戶端，logstash已經內置了kibana，你也能夠單獨部署kibana，最新版的kibana3是純html+js客戶端，能夠很方便的部署到Apache、Nginx等Http服務器。

kibana3的地址: https://github.com/elasticsearch/kibana 
kibana2的地址: https://github.com/rashidkpc/Kibana 
kibana3 demo地址: http://demo.kibana.org

從demo能夠先看一下kibana的一些基本功能

圖表

數據表格，能夠自定義哪些列顯示以及顯示順序

能夠看到實際執行的查詢語句

新加一行

新加panel，能夠看到支持的panel類型

加一個餅圖

用地圖顯示統計結果

按照http response code來統計

豐富的查詢語法

安裝部署

下面列一下一個簡易LEK體驗環境的搭建步驟

安裝jdk 1.7

oracle java主頁

省略安裝過程，推薦1.7+版本

java -version

設置java的環境變量，好比

sudo vim ~/.bashrc

>>
export JAVA_HOME=/usr/lib/jvm/java-7-oracle
export JRE_HOME=${JAVA_HOME}/jre  
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib  
export PATH=${JAVA_HOME}/bin:$PATH  
>>

source ~/.bashrc

安裝redis

redis主頁

cd ~/src
wget http://download.redis.io/releases/redis-2.6.16.tar.gz
tar -zxf redis-2.6.16.tar.gz
cd redis-2.6.16
make
sudo make install

能夠經過redis源代碼裏utils/install_server下的腳本簡化配置工做

cd utils
sudo ./install_server.sh

install_server.sh在問你幾個問題後會把redis安裝爲開機啓動的服務，能夠經過下面的命令行來啓動/中止服務

sudo /etc/init.d/redis_ start/end

啓動redis客戶端來驗證安裝

redis-cli
> keys *

安裝Elasticsearch

Elasticsearch主頁

cd /search
sudo mkdir elasticsearch
cd elasticsearch
sudo wget http://download.elasticsearch.org/elasticsearch/elasticsearch/elasticsearch-0.90.5.zip
sudo unzip elasticsearch-0.90.5.zip

elasticsearch解壓便可使用很是方便，接下來咱們看一下效果，首先啓動ES服務，切換到elasticsearch目錄，運行bin下的elasticsearch

cd /search/elasticsearch/elasticsearch-0.90.5 
bin/elasticsearch -f

訪問默認的9200端口

curl -X GET http://localhost:9200

安裝logstash

logstash主頁

cd /search
sudo mkdir logstash
cd logstash
sudo wget http://download.elasticsearch.org/logstash/logstash/logstash-1.2.1-flatjar.jar

logstash下載便可使用，命令行參數能夠參考logstash flags，主要有

agent   #運行Agent模式
-f CONFIGFILE #指定配置文件

web     #自動Web服務
-p PORT #指定端口，默認9292

安裝kibana

logstash的最新版已經內置kibana，你也能夠單獨部署kibana。kibana3是純粹JavaScript+html的客戶端，因此能夠部署到任意http服務器上。

cd /search
sudo mkdir kibana
sudo wget http://download.elasticsearch.org/kibana/kibana/kibana-latest.zip
sudo unzip kibana-latest.zip
sudo cp -r  kibana-latest /var/www/html

能夠修改config.js來配置elasticsearch的地址和索引。

用瀏覽器訪問試試看 http://127.0.0.1/html/kibana-latest/index.html

集成

把上面的系統集成起來

首先把redis和elasticsearch都啓動起來

爲logstash新建一個配置文件

cd /search/logstash
sudo vi redis.conf

配置文件內容以下

input {
  redis {
    host => "127.0.0.1"
    port => "6379" 
    key => "logstash:demo"
    data_type => "list"
    codec  => "json"
    type => "logstash-redis-demo"
    tags => ["logstashdemo"]
  }
}

output {
  elasticsearch {
    host => "127.0.0.1"
  }

}

用這個配置文件啓動logstash agent

java -jar /search/logstash/logstash-1.2.1-flatjar.jar agent -f /search/logstash/redis.conf &

啓動logstash內置的web

java -jar /search/logstash/logstash-1.2.1-flatjar.jar web &

查看web，應該尚未數據

http://127.0.0.1:9292

在redis 加一條數據

RPUSH logstash:demo "{\"time\": \"2013-01-01T01:23:55\", \"message\": \"logstash demo message\"}"

看看elasticsearch中的索引現狀

curl 127.0.0.1:9200/_search?pretty=true 

curl -s http://127.0.0.1:9200/_status?pretty=true | grep logstash

再經過logstash web查詢一下看看

http://127.0.0.1:9292

經過單獨的kibana界面查看

http://127.0.0.1/html/kibana-latest/index.html#/dashboard/file/logstash.json

數據清理

logstash默認按天建立ES索引，這樣的好處是刪除歷史數據時直接刪掉整個索引就能夠了，方便快速。

elasticsearch也能夠設置每一個文檔的ttl(time to live)，至關於設置文檔的過時時間，但相比刪除整個索引要耗費更多的IO操做。

索引

elasticsearch默認會按照分隔符對字段拆分，日誌有些字段不要分詞，好比url，能夠爲這類字段設置not_analyzed屬性。

設置multi-field-type屬性能夠將字段映射到其餘類型。multi-field-type。

大量日誌導入時用bulk方式。

對於日誌查詢來講，filter比query更快 過濾器裏不會執行評分並且能夠被自動緩存。query-dsl。

elasticsearch默認一個索引操做會在全部分片都完成對文檔的索引後才返回，你能夠把複製設置爲異步來加快批量日誌的導入。

elasticsearch 優化

優化JVM 
優化系統能夠打開最大文件描述符的數量 
適當增長索引刷新的間隔

最佳實踐

• 首先你的程序要寫日誌
• 記錄的日誌要能幫助你分析問題，只記錄"參數錯誤"這樣的日誌對解決問題毫無幫助
• 不要依賴異常，異常只處理你沒考慮到的地方
• 要記錄一些關鍵的參數，好比發生時間、執行時間、日誌來源、輸入參數、輸出參數、錯誤碼、異常堆棧信息等
• 要記錄sessionid、transitionid、userid等幫你快速定位以及能把各個系統的日誌串聯起來的關鍵參數
• 推薦純文本+json格式
• 使用隊列

其餘日誌輔助工具

• rsyslog
• syslog-ng
• graylog
• fluentd
• nxlog