使用logstash+elasticsearch+kibana快速搭建日誌平臺
日誌的分析和監控在系統開發中佔很是重要的地位，系統越複雜，日誌的分析和監控就越重要，常見的需求有:html
根據關鍵字查詢日誌詳情java
監控系統的運行情況python
統計分析，好比接口的調用次數、執行時間、成功率等ios
異常數據自動觸發消息通知git
基於日誌的數據挖掘github
不少團隊在日誌方面可能遇到的一些問題有:web
開發人員不能登陸線上服務器查看詳細日誌，通過運維週轉費時費力redis
日誌數據分散在多個系統，難以查找apache
日誌數據量大，查詢速度慢json
一個調用會涉及多個系統，難以在這些系統的日誌中快速定位數據
數據不夠實時
常見的一些重量級的開源Trace系統有
這些項目功能強大，但對於不少團隊來講過於複雜，配置和部署比較麻煩，在系統規模大到必定程度前推薦輕量級下載即用的，好比logstash+elasticsearch+kibana(LEK)組合。
對於日誌來講，最多見的需求就是收集、查詢、顯示，正對應logstash、elasticsearch、kibana的功能。
logstash部署簡單，下載一個jar就能夠用了，對日誌的處理邏輯也很簡單，就是一個pipeline的過程
inputs >> codecs >> filters >> outputs
對應的插件有
從上面能夠看到logstash支持常見的日誌類型，與其餘監控系統的整合也很方便，能夠將數據輸出到zabbix、nagios、email等。
推薦用redis做爲輸入緩衝隊列。
你還能夠把數據統計後輸出到graphite，實現統計數據的可視化顯示。
參考文檔
elasticsearch
elasticsearch是基於lucene的開源搜索引擎，近年來發展比較快，主要的特色有
real time
distributed
high availability
document oriented
schema free
restful api
elasticsearch的詳細介紹之後再寫，經常使用的一些資源以下
中文
smartcn, ES默認的中文分詞
https://github.com/elasticsearch/elasticsearch-analysis-smartcn
mmseg
https://github.com/medcl/elasticsearch-analysis-mmseg
ik
https://github.com/medcl/elasticsearch-analysis-ik
pinyin, 拼音分詞，可用於輸入拼音提示中文
https://github.com/medcl/elasticsearch-analysis-pinyin
stconvert, 中文簡繁體互換
https://github.com/medcl/elasticsearch-analysis-stconvert
經常使用插件
elasticsearch-servicewrapper，用Java Service Wrapper對elasticsearch作的一個封裝
https://github.com/elasticsearch/elasticsearch-servicewrapper
Elastic HQ，elasticsearch的監控工具
http://www.elastichq.org
elasticsearch-rtf，針對中文集成了相關插件(rtf = Ready To Fly)
https://github.com/medcl/elasticsearch-rtf
做者主頁
kibana
kibana是一個功能強大的elasticsearch數據顯示客戶端，logstash已經內置了kibana，你也能夠單獨部署kibana，最新版的kibana3是純html+js客戶端，能夠很方便的部署到Apache、Nginx等Http服務器。
kibana3的地址: https://github.com/elasticsearch/kibana
kibana2的地址: https://github.com/rashidkpc/Kibana
kibana3 demo地址: http://demo.kibana.org
從demo能夠先看一下kibana的一些基本功能
圖表
數據表格，能夠自定義哪些列顯示以及顯示順序
能夠看到實際執行的查詢語句
新加一行
新加panel，能夠看到支持的panel類型
加一個餅圖
用地圖顯示統計結果
按照http response code來統計
豐富的查詢語法
安裝部署
下面列一下一個簡易LEK體驗環境的搭建步驟
安裝jdk 1.7
oracle java主頁
省略安裝過程，推薦1.7+版本
java -version
設置java的環境變量，好比
sudo vim ~/.bashrc
>>
export JAVA_HOME=/usr/lib/jvm/java-7-oracle
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH
>>
source ~/.bashrc
安裝redis
redis主頁
cd ~/src
wget http://download.redis.io/releases/redis-2.6.16.tar.gz
tar -zxf redis-2.6.16.tar.gz
cd redis-2.6.16
make
sudo make install
能夠經過redis源代碼裏utils/install_server下的腳本簡化配置工做
cd utils
sudo ./install_server.sh
install_server.sh在問你幾個問題後會把redis安裝爲開機啓動的服務，能夠經過下面的命令行來啓動/中止服務
sudo /etc/init.d/redis_ start/end
啓動redis客戶端來驗證安裝
redis-cli
> keys *
安裝Elasticsearch
Elasticsearch主頁
cd /search
sudo mkdir elasticsearch
cd elasticsearch
sudo wget http://download.elasticsearch.org/elasticsearch/elasticsearch/elasticsearch-0.90.5.zip
sudo unzip elasticsearch-0.90.5.zip
elasticsearch解壓便可使用很是方便，接下來咱們看一下效果，首先啓動ES服務，切換到elasticsearch目錄，運行bin下的elasticsearch
cd /search/elasticsearch/elasticsearch-0.90.5
bin/elasticsearch -f
訪問默認的9200端口
curl -X GET http://localhost:9200
安裝logstash
logstash主頁
cd /search
sudo mkdir logstash
cd logstash
sudo wget http://download.elasticsearch.org/logstash/logstash/logstash-1.2.1-flatjar.jar
logstash下載便可使用，命令行參數能夠參考logstash flags，主要有
agent #運行Agent模式
-f CONFIGFILE #指定配置文件
web #自動Web服務
-p PORT #指定端口，默認9292
安裝kibana
logstash的最新版已經內置kibana，你也能夠單獨部署kibana。kibana3是純粹JavaScript+html的客戶端，因此能夠部署到任意http服務器上。
cd /search
sudo mkdir kibana
sudo wget http://download.elasticsearch.org/kibana/kibana/kibana-latest.zip
sudo unzip kibana-latest.zip
sudo cp -r kibana-latest /var/www/html
能夠修改config.js來配置elasticsearch的地址和索引。
用瀏覽器訪問試試看 http://127.0.0.1/html/kibana-latest/index.html
集成
把上面的系統集成起來
首先把redis和elasticsearch都啓動起來
爲logstash新建一個配置文件
cd /search/logstash
sudo vi redis.conf
配置文件內容以下
input {
redis {
host => "127.0.0.1"
port => "6379"
key => "logstash:demo"
data_type => "list"
codec => "json"
type => "logstash-redis-demo"
tags => ["logstashdemo"]
}
}
output {
elasticsearch {
host => "127.0.0.1"
}
}
用這個配置文件啓動logstash agent
java -jar /search/logstash/logstash-1.2.1-flatjar.jar agent -f /search/logstash/redis.conf &
啓動logstash內置的web
java -jar /search/logstash/logstash-1.2.1-flatjar.jar web &
查看web，應該尚未數據
http://127.0.0.1:9292
在redis 加一條數據
RPUSH logstash:demo "{\"time\": \"2013-01-01T01:23:55\", \"message\": \"logstash demo message\"}"
看看elasticsearch中的索引現狀
curl 127.0.0.1:9200/_search?pretty=true
curl -s http://127.0.0.1:9200/_status?pretty=true | grep logstash
再經過logstash web查詢一下看看
http://127.0.0.1:9292
經過單獨的kibana界面查看
http://127.0.0.1/html/kibana-latest/index.html#/dashboard/file/logstash.json
數據清理
logstash默認按天建立ES索引，這樣的好處是刪除歷史數據時直接刪掉整個索引就能夠了，方便快速。
elasticsearch也能夠設置每一個文檔的ttl(time to live)，至關於設置文檔的過時時間，但相比刪除整個索引要耗費更多的IO操做。
索引
elasticsearch默認會按照分隔符對字段拆分，日誌有些字段不要分詞，好比url，能夠爲這類字段設置not_analyzed屬性。
設置multi-field-type屬性能夠將字段映射到其餘類型。multi-field-type。
大量日誌導入時用bulk方式。
對於日誌查詢來講，filter比query更快 過濾器裏不會執行評分並且能夠被自動緩存。query-dsl。
elasticsearch默認一個索引操做會在全部分片都完成對文檔的索引後才返回，你能夠把複製設置爲異步來加快批量日誌的導入。
elasticsearch 優化
優化JVM
優化系統能夠打開最大文件描述符的數量
適當增長索引刷新的間隔
最佳實踐
首先你的程序要寫日誌
記錄的日誌要能幫助你分析問題，只記錄"參數錯誤"這樣的日誌對解決問題毫無幫助
不要依賴異常，異常只處理你沒考慮到的地方
要記錄一些關鍵的參數，好比發生時間、執行時間、日誌來源、輸入參數、輸出參數、錯誤碼、異常堆棧信息等
要記錄sessionid、transitionid、userid等幫你快速定位以及能把各個系統的日誌串聯起來的關鍵參數
推薦純文本+json格式
使用隊列
其餘日誌輔助工具
rsyslog
syslog-ng
graylog
fluentd
nxlog
資源：
1.ELK總體介紹（Elasticsearch + Logstash + Kibana）
(必看) Using elasticsearch, logstash & kibana to create realtime dashboards
https://speakerdeck.com/elasticsearch/using-elasticsearch-logstash-and-kibana-to-create-realtime-dashboards
Elasticsearch官方的slide
(必看) Collect & visualize your logs with Logstash, Elasticsearch & Redis
http://michael.bouvy.net/blog/en/2013/11/19/collect-visualize-your-logs-logstash-elasticsearch-redis-kibana/
對搭建ELK平臺的具體操做作了詳細介紹。
(必看)2014 SCALE12X-Introduction to Elasticsearch, Logstash and Kibana
https://speakerdeck.com/elasticsearch/scale-12x-introduction-to-elasticsearch-logstash-and-kibana
Elasticsearch的說明佔50%,logstash的說明佔40%,Kibana的說明佔10%
使用logstash+elasticsearch+kibana快速搭建日誌平臺
http://www.cnblogs.com/buzzlight/p/logstash_elasticsearch_kibana_log.html
Kibana+Logstash+Elasticsearch 日誌查詢系統
http://enable.blog.51cto.com/747951/1049411
Log Analytics Using Elasticsearch-Logstash-Kibana(Part 1)
http://blog.nugrahais.me/blog/2013/12/23/log-analytics-using-elasticsearch-logstash-kibana-part-1/
Using ElasticSearch and Logstash to Serve Billions of Searchable Events for Customers
http://www.elasticsearch.org/blog/using-elasticsearch-and-logstash-to-serve-billions-of-searchable-events-for-customers/
使用ELK的一個介紹
一個很簡潔，很簡潔的ELK介紹 (2014年9月16日更新)
http://slides.com/garyelephant/elk-intro#/
2.logstash介紹
(必看) Logstash -Nicolas Szalay
http://slides.com/aurelienrougemont/logstash/
(必看) Getting started with Logstash - New to Logstash? Start here!
http://logstash.net/docs/1.4.0/tutorials/getting-started-with-logstash
(必看) Logstash-Jordan Sissel
http://semicomplete.com/presentations/logstash-scale11x/#/
Logstash and friends
http://www.slideshare.net/roidelapluie/logstash-and-friends?qid=0c61ce8f-1a87-4678-a9c7-61a18ae74993&v=default&b=&from_search=11
Logstash
http://www.slideshare.net/startit/logstash-29012201?qid=0c61ce8f-1a87-4678-a9c7-61a18ae74993&v=default&b=&from_search=7
page 11 to page 32：直觀的羅列了一些input,filter,output,講解了一下grok pattern
Starting out with grok in Logstash
http://antonlindstrom.com/2012/09/24/starting-out-with-grok-in-logstash.html
介紹Logstash Grok Filter
(重要) Logstash1.4.0 Grok Filter Docs
http://logstash.net/docs/1.4.0/filters/grok
(重要) Logstash1.4.0 Grok Filter 的 Predefined Patterns
https://github.com/elasticsearch/logstash/tree/v1.4.0/patterns
如BASE10NUM的Predefined Pattern是 (?<![0-9.+-])(?>[+-]?(?:(?:[0-9]+(?:\.[0-9]+)?)|(?:\.[0-9]+)))
(重要) http://grokdebug.herokuapp.com/
能夠用來學習和測試Grok匹配的一個網站
3.Elasticsearch介紹
(必看) Elasticsearch :Search made easy for (web) developers
http://spinscale.github.io/elasticsearch/2012-03-jugm.html#/
(必看) Getting Down and dirty with Elasticsearch
http://www.slideshare.net/clintongormley/down-and-dirty-with-elasticsearch
200pages+的slide,對Elasticsearch的Rest API介紹的比較多
(必看) Elasticsearch :Pluggable architecture under the hood
http://spinscale.github.io/elasticsearch-intro-plugins/#/
(必看) An interactive coder oriented Elasticsearch tutorial [此條目更新於2014-10-10]
https://github.com/s1monw/hammertime
做者是Elasticsearch的一個主要開發者。純代碼形式的tutorial，簡單過了一下Es的主要功能，能夠下載下來執行一下。
(必看) Exploring Elasticsearch
http://exploringelasticsearch.com/
系統的介紹了Elasticsearch, 固然這本書「Elasticsearch Server」比它更全面、細節更多
(重要) Terms of endearment - the ElasticSearch Query DSL explained
http://www.slideshare.net/clintongormley/terms-of-endearment-the-elasticsearch-query-dsl-explained
Apache Lucene - Query Parser Syntax
(1) http://www.elasticsearch.org/guide/en/elasticsearch/reference/current/query-dsl-query-string-query.html#query-string-syntax
(2) http://lucene.apache.org/core/4_6_0/queryparser/org/apache/lucene/queryparser/classic/package-summary.html#Overview
Lucene的Query語法格式
Learning Elasticsearch
http://slides.com/garyelephant/learning-elasticsearch
推薦一下我製做的slide, 參考了不少資料集百家之所長、有針對性作的，從各方面介紹Elasticsearch, 內容不斷更新中。
(重要) Elasticsearch References: Glossary of terms
http://www.elasticsearch.org/guide/en/elasticsearch/reference/current/glossary.html#glossary
Elasticsearch的一些核心概念
(重要) What is an ElasticSearch Index?
http://euphonious-intuition.com/2013/02/what-is-an-elasticsearch-index/
詳細介紹Index
(重要) An introduction to mapping in elasticsearch
http://euphonious-intuition.com/2012/07/an-introduction-to-mapping-in-elasticsearch/
inquisitor
https://github.com/polyfractal/elasticsearch-inquisitor
這個elasticsearch site pluging 能夠幫助你測試和理解Query, 如測試一句話使用各類analyzer分詞的結果。
Elasticsearch Facets
http://www.elasticsearch.org/guide/en/elasticsearch/reference/current/search-facets.html
Elasticsearch Aggregations Overview
http://chrissimpson.co.uk/elasticsearch-aggregations-overview.html
Elastic Search Training#1 (brief tutorial)-ESCC#1
http://www.slideshare.net/medcl/elastic-search-training1-brief-tutorial
Lucene Scoring and elasticsearch’s _all Field
http://jontai.me/blog/2012/10/lucene-scoring-and-elasticsearch-_all-field/
Elasticsearch 數據的score計算
Advanced Scoring in elasticsearch
http://jontai.me/blog/2013/01/advanced-scoring-in-elasticsearch/
Elasticsearch 數據的score計算
4.Elasticsearch優化
elasticsearch configuration
http://www.elasticsearch.org/guide/en/elasticsearch/reference/current/setup-configuration.html#setup-configuration-memory
elasticsearch configuration and performance tuning.html
http://weiweiwang.github.io/elasticsearch-configuration-and-performance-tuning.html
ElasticSearch Training#2 (advanced concepts)-ESCC#1
http://www.slideshare.net/medcl/elastic-search-training2-advanced-concepts
Elasticsearch的性能優化，查詢優化等技巧
Elasticsearch Java Virtual Machine settings explained
http://jprante.github.io/2012/11/28/Elasticsearch-Java-Virtual-Machine-settings-explained.html
ElasticSearch and Logstash Tuning
http://jablonskis.org/2013/elasticsearch-and-logstash-tuning/
Elasticsearch Plugin: Marvel
http://www.elasticsearch.org/overview/marvel/
Elasticsearch.org發佈的Elasticsearch集羣監控工具
Elasticsearch Plugin: Head
https://github.com/mobz/elasticsearch-head
Elasticsearch Plugin: Bigdesk - Live charts and statistics for elasticsearch cluster.
http://bigdesk.org/
Elasticsearch Plugin: Paramedic
https://github.com/karmi/elasticsearch-paramedic
Scaling Massive Elasticsearch Clusters
http://www.slideshare.net/sematext/scaling-massive-elasticsearch-clusters
Elasticsearch集羣
5.Kibana介紹
(必看) 10 Minute Walk Through Kibana
http://www.elasticsearch.org/guide/en/kibana/current/using-kibana-for-the-first-time.html
Elasticsearch.org官方的Guide, 最近剛發佈的。
Kibana Overview
http://www.elasticsearch.org/overview/kibana/
What’s Cooking in Kibana
http://www.elasticsearch.org/blog/whats-cooking-kibana/
Kibana 3: Milestone 4
http://www.elasticsearch.org/blog/kibana-3-milestone-4/
Kibana3.m4的新功能特性
Kibana入門-Yusuke Mito
https://speakerdeck.com/y310/kibanaru-men?slide=23
page23 ~ page37 裏面有各類panel的截圖
6.Elasticsearch的實際應用(updated in 2014-05-05)
Building a Recipe Search Site with Angular and Elasticsearch
http://www.sitepoint.com/building-recipe-search-site-angular-elasticsearch/
一個使用Angular和Elasticsearch搭建，食譜搜索應用的簡單例子
7.最根本最重要的Resources
(1) Elasticsearch團隊博客，每週更新
http://www.elasticsearch.org/blog
(2) Elasticsearch最新版本的API References
http://www.elasticsearch.org/guide/en/elasticsearch/reference/current/index.html
(3) logstash 1.4.0 的documents
http://logstash.net/docs/1.4.0/
(4) Kibana最新版本的documents
http://www.elasticsearch.org/guide/en/kibana/current/index.html
7.推薦2本書籍
"Elasticsearch Server"
推薦初學者看此書，至少應看完Chapter1,Chapter2, 並且目錄能夠幫助你規劃學習路線。
"Mastering Elasticsearch"
本文整理的是2014年4月15日之前的學習資源，若是之後發現更優質資源，將隨時更新，也歡迎讀者提供資源，請私信或評論。
轉載本文請註明做者和出處[Gary的影響力]http://garyelephant.me，請勿用於任何商業用途！
Author: Gary Gao( garygaowork[at]gmail.com) 關注互聯網、分佈式、高性能、NoSQL、自動化、軟件團隊
相關文章
- 1. ELK快速搭建日誌平臺
- 2. 使用logstash+elasticsearch+kibana快速搭建日誌平臺
- 3. 【轉載】使用logstash+elasticsearch+kibana快速搭建日誌平臺
- 4. CentOS7使用Elasticsearch+ Logstash+kibana快速搭建日誌分析平臺
- 5. Log4net快速配置使用指南。（快速搭建log4net日誌平臺手冊）
- 6. 搭建 ELK 日誌平臺
- 7. ELK日誌平臺搭建
- 8. logstash+elasticsearch+kibana快速搭建日誌平臺
- 9. 結合Docker快速搭建ELK日誌收集分析平臺
- 10. 快速搭建ELK集中化日誌管理平臺
- 更多相關文章...
- • ionic 平臺 - ionic 教程
- • SQL 快速參考 - SQL 教程
- • 使用阿里雲OSS+CDN部署前端頁面與加速靜態資源
- • Composer 安裝與使用
相關標籤/搜索
每日一句
-
每一个你不满意的现在，都有一个你没有努力的曾经。
最新文章
- 1. Duang!超快Wi-Fi來襲
- 2. 機器學習-補充03 神經網絡之**函數(Activation Function)
- 3. git上開源maven項目部署 多module maven項目（多module maven+redis+tomcat+mysql）後臺部署流程學習記錄
- 4. ecliple-tomcat部署maven項目方式之一
- 5. eclipse新導入的項目經常可以看到「XX cannot be resolved to a type」的報錯信息
- 6. Spark RDD的依賴於DAG的工作原理
- 7. VMware安裝CentOS-8教程詳解
- 8. YDOOK：Java 項目 Spring 項目導入基本四大 jar 包 導入依賴，怎樣在 IDEA 的項目結構中導入 jar 包 導入依賴
- 9. 簡單方法使得putty（windows10上）可以免密登錄樹莓派
- 10. idea怎麼用本地maven
歡迎關注本站公眾號,獲取更多信息
相關文章
- 1. ELK快速搭建日誌平臺
- 2. 使用logstash+elasticsearch+kibana快速搭建日誌平臺
- 3. 【轉載】使用logstash+elasticsearch+kibana快速搭建日誌平臺
- 4. CentOS7使用Elasticsearch+ Logstash+kibana快速搭建日誌分析平臺
- 5. Log4net快速配置使用指南。（快速搭建log4net日誌平臺手冊）
- 6. 搭建 ELK 日誌平臺
- 7. ELK日誌平臺搭建
- 8. logstash+elasticsearch+kibana快速搭建日誌平臺
- 9. 結合Docker快速搭建ELK日誌收集分析平臺
- 10. 快速搭建ELK集中化日誌管理平臺