ELK日誌

前提：處理大數據日誌收集分析，隨着搜索集羣的快速膨脹，大量日誌處理及狀況反饋滯後帶來一系列問題，亟需一個工具能快速分析定位集羣中那種日誌或那個機器出現了異常。運維的日誌分析系統定製化較重，分析不夠實時。故找一個RTF工具能夠直接即上手。

一、簡介：

logstash日誌收集分發到elastic集羣，elasticsearch進行數據索引，kibana進行結構化查詢展現，redis作緩存隊列。

二、安裝：

logstash，新版下載便可用，需加配置文件agent.conf和index.conf，固然最好途徑是官網sample即得即用。

網址：http://logstash.net/

elasticsearch，下載新版，有個wrapping下載解壓到bin/servic目錄便可使用，中文版須要下載rtf版本或安裝插件。

網址：附上高人git://github.com/medcl/elasticsearch-rtf.git 的集成版，or官網

kibana，查詢結果圖形展現分析

Visit Elasticsearch.org for the full Kibana documentation.無須多說，這句就夠了。

三、配置：

logstash，經過agent方式收集到中心服務，並經過index doc方式發送數據給elasticsearch，故能夠配置多個一對一日誌收集或多c到s的日誌收集模式，即客戶端到服務端收集模式

Logstash + Elasticsearch + Kibana+Redis+Syslog-ng

ElasticSearch是一個基於Lucene構建的開源，分佈式，RESTful搜索引擎。設計用於雲計算中，可以達到實時搜索，穩定，可靠，快速，安裝使用方便。支持經過HTTP使用JSON進行數據索引。

logstash是一個應用程序日誌、事件的傳輸、處理、管理和搜索的平臺。你能夠用它來統一對應用程序日誌進行收集管理，提供 Web 接口用於查詢和統計。其實logstash是能夠被別的替換，好比常見的fluented

Kibana是一個爲 Logstash 和 ElasticSearch 提供的日誌分析的 Web 接口。可以使用它對日誌進行高效的搜索、可視化、分析等各類操做。

Redis是一個高性能的內存key-value數據庫,非必需安裝,能夠防止數據丟失.

http://my.oschina.net/HeAlvin/blog/378257