ELK初探

EKL

核心組成

1.Elastic Search 開源分佈式搜索引擎，他的特色是分佈式、零配置、自動發現、索引自動分片，索引副本機制，restful接口，多數據源，自動搜索負載。

安裝Elastic Search   高可用，易擴展，支持集羣(cluster),分片和複製(sharding和replicas)

驗證啓動：curl -X GET http://localhost:9200

2.Logstash 徹底開源的工具，能夠用來對日誌進行收集，分析，並將期存儲供之後使用。

安裝Logstash  實時渠道能力的數據收集引擎。由三部分組成

1.shipper-發送日誌數據

2.broker-收集數據，缺省內置redis

3.indexer-數據寫入

啓動驗證： ./logstash -e 'input{stdin{}}output{stdout{codec=>rubydebug}}'

3.Kibala 能夠爲ES和Logstash提供的日誌分析友好的界面，彙總，分析和搜索重要的日誌。 能夠在Elasticsearch 的索引中查找，交互數據，並生成各類維度的表圖

vi kibana.yml  添加下面配置

elasticsearch_url: "http://192.168.1.104:9200"

瀏覽器訪問kinaba  http://39.106.48.25:5601/

四大組件

1.Logstatsh: logstash server 端用來收集日誌。

2.Elastic Search:存儲各種日誌。

3.Kibala: web化查詢和可視化接口.

4.Logstash forwarder: logstash client端用來經過lumberjack 網絡協議發送日誌到logstash server.

ELK工做流程

    在須要收集日誌的服務器上部署logstash,做爲logstash agent(shipper) 用於監控並過濾收集日誌，將過濾後的內容發送到Broker（缺省Redis），而後logstash indexer 將日誌收集到一塊兒交給全文搜索引擎Elastic Search,能夠用Elastic Search進行自定義搜索經過Kibana來結合自定義搜索進行頁面展現。