ELK介紹

1、ELK介紹

1.1 elasticsearch

1.1.1 elasticsearch介紹

ElasticSearch是一個基於Lucene的搜索服務器。它提供了一個分佈式多用戶能力的全文搜索引擎，基於RESTful web接口。Elasticsearch是用Java開發的，並做爲Apache許可條款下的開放源碼發佈，是第二流行的企業搜索引擎。設計用於雲計算中，可以達到實時搜索，穩定，可靠，快速，安裝使用方便。

1.1.2 elasticsearch幾個重要術語

• NRT
  elasticsearch是一個近似實時的搜索平臺，從索引文檔到可搜索有些延遲，一般爲1秒。
• 集羣
  集羣就是一個或多個節點存儲數據，其中一個節點爲主節點，這個主節點是能夠經過選舉產生的，並提供跨節點的聯合索引和搜索的功能。集羣有一個惟一性標示的名字，默認是elasticsearch，集羣名字很重要，每一個節點是基於集羣名字加入到其集羣中的。所以，確保在不一樣環境中使用不一樣的集羣名字。一個集羣能夠只有一個節點。強烈建議在配置elasticsearch時，配置成集羣模式。
• 節點
  節點就是一臺單一的服務器，是集羣的一部分，存儲數據並參與集羣的索引和搜索功能。像集羣同樣，節點也是經過名字來標識，默認是在節點啓動時隨機分配的字符名。固然啦，你能夠本身定義。該名字也蠻重要的，在集羣中用於識別服務器對應的節點。
  節點能夠經過指定集羣名字來加入到集羣中。默認狀況下，每一個節點被設置成加入到elasticsearch集羣。若是啓動了多個節點，假設能自動發現對方，他們將會自動組建一個名爲elasticsearch的集羣。
• 索引
  索引是有幾分類似屬性的一系列文檔的集合。如nginx日誌索引、syslog索引等等。索引是由名字標識，名字必須所有小寫。這個名字用來進行索引、搜索、更新和刪除文檔的操做。
  索引相對於關係型數據庫的庫。
• 類型
  在一個索引中，能夠定義一個或多個類型。類型是一個邏輯類別仍是分區徹底取決於你。一般狀況下，一個類型被定於成具備一組共同字段的文檔。如ttlsa運維生成時間全部的數據存入在一個單一的名爲logstash-ttlsa的索引中，同時，定義了用戶數據類型，帖子數據類型和評論類型。
  類型相對於關係型數據庫的表。
• 文檔
  文檔是信息的基本單元，能夠被索引的。文檔是以JSON格式表現的。
  在類型中，能夠根據需求存儲多個文檔。
  雖然一個文檔在物理上位於一個索引，實際上一個文檔必須在一個索引內被索引和分配一個類型。
  文檔相對於關係型數據庫的列。
• 分片和副本
  在實際狀況下，索引存儲的數據可能超過單個節點的硬件限制。如一個十億文檔需1TB空間可能不適合存儲在單個節點的磁盤上，或者從單個節點搜索請求太慢了。爲了解決這個問題，elasticsearch提供將索引分紅多個分片的功能。當在建立索引時，能夠定義想要分片的數量。每個分片就是一個全功能的獨立的索引，能夠位於集羣中任何節點上。
  分片的兩個最主要緣由：
  a、水平分割擴展，增大存儲量
  b、分佈式並行跨分片操做，提升性能和吞吐量
  分佈式分片的機制和搜索請求的文檔如何彙總徹底是有elasticsearch控制的，這些對用戶而言是透明的。
  網絡問題等等其它問題能夠在任什麼時候候不期而至，爲了健壯性，強烈建議要有一個故障切換機制，不管何種故障以防止分片或者節點不可用。
  爲此，elasticsearch讓咱們將索引分片複製一份或多份，稱之爲分片副本或副本。
  副本也有兩個最主要緣由：
  高可用性，以應對分片或者節點故障。出於這個緣由，分片副本要在不一樣的節點上。
  提供性能，增大吞吐量，搜索能夠並行在全部副本上執行。
      總之，每個索引能夠被分紅多個分片。索引也能夠有0個或多個副本。複製後，每一個索引都有主分片(母分片)和複製分片(複製於母分片)。分片和副本數量能夠在每一個索引被建立時定義。索引建立後，能夠在任什麼時候候動態的更改副本數量，可是，不能改變分片數。
      默認狀況下，elasticsearch爲每一個索引分片5個主分片和1個副本，這就意味着集羣至少須要2個節點。索引將會有5個主分片和5個副本(1個完整副本)，每一個索引總共有10個分片。
  每一個elasticsearch分片是一個Lucene索引。一個單個Lucene索引有最大的文檔數LUCENE-5843, 文檔數限制爲2147483519(MAX_VALUE – 128)。 可經過_cat/shards來監控分片大小。

1.2 logstash

1.2.1 logstash 介紹

  LogStash由JRuby語言編寫，基於消息（message-based）的簡單架構，並運行在Java虛擬機（JVM）上。不一樣於分離的代理端（agent）或主機端（server），LogStash可配置單一的代理端（agent）與其它開源軟件結合，以實現不一樣的功能。

1.2.2 logStash的四大組件

• Shipper：發送事件（events）至LogStash；一般，遠程代理端（agent）只須要運行這個組件便可；
• Broker and Indexer：接收並索引化事件；
• Search and Storage：容許對事件進行搜索和存儲；
• Web Interface：基於Web的展現界面
  正是因爲以上組件在LogStash架構中可獨立部署，才提供了更好的集羣擴展性。

1.2.2 LogStash主機分類

• 代理主機（agent host）：做爲事件的傳遞者（shipper），將各類日誌數據發送至中心主機；只需運行Logstash 代理（agent）程序；
• 中心主機（central host）：可運行包括中間轉發器（Broker）、索引器（Indexer）、搜索和存儲器（Search and Storage）、Web界面端（Web Interface）在內的各個組件，以實現對日誌數據的接收、處理和存儲。

1.3 kibana

Logstash是一個徹底開源的工具，他能夠對你的日誌進行收集、分析，並將其存儲供之後使用（如，搜索），您可使用它。說到搜索，logstash帶有一個web界面，搜索和展現全部日誌。

2、使用ELK必要性（解決運維痛點）

• 開發人員不能登陸線上服務器查看詳細日誌
• 各個系統都有日誌，日至數據分散難以查找
• 日誌數據量大，查詢速度慢，或者數據不夠實時