開源實時日誌分析ELK平臺部署

開源實時日誌分析ELK平臺部署

時間 2015-07-21 17:13:10  51CTO推薦博文

原文   http://baidu.blog.51cto.com/71938/1676798

主題  Logstash  Elastic Search  開源

開源實時日誌分析ELK平臺部署

日誌主要包括系統日誌、應用程序日誌和安全日誌。系統運維和開發人員能夠經過日誌瞭解服務器軟硬件信息、檢查配置過程當中的錯誤及錯誤發生的緣由。常常分析日誌能夠了解服務器的負荷，性能安全性，從而及時採起措施糾正錯誤。

一般，日誌被分散的儲存不一樣的設備上。若是你管理數十上百臺服務器，你還在使用依次登陸每臺機器的傳統方法查閱日誌。這樣是否是感受很繁瑣和效率低下。當務之急咱們使用集中化的日誌管理，例如：開源的 syslog ，將全部服務器上的日誌收集彙總。

集中化管理日誌後，日誌的統計和檢索又成爲一件比較麻煩的事情，通常咱們使用 grep 、 awk 和 wc 等 Linux 命令能實現檢索和統計，可是對於要求更高的查詢、排序和統計等要求和龐大的機器數量依然使用這樣的方法不免有點力不從心。

開源實時日誌分析 ELK 平臺可以完美的解決咱們上述的問題， ELK 由 ElasticSearch 、 Logstash 和 Kiabana 三個開源工具組成。官方網站： https://www.elastic.co/products

l   Elasticsearch 是個開源分佈式搜索引擎，它的特色有：分佈式，零配置，自動發現，索引自動分片，索引副本機制， restful 風格接口，多數據源，自動搜索負載等。

l   Logstash 是一個徹底開源的工具，他能夠對你的日誌進行收集、分析，並將其存儲供之後使用（如，搜索）。

l   kibana 也是一個開源和免費的工具，他 Kibana 能夠爲 Logstash 和 ElasticSearch 提供的日誌分析友好的 Web 界面，能夠幫助您彙總、分析和搜索重要數據日誌。

工做原理以下如所示：

在須要收集日誌的全部服務上部署 logstash ，做爲 logstash agent （ logstash shipper ）用於監控並過濾收集日誌，將過濾後的內容發送到 logstash indexer ， logstash indexer 將日誌收集在一塊兒交給全文搜索服務 ElasticSearch ，能夠用 ElasticSearch 進行自定義搜索經過 Kibana 來結合自定義搜索進行頁面展現。

開源實時日誌分析ELK平臺部署流程：

（ 1 ）安裝 Logstash 依賴包 JDK

Logstash 的運行依賴於 Java 運行環境， Logstash 1.5 以上版本不低於 java 7 推薦使用最新版本的 Java 。因爲咱們只是運行 Java 程序，而不是開發，下載 JRE 便可。首先，在 Oracle 官方下載新版 jre ，下載地址： http://www.oracle.com/technetwork/java/javase/downloads/jre8-downloads-2133155.html

能夠看到提供了多種版本，下載時，選擇適合本身機器運行環境的版本，我使用的是 RHEL6.5 x86_64 的操做系統，因此，下載 linux-64 的版本。若是使用 Linux 下載執行以下命令下載便可。

#wget http://download.oracle.com/otn-pub/java/jdk/8u45-b14/jdk-8u45-linux-x64.tar.gz

JDK 的安裝方式比較簡單，只需將下載回來的程序包解壓到相應的目錄便可。

# mkdir /usr/local/java
# tar -zxf jdk-8u45-linux-x64.tar.gz -C /usr/local/java/

設置 JDK 的環境變量，以下：

# tail -3 ~/.bash_profile
export JAVA_HOME=/usr/local/java/jdk1.8.0_45 export PATH=$PATH:$JAVA_HOME/bin exportCLASSPATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar:$CLASSPATH

在 Shell 提示符中執行 java �version 命令，顯示以下結果，說明安裝成功：

# java -version
java version "1.8.0_45"
Java(TM) SE Runtime Environment (build 1.8.0_45-b14) Java HotSpot(TM) 64-Bit Server VM (build 25.45-b02,mixed mode)

（ 2 ）安裝 Logstash

下載並安裝 Logstash ，安裝 logstash 只需將它解壓的對應目錄便可，例如： /usr/local 下：

# https://download.elastic.co/logstash/logstash/logstash-1.5.2.tar.gz # tar �zxf logstash-1.5.2.tar.gz -C /usr/local/

安裝完成後運行以下命令：

# /usr/local/logstash-1.5.2/bin/logstash -e 'input { stdin { } } output { stdout {} }' Logstash startup completed Hello World! 2015-07-15T03:28:56.938Z noc.vfast.com Hello World!

咱們能夠看到，咱們輸入什麼內容logstash按照某種格式輸出，其中-e參數參數容許Logstash直接經過命令行接受設置。這點尤爲快速的幫助咱們反覆的測試配置是否正確而不用寫配置文件。使用CTRL-C命令能夠退出以前運行的Logstash。

使用-e參數在命令行中指定配置是很經常使用的方式，不過若是須要配置更多設置則須要很長的內容。這種狀況，咱們首先建立一個簡單的配置文件，而且指定logstash使用這個配置文件。 例如：在 logstash 安裝目錄下建立一個「基本配置」測試文件 logstash-test.conf， 文件內容以下：

# cat logstash-simple.conf input { stdin { } } output { stdout { codec=> rubydebug } }

Logstash 使用 input 和 output 定義收集日誌時的輸入和輸出的相關配置，本例中 input 定義了一個叫 "stdin" 的 input ， output 定義一個叫 "stdout" 的 output 。不管咱們輸入什麼字符， Logstash 都會按照某種格式來返回咱們輸入的字符，其中 output 被定義爲 "stdout" 並使用了 codec 參數來指定 logstash 輸出格式。

使用logstash的-f參數來讀取配置文件，執行以下開始進行測試：

# echo "`date`  hello World"
Thu Jul 16 04:06:48 CST 2015 hello World # /usr/local/logstash-1.5.2/bin/logstash agent -f logstash-simple.conf Logstash startup completed Tue Jul 14 18:07:07 EDT 2015 hello World #該行是執行echo 「`date`hello World」 後輸出的結果，直接粘貼到該位置 { "message" => "Tue Jul 14 18:07:07 EDT 2015 helloWorld", "@version" => "1", "@timestamp" => "2015-07-14T22:07:28.284Z", "host" => "noc.vfast.com" }

（ 3 ）安裝 Elasticsearch

下載 Elasticsearch 後，解壓到對應的目錄就完成 Elasticsearch 的安裝。

# tar -zxf elasticsearch-1.6.0.tar.gz -C /usr/local/

啓動 Elasticsearch

# /usr/local/elasticsearch-1.6.0/bin/elasticsearch

若是使用遠程鏈接的 Linux 的方式並想後臺運行 elasticsearch 執行以下命令：

# nohup /usr/local/elasticsearch-1.6.0/bin/elasticsearch >nohup &

確認 elasticsearch 的 9200 端口已監聽，說明 elasticsearch 已成功運行

# netstat -anp |grep :9200
tcp 0 0 :::9200 :::* LISTEN 3362/java

接下來咱們在 logstash 安裝目錄下建立一個用於測試 logstash 使用 elasticsearch 做爲 logstash 的後端的測試文件 logstash-es-simple.conf，該文件中定義了stdout和elasticsearch做爲output，這樣的「多重輸出」即保證輸出結果顯示到屏幕上，同時也輸出到elastisearch中。

# cat logstash-es-simple.conf input { stdin { } } output { elasticsearch {host => "localhost" } stdout { codec=> rubydebug } }

執行以下命令

# /usr/local/logstash-1.5.2/bin/logstash agent -f logstash-es-simple.conf
… …
Logstash startup completed
hello logstash
{
      "message" => "hello logstash", "@version" => "1", "@timestamp" => "2015-07-15T18:12:00.450Z", "host" => "noc.vfast.com" }

咱們可使用 curl 命令發送請求來查看 ES 是否接收到了數據：

# curl 'http://localhost:9200/_search?pretty' 返回結果 { "took": 58, "timed_out" : false, "_shards" : { "total" : 5, "successful" : 5, "failed" : 0 }, "hits": { "total" : 1, "max_score" : 1.0, "hits" : [ { "_index" : "logstash-2015.07.15", "_type" : "logs", "_id" : "AU6TWiixxDXYhySMyTkP", "_score" : 1.0, "_source":{"message":"hellologstash","@version":"1","@timestamp":"2015-07-15T20:13:55.199Z","host":"noc.vfast.com"} } ] } }

至此，你已經成功利用 Elasticsearch 和 Logstash 來收集日誌數據了。

（ 4 ）安裝 elasticsearch 插件

Elasticsearch-kopf 插件能夠查詢 Elasticsearch 中的數據，安裝 elasticsearch-kopf ，只要在你安裝 Elasticsearch 的目錄中執行如下命令便可：

# cd /usr/local/elasticsearch-1.6.0/ # ./plugin -install lmenezes/elasticsearch-kopf

安裝完成後在 plugins 目錄下能夠看到 kopf

# ls plugins/
kopf

在瀏覽器訪問 http://10.1.1.188:9200/_plugin/kopf 瀏覽保存在 Elasticsearch 中的數據，以下所示：

（ 5 ）安裝 Kibana

下載 kibana 後，解壓到對應的目錄就完成 kibana 的安裝

# tar -zxf kibana-4.1.1-linux-x64.tar.gz -C /usr/local/

啓動 kibana

# /usr/local/kibana-4.1.1-linux-x64/bin/kibana

使用 http://kibanaServerIP ： 5601 訪問 Kibana ，登陸後，首先，配置一個索引，默認， Kibana 的數據被指向 Elasticsearch ，使用默認的 logstash-* 的索引名稱，而且是基於時間的，點擊「 Create 」便可。

看到以下界面說明索引建立完成。

點擊「 Discover 」，能夠搜索和瀏覽 Elasticsearch 中的數據，默認搜索的是最近 15 分鐘的數據。能夠自定義選擇時間。

到此，說明你的 ELK 平臺安裝部署完成。

（ 6 ）配置 logstash 做爲 Indexer

將 logstash 配置爲索引器，並將 logstash 的日誌數據存儲到 Elasticsearch ，本範例主要是索引本地系統日誌。

# cat /usr/local/logstash-1.5.2/logstash-indexer.conf
input {
  file {
    type =>"syslog" path => ["/var/log/messages", "/var/log/syslog" ] } syslog { type =>"syslog" port =>"5544" } } output { stdout { codec=> rubydebug } elasticsearch {host => "localhost" } } # /usr/local/logstash-1.5.2/bin/logstash -flogstash-indexer.conf

使用 echo 命令模擬寫入日誌，命令執行後看到以下圖的信息

# echo "`date` 優衣庫視頻" >>/var/log/messages

刷新 kibana ，發現最新的測試數據顯示到瀏覽器中，以下圖所示：

到此， ELK 平臺部署和基本的測試已完成。