ELK的輕量級搭建使用

做者：鄧聰聰

　　通常咱們須要進行日誌分析場景：直接在日誌文件中 grep、awk 就能夠得到本身想要的信息。但在規模較大的場景中，此方法效率低下，面臨問題包括日誌量太大如何歸檔、文本搜索太慢怎麼辦、如何多維度查詢。須要集中化的日誌管理，全部服務器上的日誌收集彙總。常看法決思路是創建集中式日誌收集系統，將全部節點上的日誌統一收集，管理，訪問。

通常大型系統是一個分佈式部署的架構，不一樣的服務模塊部署在不一樣的服務器上，問題出現時，大部分狀況須要根據問題暴露的關鍵信息，定位到具體的服務器和服務模塊，構建一套集中式日誌系統，能夠提升定位問題的效率。

一個完整的集中式日誌系統，須要包含如下幾個主要特色：

• 收集－可以採集多種來源的日誌數據
• 傳輸－可以穩定的把日誌數據傳輸到中央系統
• 存儲－如何存儲日誌數據
• 分析－能夠支持 UI 分析
• 警告－可以提供錯誤報告，監控機制

ELK提供了一整套解決方案，而且都是開源軟件，之間互相配合使用，完美銜接，高效的知足了不少場合的應用。目前主流的一種日誌系統。

ELK簡介：

ELK是三個開源軟件的縮寫，分別表示：Elasticsearch , Logstash, Kibana , 它們都是開源軟件。新增了一個FileBeat，它是一個輕量級的日誌收集處理工具(Agent)，Filebeat佔用資源少，適合於在各個服務器上搜集日誌後傳輸給Logstash，官方也推薦此工具。

Elasticsearch是個開源分佈式搜索引擎，提供蒐集、分析、存儲數據三大功能。它的特色有：分佈式，零配置，自動發現，索引自動分片，索引副本機制，restful風格接口，多數據源，自動搜索負載等。

Logstash 主要是用來日誌的蒐集、分析、過濾日誌的工具，支持大量的數據獲取方式。通常工做方式爲c/s架構，client端安裝在須要收集日誌的主機上，server端負責將收到的各節點日誌進行過濾、修改等操做在一併發往elasticsearch上去。

Kibana 也是一個開源和免費的工具，Kibana能夠爲 Logstash 和 ElasticSearch 提供的日誌分析友好的 Web 界面，能夠幫助彙總、分析和搜索重要數據日誌。

Filebeat隸屬於Beats。目前Beats包含四種工具：

1. Packetbeat（蒐集網絡流量數據）
2. Topbeat（蒐集系統、進程和文件系統級別的 CPU 和內存使用狀況等數據）
3. Filebeat（蒐集文件數據）
4. Winlogbeat（蒐集 Windows 事件日誌數據 )

官方文檔：

Filebeat：

https://www.elastic.co/cn/products/beats/filebeat
https://www.elastic.co/guide/en/beats/filebeat/5.6/index.html

Logstash：
https://www.elastic.co/cn/products/logstash
https://www.elastic.co/guide/en/logstash/5.6/index.html

Kibana:

https://www.elastic.co/cn/products/kibana

https://www.elastic.co/guide/en/kibana/5.5/index.html

Elasticsearch：
https://www.elastic.co/cn/products/elasticsearch
https://www.elastic.co/guide/en/elasticsearch/reference/5.6/index.html

elasticsearch中文社區：
https://elasticsearch.cn/

 

　　elasticsearch、Logstash均須要jdk支持，故若服務器上沒有，須要先安裝JDK，5.x級以上版本均須要jdk1.8的支持

安裝JDK,並設置JDK的環境變量　

drwxr-xr-x. 8   10  143       255 Jun 17  2014 jdk1.8.0_11
-rw-r--r--. 1 root root 159019376 Jun  6 11:58 jdk-8u11-linux-x64.tar.gz
[root@test_server java]# cd jdk1.8.0_11/
[root@test_server jdk1.8.0_11]# ll
total 25428
drwxr-xr-x. 2 10 143     4096 Jun 17  2014 bin
-r--r--r--. 1 10 143     3244 Jun 17  2014 COPYRIGHT
drwxr-xr-x. 4 10 143      122 Jun 17  2014 db
drwxr-xr-x. 3 10 143      132 Jun 17  2014 include
-rw-r--r--. 1 10 143  4673670 Jun 17  2014 javafx-src.zip
drwxr-xr-x. 5 10 143      185 Jun 17  2014 jre
drwxr-xr-x. 5 10 143      225 Jun 17  2014 lib
-r--r--r--. 1 10 143       40 Jun 17  2014 LICENSE
drwxr-xr-x. 4 10 143       47 Jun 17  2014 man
-r--r--r--. 1 10 143      159 Jun 17  2014 README.html
-rw-r--r--. 1 10 143      525 Jun 17  2014 release
-rw-r--r--. 1 10 143 21047086 Jun 17  2014 src.zip
-rw-r--r--. 1 10 143   110114 Jun 17  2014 THIRDPARTYLICENSEREADME-JAVAFX.txt
-r--r--r--. 1 10 143   178445 Jun 17  2014 THIRDPARTYLICENSEREADME.txt
[root@test_server jdk1.8.0_11]# 

jdk環境設置：

[root@test_server jdk1.8.0_11]# tail -f /etc/profile
done

unset i
unset -f pathmunge
JAVA_HOME=/usr/local/java/jdk1.8.0_11
JRE_HOME=${JAVA_HOME}/jre
CLASSPATH=$JAVA_HOME/lib:$JRE_HOME/lib
PATH=$JAVA_HOME/bin:$PATH
export PATH JAVA_HOME CLASSPATH JRE_HOME
ulimit -u 4096

驗證版本信息，確認是否安裝成功

[root@test_server jdk1.8.0_11]# java -version
java version "1.8.0_11"
Java(TM) SE Runtime Environment (build 1.8.0_11-b12)
Java HotSpot(TM) 64-Bit Server VM (build 25.11-b03, mixed mode)
[root@test_server jdk1.8.0_11]# 

安裝ELK軟件，主要有Elasticsearch，Logstash，Kibana三個軟件，安裝時要保證版本的一致性

[root@test_server elk]# ll
total 89284
drwxr-xr-x  9 elk elk      155 Jun  7 20:53 elasticsearch-6.3.0
-rw-r--r--  1 elk elk 91423553 Jun  6 16:46 elasticsearch-6.3.0.tar.gz
drwxr-xr-x 11 elk elk      229 Jun  6 18:05 kibana-6.3.0-linux-x86_64
drwxr-xr-x 14 elk elk      321 Jun  7 00:32 logstash-6.3.0

建立ELK運行用戶

[root@test_server]# groupadd elk
[root@test_server]# groupadd elk
#軟件存放及啓動的目錄
[root@test_server ]# mkdir /elk
[root@test_server ]# chown -R elk:elk /elk
#關閉seliunx
[root@test_server ]# getenforce 
Disabled

配置配置Elasticsearch，並啓動

如下爲個人修改項：
[root@test_server config]# cat elasticsearch.yml|grep -v ^"#"
cluster.name: my-application
node.name: node-1
network.host: x.x.x.x
http.port: 9200
#啓動 elasticsearch放後臺運行任務
/elk/elasticsearch-6.3.0/bin/elasticsearch &
#查看是否運行成功
[root@test_server config]# ss -ntl
State      Recv-Q Send-Q              Local Address:Port                             Peer Address:Port              
LISTEN     0      128                             *:10022                                       *:*                  
LISTEN     0      128                             *:80                                          *:*                  
LISTEN     0      100                     127.0.0.1:25                                          *:*                  
LISTEN     0      128                  118.188.20.5:5601                                        *:*                  
LISTEN     0      128                            :::10022                                      :::*                  
LISTEN     0      128           ::ffff:x.x.x.x:9200 //運行端口                                       :::*                  
LISTEN     0      128           ::ffff:x.x.x.x:9300 //運行端口                                       :::*                  
LISTEN     0      100                           ::1:25                                         :::*                  
LISTEN     0      50               ::ffff:127.0.0.1:9600                                       :::*                  
[root@test_server config]# 

配置logstash

[root@test_server config]# cat logstash.yml|grep -v ^"#"
path.data: /elk/logstash-6.3.0/data
path.config: /elk/logstash-6.3.0/config
#啓動
[root@test_server config]# /elk/logstash-6.3.0/bin/logstash -f /elk/logstash-6.3.0/config/yourfile.conf &

logstash的日誌收集文件配置，這個我syslog的配置參考

[root@test_server config]# cat syslog.conf 
input {
  file {
    path => "/var/log/boot.log"          
    start_position => "beginning"
    type => "test" 
  }
}

filter {
    grok {
      match => { "message" => "(?:%{SYSLOGTIMESTAMP:timestamp}|%{TIMESTAMP_ISO8601:timestamp8601}) (?:%{SYSLOGFACILITY} )?%{SYSLOGHOST:logsource}+(?: %{SYSLOGPROG}:|)" }
  }
}

output {
  elasticsearch {
    hosts => "x.x.x.x:9200"
    index => "blog2"
        document_type => "test"
  }
    stdout { codec => rubydebug }  //屏幕輸出
}

配置kibana,如下是個人修改項

[root@test_server elk]# cat kibana-6.3.0-linux-x86_64/config/kibana.yml|grep -Ev ^"#|^$"
server.port: 5601
server.host: "x.x.x.x"
elasticsearch.url: "http://x.x.x.x:9200"
#啓動kinaba
[root@test_server elk]# /elk/kibana-6.3.0-linux-x86_64/bin/kibana &

調用nginx代理的配置，使其具備驗證功能,在nginx的配置文件添加如下內容

        include /etc/nginx/default.d/*.conf;
        location / {
            auth_basic "secret";
            auth_basic_user_file /etc/nginx/passwd.db;
            proxy_pass http://x.x.x.x:5601;
            proxy_set_header Host $host:5601;
            proxy_set_header X-Real-IP $remote_addr;
            proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
            proxy_set_header Via "nginx";
        }