ELK 6.4 實時日誌分析系統

ELK簡介：

ELK是三個開源軟件的縮寫，分別表示：Elasticsearch , Logstash, Kibana , 它們都是開源軟件。新增了一個FileBeat，它是一個輕量級的日誌收集處理工具(Agent)，Filebeat佔用資源少，適合於在各個服務器上搜集日誌後傳輸給Logstash，官方也推薦此工具。

Elasticsearch 是個開源分佈式搜索引擎，提供蒐集、分析、存儲數據三大功能。它的特色有：分佈式，零配置，自動發現，索引自動分片，索引副本機制，restful風格接口，多數據源，自動搜索負載等。

Logstash 主要是用來日誌的蒐集、分析、過濾日誌的工具，支持大量的數據獲取方式。通常工做方式爲c/s架構，client端安裝在須要收集日誌的主機上，server端負責將收到的各節點日誌進行過濾、修改等操做在一併發往elasticsearch上去。

Kibana 也是一個開源和免費的工具，Kibana能夠爲 Logstash 和 ElasticSearch 提供的日誌分析友好的 Web 界面，能夠幫助彙總、分析和搜索重要數據日誌。

Filebeat 隸屬於Beats。目前Beats包含四種工具：

• Packetbeat（蒐集網絡流量數據）
• Topbeat（蒐集系統、進程和文件系統級別的 CPU 和內存使用狀況等數據）
• Filebeat（蒐集文件數據）
• Winlogbeat（蒐集 Windows 事件日誌數據）

官方文檔：
Filebeat：
https://www.elastic.co/cn/products/beats/filebeat

Logstash：
https://www.elastic.co/cn/products/logstash

Kibana:
https://www.elastic.co/cn/products/kibana

Elasticsearch：
https://www.elastic.co/cn/products/elasticsearch

elasticsearch中文社區：
https://elasticsearch.cn/

通常咱們須要進行日誌分析場景：直接在日誌文件中 grep、awk 就能夠得到本身想要的信息。但在規模較大的場景中，此方法效率低下，面臨問題包括日誌量太大如何歸檔、文本搜索太慢怎麼辦、如何多維度查詢。須要集中化的日誌管理，全部服務器上的日誌收集彙總。常看法決思路是創建集中式日誌收集系統，將全部節點上的日誌統一收集，管理，訪問。

通常大型系統是一個分佈式部署的架構，不一樣的服務模塊部署在不一樣的服務器上，問題出現時，大部分狀況須要根據問題暴露的關鍵信息，定位到具體的服務器和服務模塊，構建一套集中式日誌系統，能夠提升定位問題的效率。

一個完整的集中式日誌系統，須要包含如下幾個主要特色：

1. 收集－可以採集多種來源的日誌數據
2. 傳輸－可以穩定的把日誌數據傳輸到中央系統
3. 存儲－如何存儲日誌數據
4. 分析－能夠支持 UI 分析
5. 警告－可以提供錯誤報告，監控機制

ELK提供了一整套解決方案，而且都是開源軟件，之間互相配合使用，完美銜接，高效的知足了不少場合的應用。目前主流的一種日誌系統。

系統環境

主機名	操做系統	IP地址	服務名
es	centos7.4	192.168.96.85	elasticsearch 6.4.0、kibana 6.4.0、rsyslog
nginx	centos7.4	192.168.96.60	elasticsearch 6.4.0、logstash-6.4.0
httpd	centos7.4	192.168.96.86	elasticsearch 6.4.0、filebeat-6.4
客戶機	windows 10	192.168.96.2	網頁瀏覽器

以上全部服務器均關閉防火牆及SElinux功能

setenforece 0

systemctl stop firewalld

角色劃分：

• 全部機器所有安裝jdk1.8，由於elasticsearch是java開發的，所有安裝elasticsearch
• es服務器做爲主節點
• 三臺服務器均爲數據節點
• es服務器上須要安裝kibana
• es服務器上經過rsyslog收集日誌
• nginx服務器上經過logstash收集日誌
• httpd服務器上經過filebeat收集日誌

這裏分別使用了3種收集日誌的方法，官網建議選用filebeat，由於輕量、高效

開始部署

es集羣(三臺服務器操做一致)：

1. 編輯hosts文件

vim /etc/hosts

192.168.96.85 es
192.168.96.86 httpd
192.168.96.60 nginx

2. 安裝elasticsearch軟件包

# 導入key
rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearch

# 建立es倉庫源
vim /etc/yum.repos.d/elasticsearch.repo

[elasticsearch-6.x]
name=Elasticsearch repository for 6.x packages
baseurl=https://artifacts.elastic.co/packages/6.x/yum
gpgcheck=1
gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch
enabled=1
autorefresh=1
type=rpm-md

# 安裝es軟件包
yum -y install elasticsearch

3.編輯es配置文件

vim /etc/elasticsearch/elasticsearch.yml

17 cluster.name: es-server
23 node.name: master
24 node.master: true
25 node.data: true
58 network.host: 0.0.0.0
62 http.port: 9200
71 discovery.zen.ping.unicast.hosts: ["192.168.96.85", "192.168.96.86","192.168.96.60"]

提醒：以上三臺es均安裝好後再將elasticsearch.yml配置文件發送到httpd、nginx服務器

scp /etc/elasticsearch/elasticsearch.yml httpd:/etc/elasticsearch/

scp /etc/elasticsearch/elasticsearch.yml nginx:/etc/elasticsearch/

下面分別修改httpd、nginx服務器上的elasticsearch配置文件

# httpd服務器：
vim /etc/elasticsearch/elasticsearch.yml

node.name: httpd
node.master: false

# nginx服務器：
vim /etc/elasticsearch/elasticsearch.yml

node.name: nginx
node.master: false

啓動elasticsearch服務，先啓動master、在啓動其餘es服務

# es服務器：（先啓動master，在啓動其餘es）
systemctl enable elasticsearch.service
systemctl start elasticsearch.service

# nginx服務器：
systemctl enable elasticsearch.service
systemctl start elasticsearch.service

# httpd服務器：
systemctl enable elasticsearch.service
systemctl start elasticsearch.service

es集羣的健康檢查：

http://192.168.96.85:9200/_cluster/health?pretty

es集羣的狀態查看：

http://192.168.96.85:9200/_cluster/state?pretty

至此，es集羣已經部署完成了

---

kibana(es服務器）

1. 安裝kibana

yum -y install kibana

2. 編輯kibana.yml配置文件

vim /etc/kibana/kibana.yml

2 server.port: 5601
7 server.host: "192.168.96.85"
28 elasticsearch.url: "http://192.168.96.85:9200"
96 logging.dest: /var/log/kibana.log

3. 建立kibana日誌文件

touch /var/log/kibana.log
chmod 777 /var/log/kibana.log

4. 啓動kibana服務

systemctl enable kibana
systemctl start kibana

5. 查詢kibana服務

[root@es ~]# netstat -tunlp | grep 5601
tcp        0      0 192.168.96.85:5601      0.0.0.0:*               LISTEN      2597/node

客戶機訪問kibana（http://192.168.96.85:5601）測試

---

收集系統日誌

1. 安裝logstach（暫不支持jdk1.9版本，這裏安裝的是jdk1.8）

yum install logstash -y

2. 配置logstash收集syslog系統日誌

vim /etc/rsyslog.conf

第91行
*.* @@192.168.96.85:10514

3. 重啓rsyslog服務

systemctl restart rsyslog

---

4.收集系統日誌（rsyslog收集日誌）

vim /etc/logstash/conf.d/syslog.conf

input {
  syslog {
    type => "system-syslog"
    port => 10514
  }
}

output {
  elasticsearch {
     hosts => ["192.168.96.85:9200"]            //es服務器ip地址
     index => "system-syslog-%{+YYYY.MM}"           //索引
  }
}

5.啓動logstash收集syslog日誌

./logstash --path.settings /etc/logstash/ -f /etc/logstash/conf.d/syslog.conf

6.經過客戶端瀏覽kibana(192.168.96.85：5601)，頁面提醒設置索引

---

httpd服務器：（filebeat收集日誌）

1. 下載並安裝filebeat軟件包

wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-6.4.0-x86_64.rpm

rpm -ivh filebeat-6.4.0-x86_64.rpm

2. 編輯filebeat配置文件

vim /etc/filebeat/filebeat.yml

#註釋掉下一行
#enabled: false

    paths:
    - /var/log/messages      //指定日誌路徑
output.elasticsearch:
  # Array of hosts to connect to.
  hosts: ["192.168.96.85:9200"]     //指向es服務器

3. 啓動filebeat服務

systemctl enable filebeat
systemctl start filebeat

4. 查看filebeat進行信息

ps aux | grep filebeat

5. 查看索引信息

curl '192.168.96.85:9200/_cat/indices?v'

---

nginx服務器：（logstash收集日誌）

1.建立收集nginx日誌配置文件

vim /etc/logstash/conf.d/nginx.conf

input {
  file {
    path => "/var/log/logstash/elk_access.log"
    start_position => "beginning"
    type => "nginx"
  }
}

filter {
    grok {
        match => { "message" => "%{IPORHOST:http_host} %{IPORHOST:clientip} - %{USERNAME:remote_user} \[%{HTTPDATE:timestamp}\] \"(?:%{WORD:http_verb} %{NOTSPACE:http_request}(?: HTTP/%{NUMBER:http_version})?|%{DATA:raw_http_request})\" %{NUMBER:response} (?:%{NUMBER:bytes_read}|-) %{QS:referrer} %{QS:agent} %{QS:xforwardedfor} %{NUMBER:request_time:float}"}
    }
    geoip {
        source => "clientip"
    }
}
output {
    stdout { codec => rubydebug }
    elasticsearch {
        hosts => ["192.168.96.85:9200"]     //es服務器ip
        index => "nginx-test-%{+YYYY.MM.dd}"
  }
}

2. 檢查配置文件是否有錯誤

/usr/share/logstash/bin/logstash --path.settings /etc/logstash/ -f /etc/logstash/conf.d/nginx.conf --config.test_and_exit

3. 下面新增nginx虛擬主機配置指向kibana

vim /etc/nginx/conf.d/elk.conf

server {
      listen 80;
      server_name www.test.com;

      location / {
          proxy_pass      http://192.168.96.85:5601;
          proxy_set_header Host   $host;
          proxy_set_header X-Real-IP      $remote_addr;
          proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
      }

      access_log  /var/log/logstash/elk_access.log main2;
}

4. 在nginx主配置文件中設置日誌格式，以下

log_format main2 '$http_host $remote_addr - $remote_user [$time_local] "$request" '
                      '$status $body_bytes_sent "$http_referer" '
                      '"$http_user_agent" "$upstream_addr" $request_time';

5. 啓動logstash服務

systemctl enable logstash
systemctl start logstash

重啓nginx服務

systemctl restart nginx

開啓logstash收集nginx日誌

/usr/share/logstash/bin/logstash --path.settings /etc/logstash/ -f /etc/logstash/conf.d/nginx.conf

---

客戶端訪問瀏覽kibana(192.168.96.85：5601)