ELK（日誌審計系統）

ELk簡介及工做流程

　　ELK即（Elasticsearch + Logstash + Kibana）

 

 

 

下載安裝包

• 系統環境：Contos7.0
• Java環境：Portal（這是歷史下載地址，個人是 jdk-8u151-linux-x64.tar.gz）
• Logstash/Elasticsearch/Kibana/Filebeat：Portal（我都是選的7.0版本）
• redis：Portal

 

下載完成後傳到服務器，所有解壓至「/etc/elk」目錄下，注意：這裏使用的是單機部署（內存應不低於2G）

Java環境配置

tar -zvxf jdk-8u151-linux-x64.tar.gz -C /data/app/
ln -s /data/app/jdk1.8.0_151 /data/app/jdk
cat <<EOF >> /etc/profile   # 追加文件
"""
export JAVA_HOME=/data/app/jdk
PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH
CLASSPATH=.$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib:$JAVA_HOME/lib/tools.jar
EOF
"""
source /etc/profile
ln -s /data/app/jdk/bin/java /usr/bin/java 
java -version        # 查看是否安裝成功

        

命令

elasticsearch部署

elasticsearch安裝

rpm -ivh elasticsearch-7.0.0-x86_64.rpm 
# 編輯配置文件
vim /etc/elasticsearch/elasticsearch.yml
"""
path.logs: /var/log/elasticsearch
cluster.name: elk01
node.name: node-1
path.data: /var/lib/elasticsearch
path.logs: /var/log/elasticsearch
network.host: 0.0.0.0
http.port: 9200
discovery.seed_hosts: ["10.60.53.143",]
cluster.initial_master_nodes: ["10.60.53.143",]
"""
# 具體做用能夠看配置文件中的英文解釋
systemctl restart elasticsearch  # 啓動服務

npm安裝步驟

logstash部署

rpm -ivh logstash-7.0.0.rpm

更新中..................

kibana部署

rpm -ivh kibana-7.0.0-x86_64.rpm
# 編輯配置文件
vim /etc/kibana/kibana.yml
"""
server.port: 5601
server.host: "0.0.0.0"
elasticsearch.hosts: ["http://10.60.53.143:9200"]
"""
# 啓動
systemctl  start kibana
systemctl  enable  kibana

filebeat部署

安裝

rpm -ivh filebeat-7.0.0-x86_64.rpm 

修改filebeat配置文件「filebeat.yml」 and Redis配置文件"6379.conf"

• filebeat沒有運行日誌，直接查看系統messages運行日誌便可。
• 配置好filebeat後必定要重啓。
• 重啓後查看redis中是否有值，有值則正常。

# 註銷bind字段，將protected-mode設置爲no
# bind 127.0.0.1
protected-mode no

/etc/redis/6379.conf

filebeat.inputs:
- type: log
  paths:
    - /root/channelHandle-out-2.log
  fields:
    log_file: xsj_channelhandle_out_2
    log_type: a-out-log
  fields_under_root: true
  encoding: utf-8
processors:
  - drop_event:
      when.not.contains:
        message: "收到"
output.redis:
  hosts: ["10.60.53.143:6379"]
  db: 0
  # password: "1234@abcd.com"
  key: "%{[log_file]:xsj}"
  timeout: 5

etc/filebeat/filebaet.yml

相關命令

systemctl  start     filebeat
systemctl  enable  filebeat
systemctl  restart  filebeat

啓動關閉重啓