Docker 部署 elk + filebeat

Docker 部署 elk + filebeat

kibana 開源的分析與可視化平臺
logstash 日誌收集工具 logstash-forwarder（原名lubmberjack）
elasticsearch 查詢  + filebeat 日誌收集

環境：

• docker 版本 ：20.10.2
• 主機地址：192.168.0.220
• filebeat：6.5.4

1、部署elk

一、修改系統內存內核參數

[root@server01 filebeat]# cat /etc/sysctl.conf 
vm.max_map_count=262144
[root@server01 filebeat]# sysctl -p
vm.max_map_count = 262144

二、下載elk鏡像

docker pull sebp/elk

三、運行elk服務

docker run -p 5601:5601 -p 9200:9200 -p 5044:5044 -itd --name elk sebp/elk

四、修改logstash關閉ssl

# 1、進入elk容器
docker exec -it elk /bin/bash
# 2、修改配置文件 改成以下
vi /etc/logstash/conf.d/02-beats-input.conf

input {
  beats {
    port => 5044
  }
}

五、重啓elk

docker restart elk

2、部署filebeat(本地安裝)

• filebeat壓縮包
• 下載地址：https://pan.baidu.com/s/1fx12E7N_O2a6CHIBmQV6Ig
• 密碼：osxk

---

一、安裝filebeat

rpm -ivh filebeat-6.5.4-x86_64.rpm

二、修改配置文件

[root@server01 ~]# cd /etc/filebeat/
[root@server01 filebeat]# ls
fields.yml  filebeat.reference.yml  filebeat.yml  modules.d
[root@server01 filebeat]# cp filebeat.yml filebeat.yml.bak
[root@server01 filebeat]# echo 0 > filebeat.yml
[root@server01 filebeat]# vi fi
fields.yml              filebeat.reference.yml  filebeat.yml            filebeat.yml.bak        
[root@server01 filebeat]# cat filebeat.yml
filebeat.prospectors:
- type: log
  enabled: true
  paths:
    - /docker/service/zs/java/javalog/*.log
  tags: ["java"]

- type: log
  enabled: true
  paths:
    - /docker/service/zs/nginx/log/*.log
  tags: ["nginx"]

- type: log
  enabled: true
  paths:
    - /docker/service/zs/redis/log/*.log
  tags: ["redis"]

filebeat.config.modules:
  path: ${path.config}/modules.d/*.yml
  reload.enabled: false

setup.template.settings:
  index.number_of_shards: 3

setup.kibana:
  host: "192.168.1.220:5601"

output.logstash:
  hosts: ["192.168.1.220:5044"]
[root@server01 filebeat]# 

filebeat.prospectors:
# 指定收集的日誌路徑
- type: log
  enabled: true
  paths:
# 指定路徑
    - /docker/service/zs/java/javalog/*.log
  tags: ["java"]

# 指定收集的日誌路徑
- type: log
  enabled: true
  paths:
# 指定路徑
    - /docker/service/zs/nginx/log/*.log
# 自定義名稱
  tags: ["nginx"]

# 指定收集的日誌路徑
- type: log
  enabled: true
  paths:
# 指定路徑
    - /docker/service/zs/redis/log/*.log
# 自定義名稱
  tags: ["redis"]

filebeat.config.modules:
  path: ${path.config}/modules.d/*.yml
  reload.enabled: false

setup.template.settings:
  index.number_of_shards: 3

# 指定kibana主機地址
setup.kibana:
  host: "192.168.1.81:5601"

# 指定logstash地址
output.logstash:
  hosts: ["192.168.0.220:5044"]

文件註釋

瀏覽器訪問

192.168.0.220:5601