記一次ELK+FileBeats搭建

獲取ElasticSearch+LogStash+Kibana+FileBeats

關於elk搭建的所有產品均可以從elastic的官方網站獲取最新版本
elastic官網

如圖所示
當前elastic官方已經再也不推薦單純使用elk(ElasticSearch+LogStash+Kibana)三個產品搭建日誌平臺, 而是在此基礎上加上了輕量級的日誌收集插件FileBeats.

安裝ElasticSearch

咱們首先獲取安裝包
進入https://www.elastic.co/cn/downloads/elasticsearch

在Downloads裏點擊linux就能夠下載到用於linux安裝的tar包
若是是直接在linux安裝,使用wget命令便可
如 : wget artifacts.elastic.co/downloads/e…
若是須要更舊的歷史版本, 點擊下面的past release便可

在獲取到安裝包以後, windows環境須要將tar包傳送到linux , 使用scp(windows須要預裝git)命令便可
如: scp C:/Users/Administrator/Downloads/elasticsearch-7.3.1-linux-x86_64.tar.gz root@100.100.100.100:/home/elk/
在linux, 進入到安裝包的目錄, 使用tar -zxvf命令進行解壓
如: tar -zxvf elasticsearch-7.3.1-linux-x86_64.tar.gz
解壓完成後, elasticsearch其實就已經完成了安裝

啓動ElasticSearch

在啓動elasticserach以前須要注意:elasticsearch不能夠用root用戶啓動, 所以, 須要事先在linux創建一個非root用戶
linux如何建立一個管理員用戶 建立完linux用戶後, 切換到該用戶, 進入到elasticsearch目錄, 執行bin/elasticserach便可 默認elasticsearch的端口是9200, 打開瀏覽器, 輸入http://elasticsearch地址:9200/ , 出現以下畫面, 說明elasticsearch啓動成功

安裝LogStash

windows環境下載和上傳到linux的方法再也不贅述, 參照前文
linux環境, 參照以下命令便可:
1.執行wget artifacts.elastic.co/downloads/l…
2.進入logstash安裝包目錄, 執行tar -zxvf logstash-7.4.0.tar.gz

配置和啓動LogStash

1.在啓動logstash以前, 須要先新建一個logstash的配置文件
參照logstash目錄下的config/logstash-sample.config文件(如圖), 新建一個logstash-elk.config文件

input, 即輸入數據的監聽端口, 這個通常不須要改.
output, 用於將接收到的數據發送到elasitcsearch. 將hosts改爲elasticsearch部署的地址, 若是elasticsearch和logstash是同一臺機器, 則不須要更改.
注意: 若是多個實例中的FileBeats發送過來的數據但願進入同一個elasticsearch實例, 並根據不一樣的ip地址劃分爲不一樣的索引, 按照以下方式配置

output {
    if "100.100.100.101" in [host][ip] {
        elasticsearch{
          hosts => ["localhost:9200"]
          index => "sample1"
        }
    }else if "100.100.100.102" in [host][ip] {
        elasticsearch{
          hosts => ["localhost:9200"]
          index => "sample2"
        }
    } else {
      elasticsearch{
        hosts => ["localhost:9200"]
        index => "other"
      }
    }

}
複製代碼

配置完成後, 啓動logstash, 執行bin/logstash -f config/logstash-elk.conf

安裝Kibana

linux參照以下命令
1.wget artifacts.elastic.co/downloads/k…
2.進入kibana安裝包目錄, 執行tar -zxvf kibana-7.4.0-linux-x86_64.tar.gz

配置和啓動kibana

進入config/kibana.yml
1.修改server.host爲linux機器的實際地址
2.修改i18n.locale: "zh-CN" 這樣kibana界面會顯示爲中文
3.返回kibana主目錄, 執行bin/kibana (注意:kibana也不能用root用戶啓動) 4.打開瀏覽器, 輸入http://kibana地址:5601, 出現以下畫面

安裝FileBeats

注意: FileBeats須要安裝在全部須要發送日誌的服務器上
linux參照以下命令
1.wget artifacts.elastic.co/downloads/b… 2.tar -zxvf filebeat-7.4.0-linux-x86_64.tar.gz

配置和啓動FileBeats

進入filebeats安裝目錄, vi filebeat.yml 1.修改paths下的目錄, 輸入filebeats所在服務器須要收集的日誌地址, 如:

paths:
    - /home/sample1/logs/log.*
    - /home/sample2/logs/log.*
複製代碼

2.修改output.logstash下的內容, 將logstash部署的地址輸入, 參照以下:

output.logstash:
  hosts: ["100.100.100.101:5044"]
  enabled: true
複製代碼

3.進入filebeats主目錄, 執行 ./filebeat -e -c filebeat.yml, 啓動成功

kibana查看日誌內容

將上述Elk+FileBeats都安裝搭建完成後, 瀏覽器進入到kibana的界面.
1.打開管理-索引模式-建立索引模式, 進入以下界面:

2.能夠看到有三個索引能夠匹配, 在索引模式的輸入框內輸入本身想要建立的索引, 如other, 而後點擊下一步

3.選擇timestamp, 點擊建立索引模式

4.建立成功, 點擊discover

5.能夠看到有一個新的索引other能夠選擇

6.到此, elk+filebeats的基本搭建工做就已經完成了