Filebeat中文指南

轉自：https://www.cnblogs.com/kerwinC/p/6227768.html

Filebeat中文指南

翻譯自：https://www.elastic.co/guide/en/beats/filebeat/current/index.html

下面的博客是公司裏使用filebeat的實例，能夠直接借鑑，有問題能夠向我反饋。

Filebeat 快速開始： http://www.cnblogs.com/kerwinC/p/8866471.html

1、概述

Filebeat是一個日誌文件託運工具，在你的服務器上安裝客戶端後，filebeat會監控日誌目錄或者指定的日誌文件，追蹤讀取這些文件（追蹤文件的變化，不停的讀），而且轉發這些信息到elasticsearch或者logstarsh中存放。

如下是filebeat的工做流程：當你開啓filebeat程序的時候，它會啓動一個或多個探測器（prospectors）去檢測你指定的日誌目錄或文件，對於探測器找出的每個日誌文件，filebeat啓動收割進程（harvester），每個收割進程讀取一個日誌文件的新內容，併發送這些新的日誌數據處處理程序（spooler），處理程序會集合這些事件，最後filebeat會發送集合的數據到你指定的地點。

(我的理解，filebeat是一個輕量級的logstash，當你須要收集信息的機器配置或資源並非特別多時，使用filebeat來收集日誌。平常使用中，filebeat十分穩定，筆者沒遇到過宕機。)

 

2、Filebeat入門

開始配置使用filebeat以前，你須要安裝並配置好這些依賴程序：

Elasticsearch 做爲存儲和索引這些數據。

Kibana 做爲展現平臺。

Logstash（可選）去插入數據到elasticsearch。

詳見 beat和elastic的入門 

 

在安裝完畢elastic集羣以後，閱讀接下來的選項學習怎樣安裝，配置，與運行filebeat。

 

第一步：安裝filebeat

請選擇你係統中的下載安裝命令來下載安裝filebeat。(deb for Debian/Ubuntu, rpm for Redhat/Centos/Fedora, mac for OS X, and win for Windows).

若是你使用yum或者apt，你能夠從咱們的安裝倉庫中更方便的安裝或更新到新版本。

 

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21

deb:   curl -L -O https: //artifacts.elastic.co/downloads/beats/filebeat/filebeat-5.1.1-amd64.deb   sudo dpkg -i filebeat-5.1.1-amd64.deb   rpm:   curl -L -O https: //artifacts.elastic.co/downloads/beats/filebeat/filebeat-5.1.1-x86_64.rpm   sudo rpm -vi filebeat-5.1.1-x86_64.rpm   mac:   curl -L -O https: //artifacts.elastic.co/downloads/beats/filebeat/filebeat-5.1.1-darwin-x86_64.tar.gz   tar xzvf filebeat-5.1.1-darwin-x86_64.tar.gz   win:   略。

 

第二步：配置filebeat

編輯配置文件來配置filebeat，對於rpm或者deb來講，配置文件是/etc/filebeat/filebeat.yml這個文件，對於MAC或者win來講，請查看你的解壓文件中。

這裏有一個簡單的filebeat的配置文件filebeat.yml的樣本，filebeat會使用不少默認的選項。

#---------------prospectors塊----------------

1 2 3 4 5

filebeat.prospectors: - input_type: log    paths:      - / var /log/*.log #- c:\programdata\elasticsearch\logs\*

 

讓咱們來配置filebeat：

一、定義你的日誌文件的路徑（一個或多個）

對於大多數的基本filebeat配置，你能夠定義一個單一探測器針對一個單一的路徑，例如：

 #---------------prospectors塊----------------

1 2 3 4

filebeat.prospectors: - input_type: log    paths:      - / var /log/*.log<br>  #json.keys_under_root: true 若收取日誌格式爲json的log，請開啓此配置

　　

在這個例子中，探測器會收集/var/log/*.log的全部匹配文件，這意味這filebeat會手機全部的/var/log下以.log結尾的文件，此處還支持Golang Glob支持的全部模式。

在預約義級別的子目錄中獲取全部文件，可使用這個配置：/var/log/*/*.log，這會找到/var/log下全部子目錄中全部的以.log結尾的文件。但它並不會找到/var/log文件夾下的以.log結尾的文件。如今它還不能遞歸的在全部子目錄中獲取全部的日誌文件。

若是你設置輸出到elasticsearch中，那麼你須要在filebeat的配置文件中設置elasticsearch的IP地址與端口。

 #-----------------elastic output（通常都不直接輸出到elastic，不建議配置）-----------

1 2	output.elasticsearch:    hosts: [ "192.168.1.42:9200" ]

　　

 

若是你設置輸出到logstarsh，那麼請參考第三步，配置filebeat使用logstarsh

第三步：配置filebeat或elasticsearch使用logstarsh

若是要使用logstash對filebeat收集起來的數據執行其餘處理，你須要配置filebeat使用logstash。

你須要編輯filebeat的配置文件，註釋elasticsearch的選項，並打開logstash的配置的註釋：

#----------------------------- Logstash output --------------------------------

1 2	output.logstash:    hosts: [ "127.0.0.1:5044" ]

 

hosts選項須要指明logstash服務所監聽的地址和它的端口。

注：若要測試你的配置文件，切換到你安裝好的filebeat的可執行文件的目錄，而後在命令行運行如下選項：./filebeat -configtest -e ，確保您的配置文件在默認配置文件目錄下，見 目錄佈局。

在使用這個配置以前，你須要提早設置好logstash來接收數據。

若是想不經過logstash直接入庫到elasticsearch，可註釋掉logstash入庫部分，直接打開elasticsearch入庫部分便可。不建議直接寫入es。

output.elasticsearch:

  hosts: ["localhost:9200"]

 

第四步：啓動filebeat

rpm安裝：

sudo /etc/init.d/filebeat start

如今，filebeat已經準備好讀取你的日誌文件併發送到你定義的輸出中了！

 

2018.04.17 更新 Filebeat 快速開始： http://www.cnblogs.com/kerwinC/p/8866471.html

 

若是有幫到你的話，請讚揚我吧！