ELK應用之Filebeat

Filebeat是本地文件的日誌數據採集器，可監控日誌目錄或特定日誌文件（tail file），並將它們轉發給Elasticsearch或Logstatsh進行索引、kafka等。帶有內部模塊（auditd，Apache，Nginx，System和MySQL），可經過一個指定命令來簡化通用日誌格式的收集，解析和可視化。

官方網址:https://www.elastic.co/guide/en/beats/filebeat/current/index.html

1.工做原理

Filebeat涉及兩個組件：查找器prospector和採集器harvester，來讀取文件(tail file)並將事件數據發送到指定的輸出。

啓動Filebeat時，它會啓動一個或多個查找器，查看你爲日誌文件指定的本地路徑。對於prospector所在的每一個日誌文件，prospector啓動harvester。每一個harvester都會爲新內容讀取單個日誌文件，並將新日誌數據發送到libbeat，後者將聚合事件並將聚合數據發送到你爲Filebeat配置的輸出。

 

filebeat工做原理

當發送數據到Logstash或Elasticsearch時，Filebeat使用一個反壓力敏感(backpressure-sensitive)的協議來解釋高負荷的數據量。當Logstash數據處理繁忙時，Filebeat放慢它的讀取速度。一旦壓力解除，Filebeat將恢復到原來的速度，繼續傳輸數據。

1.1採集器Harvester

Harvester負責讀取單個文件的內容。讀取每一個文件，並將內容發送到the output，每一個文件啓動一個harvester, harvester負責打開和關閉文件，這意味着在運行時文件描述符保持打開狀態。

若是文件在讀取時被刪除或重命名，Filebeat將繼續讀取文件。這有反作用，即在harvester關閉以前，磁盤上的空間被保留。默認狀況下，Filebeat將文件保持打開狀態，直到達到close_inactive狀態

關閉harvester會產生如下結果：

1）若是在harvester仍在讀取文件時文件被刪除，則關閉文件句柄，釋放底層資源。

2）文件的採集只會在scan_frequency事後從新開始。

3）若是在harvester關閉的狀況下移動或移除文件，則不會繼續處理文件。

要控制收割機什麼時候關閉，請使用close_ *配置選項

1.2查找器Prospector

Prospector負責管理harvester並找到全部要讀取的文件來源。若是輸入類型爲日誌，則查找器將查找路徑匹配的全部文件，併爲每一個文件啓動一個harvester。每一個prospector都在本身的Go協程中運行。

Filebeat目前支持兩種prospector類型：log和stdin。每一個prospector類型能夠定義屢次。日誌prospector檢查每一個文件來查看harvester是否須要啓動，是否已經運行，或者該文件是否能夠被忽略（請參閱ignore_older）。

只有在harvester關閉後文件的大小發生了變化，纔會讀取到新行。

注：Filebeat prospector只能讀取本地文件，沒有功能能夠鏈接到遠程主機來讀取存儲的文件或日誌。

2.配置文件

配置文件：$FILEBEAT_HOME/filebeat.yml。Filebeat能夠一次讀取某個文件夾下的全部後綴名爲log的文件，也能夠讀取指定的某一個後綴名爲log的文件。

 

yml配置

配置文件詳解（http://blog.51cto.com/michaelkang/1864225）

（1）字段解釋

paths：指定要監控的日誌，目前按照Go語言的glob函數處理。沒有對配置目錄作遞歸處理，好比配置的若是是：

/var/log/* /*.log

則只會去/var/log目錄的全部子目錄中尋找以".log"結尾的文件，而不會尋找/var/log目錄下以".log"結尾的文件。

encoding：指定被監控的文件的編碼類型，使用plain和utf-8都是能夠處理中文日誌的。

input_type：指定文件的輸入類型log(默認)或者stdin。

exclude_lines：在輸入中排除符合正則表達式列表的那些行。

include_lines：包含輸入中符合正則表達式列表的那些行（默認包含全部行），include_lines執行完畢以後會執行exclude_lines。

exclude_files：忽略掉符合正則表達式列表的文件（默認爲每個符合paths定義的文件都建立一個harvester）。

fields：向輸出的每一條日誌添加額外的信息，好比"level:debug"，方便後續對日誌進行分組統計。默認狀況下，會在輸出信息的fields子目錄下以指定的新增fields創建子目錄，

fields_under_root：若是該選項設置爲true，則新增fields成爲頂級目錄，而不是將其放在fields目錄下。自定義的field會覆蓋filebeat默認的field。

ignore_older：能夠指定Filebeat忽略指定時間段之外修改的日誌內容，好比2h（兩個小時）或者5m(5分鐘)。

close_older：若是一個文件在某個時間段內沒有發生過更新，則關閉監控的文件handle。默認1h。

force_close_files：Filebeat會在沒有到達close_older以前一直保持文件的handle，若是在這個時間窗內刪除文件會有問題，因此能夠把force_close_files設置爲true，只要filebeat檢測到文件名字發生變化，就會關掉這個handle。

scan_frequency：Filebeat以多快的頻率去prospector指定的目錄下面檢測文件更新（好比是否有新增文件），若是設置爲0s，則Filebeat會盡量快地感知更新（佔用的CPU會變高）。默認是10s。

document_type：設定Elasticsearch輸出時的document的type字段，也能夠用來給日誌進行分類。

harvester_buffer_size：每一個harvester監控文件時，使用的buffer的大小。

max_bytes：日誌文件中增長一行算一個日誌事件，max_bytes限制在一第二天志事件中最多上傳的字節數，多出的字節會被丟棄。默認是10MB。

multiline：適用於日誌中每一條日誌佔據多行的狀況，好比各類語言的報錯信息調用棧。這個配置的下面包含以下配置：

pattern：多行日誌開始的那一行匹配的pattern

negate：是否須要對pattern條件轉置使用，不翻轉設爲true，反轉設置爲false。

match：匹配pattern後，與前面（before）仍是後面（after）的內容合併爲一條日誌

max_lines：合併的最多行數（包含匹配pattern的那一行），默認爲500行。

timeout：到了timeout以後，即便沒有匹配一個新的pattern（發生一個新的事件），也把已經匹配的日誌事件發送出去

tail_files：若是設置爲true，Filebeat從文件尾開始監控文件新增內容，把新增的每一行文件做爲一個事件依次發送，而不是從文件開始處從新發送全部內容。

backoff：Filebeat檢測到某個文件到了EOF以後，每次等待多久再去檢測文件是否有更新，默認爲1s。

max_backoff：Filebeat檢測到某個文件到了EOF以後，等待檢測文件更新的最大時間，默認是10秒。

backoff_factor：定義到達max_backoff的速度，默認因子是2，到達max_backoff後，變成每次等待max_backoff那麼長的時間才backoff一次，直到文件有更新纔會重置爲backoff。好比： 

若是設置成1，意味着去使能了退避算法，每隔backoff那麼長的時間退避一次。

spool_size:spooler的大小，spooler中的事件數量超過這個閾值的時候會清空發送出去（不管是否到達超時時間），默認1MB。

idle_timeout:spooler的超時時間，若是到了超時時間，spooler也會清空發送出去（不管是否到達容量的閾值），默認1s。

registry_file:記錄filebeat處理日誌文件的位置的文件

config_dir:若是要在本配置文件中引入其餘位置的配置文件，能夠寫在這裏（須要寫完整路徑），可是隻處理prospector的部分。

publish_async：是否採用異步發送模式（實驗功能）。

具體的一個yml採集配置樣例以下：該配置文件是filebeat採集數據的依據，並根據需求添加必要配置，filebeat收集日誌後發往logstash，配置以下：

 

yml配置樣例

3.啓動和中止

3.1開啓filebeat

cd FILEBEAT_HOME

 nohup ./bin/filebeat -f config/test.conf >>/FILEBEAT_HOME/logs/filebeat.log &

後臺啓動filebeat，配置對應的參數

啓動多個filebeat配置，新建一個目錄（conf）存放多個filebeat的配置文件，

#nohup ./bin/filebeat -f conf/* >>/FILEBEAT_HOME/logs/filebeat.log &

 注意：一臺服務器只能啓動一個filebeat進程。

3.2中止filebeat

ps -ef |grep filebeat

kill -9 $pid

注意： 非緊急狀況下，殺掉進程只能用優雅方式。

3.3filebeat運行可能存在的問題（運行前最好是輸出到控制檯查看）

A、filebeat運行不成功

問題：配置文件格式有問題，配置文件遵循yml文件格式，多或少一個空格都會致使啓動問題，可使用cmd命令窗口到filebeat安裝路徑下，使用filebeat.exe –c filebeat.yml 查看報錯，也能夠看filebeat路徑下的log文件夾中的filebeat文件

B、 filebeat第一次運行成功無數據

問題：a、路徑有問題

b、運行條件設置有問題（例如只採集某個條件下的數據，文件中沒有符合條件的數據，這種狀況下先註釋掉採集條件測試一下）

C、filebeat運行成功第一次運行後有數據，第二次無數據

問題：filebeat讀取文件後會生成一個registry文件，注意windows機器中這個文件在手動啓動的狀況下會在filebeat安裝目錄下的data文件夾中，服務註冊啓動的狀況下會在C盤下隱藏文件夾C:\ProgramData\filebeat中，刪除掉這個就能夠了

D、filebeat運行成功有數據，可是新添加數據不讀取問題

問題：filebeat傳輸存在反壓機制，在數據量特別大或者傳輸通道不通的狀況下，filebeat會進行反壓，暫停發送，等到數據量穩定或者數據傳輸通道正常的以後纔會發送

4.注意問題

4.1Filebeat如何保持文件的狀態？

Filebeat 保存每一個文件的狀態並常常將狀態刷新到磁盤上的註冊文件中。該狀態用於記住harvester正在讀取的最後偏移量，並確保發送全部日誌行。若是輸出（例如Elasticsearch或Logstash）沒法訪問，Filebeat會跟蹤最後發送的行，並在輸出再次可用時繼續讀取文件。

在Filebeat運行時，每一個prospector內存中也會保存文件狀態信息，當從新啓動Filebeat時，將使用註冊文件的數據來重建文件狀態，Filebeat將每一個harvester在從保存的最後偏移量繼續讀取。

每一個prospector爲它找到的每一個文件保留一個狀態。因爲文件能夠被重命名或移動，所以文件名和路徑不足以識別文件。對於每一個文件，Filebeat存儲惟一標識符以檢測文件是否先前已被採集過。

若是你使用的案例涉及天天建立大量新文件，你可能會發現註冊文件增加過大。請參閱註冊表文件太大？編輯有關你能夠設置以解決此問題的配置選項的詳細信息。

4.2Filebeat如何確保至少一次交付？

Filebeat保證事件至少會被傳送到配置的輸出一次，而且不會丟失數據。 Filebeat可以實現此行爲，由於它將每一個事件的傳遞狀態存儲在註冊文件中。

在輸出阻塞或未確認全部事件的狀況下，Filebeat將繼續嘗試發送事件，直到接收端確認已收到。若是Filebeat在發送事件的過程當中關閉，它不會等待輸出確認全部收到事件。

發送到輸出但在Filebeat關閉前未確認的任何事件在從新啓動Filebeat時會再次發送。這能夠確保每一個事件至少發送一次，但最終會將重複事件發送到輸出。

也能夠經過設置shutdown_timeout選項來配置Filebeat以在關閉以前等待特定時間。

注意：Filebeat的至少一次交付保證包括日誌輪換和刪除舊文件的限制。若是將日誌文件寫入磁盤而且寫入速度超過Filebeat能夠處理的速度，或者在輸出不可用時刪除了文件，則可能會丟失數據。

在Linux上，Filebeat也可能因inode重用而跳過行。有關inode重用問題的更多詳細信息，請參閱filebeat常見問題解答。

4.3Filebeat如何保證在日誌文件被切割(或滾動rolling)時依然正確讀取文件？

Logback日誌切割用的是JDK裏File#renameTo()方法。若是該方法失敗，就再嘗試使用複製數據的方式切割日誌。查找該方法相關資料得知，只有當源文件和目標目錄處於同一個文件系統、同volumn(即windows下的C, D盤)下該方法纔會成功，切不會爲重命名的後的文件分配新的inode值。也就是說，若是程序裏一直保存着該文件的描述符，那麼當程序再寫日誌時，就會向重命名後的文件中寫。那麼問題來了，filebeat是會一直打開並保存文件描述符的，那麼它是怎麼得知日誌被切割這件事的呢？

若是隻用當前文件描述符一路監控到天黑的話，那麼當logback把日誌重命名後，filebeat仍然會監控重命名後的日誌，新建立的日誌文件就看不到了。實際上，filebeat是經過close_inactive和scan_frequency兩個參數(機制)來應對這種狀況的：

(1)close_inactive

該參數指定當被監控的文件多長時間沒有變化後就關閉文件句柄(file handle)。官方建議將這個參數設置爲一個比文件最大更新間隔大的值。好比文件最長5s更新一次，那就設置成1min。默認值爲5min。

(2)scan_frequency

該參數指定Filebeat搜索新文件的頻率(時間間隔)。當發現新的文件被建立時， Filebeat會爲它再啓動一個 harvester 進行監控，默認爲10s。

綜合以上兩個機制，當logback完成日誌切割後(即重命名)，此時老的harvester仍然在監控重命名後的日誌文件，可是因爲該文件不會再更新，所以會在close_inactive時間後關閉這個文件的 harvester。當scan_frequency時間事後，Filebeat會發現目錄中出現了新文件，因而爲該文件啓動 harvester 進行監控。這樣就保證了切割日誌時也能不丟不重的傳輸數據。(不重是經過爲每一個日誌文件保存offset實現的)

做者：kang少年 連接：https://www.jianshu.com/p/0a5acf831409 來源：簡書 著做權歸做者全部。商業轉載請聯繫做者得到受權，非商業轉載請註明出處。