Logstash 參考指南（使用Filebeat Modules）

使用Filebeat Modules

Filebeat附帶預構建的模塊，這些模塊包含收集、解析、充實和可視化各類日誌文件格式數據所需的配置，每一個Filebeat模塊由一個或多個文件集組成，這些文件集包含攝取節點管道、Elasticsearch模板、Filebeat勘探者配置和Kibana儀表盤。

Filebeat模塊是一個很好的入門方法，可是你可能會發現攝取管道沒法提供你所需的處理能力，若是是這樣，你須要使用Logstash。

使用Logstash而不是攝取節點

Logstash提供了一個攝取管道轉換工具，幫助你將攝取管道定義遷移到Logstash的configs，可是，該工具目前不支持攝取節點可用的全部處理器。

你能夠按照本節中的步驟構建和運行Logstash配置，這些配置解析Filebeat模塊收集的數據，而後你就能夠在Kibana中使用與Filebeat相同的儀表盤來可視化你的數據。

建立並啓動Logstash管道

1. 建立一個Logstash管道配置，從Beats輸入讀取並解析事件，有關詳細示例，請參閱配置示例。

2. 啓動Logstash，並傳入解析日誌的管道配置文件，例如：
   bin/logstash -f mypipeline.conf
   當Logstash運行並監聽來自Beats的輸入時，你將看到如下消息：

   [2017-10-13T00:01:15,413][INFO ][logstash.inputs.beats    ] Beats inputs: Starting input listener {:address=>"127.0.0.1:5044"}
   [2017-10-13T00:01:15,443][INFO ][logstash.pipeline        ] Pipeline: started {"pipeline.id"=>"main"}

Logstash管道如今能夠接收來自Filebeat的事件，接下來，設置並運行Filebeat。

設置並運行Filebeat

1. 若是你尚未設置Filebeat索引模板和示例Kibana儀表盤，那麼如今運行Filebeat setup命令來完成此任務：
   ./filebeat -e setup
-e標誌是可選的，並將輸出發送到標準error，而不是syslog。

   這個一次性設置步驟須要鏈接Elasticsearch和Kibana，由於Filebeat須要在Elasticsearch中建立索引模板，並將樣例儀表盤加載到Kibana。
   加載完模板和儀表盤以後，你會看到消息INFO Kibana dashboards successfully loaded. Loaded dashboards。

2. 配置Filebeat將日誌行發送到Logstash，爲此，在filebeat.yml配置文件中，禁用Elasticsearch輸出，並啓用Logstash輸出，例如：

   #output.elasticsearch:
     #hosts: ["localhost:9200"]
   output.logstash:
     hosts: ["localhost:5044"]

3. 運行modules enable命令以啓用你想要運行的模塊，例如：
   ./filebeat modules enable nginx
   你能夠經過在Filebeat modules.d目錄下編輯配置文件來進一步配置模塊，例如，若是日誌文件不在模塊指望的位置，你能夠設置var.paths選項。

4. 啓動Filebeat，例如，要在前臺啓動Filebeat，請使用：
   ./filebeat -e

   根據安裝Filebeat的方式，在嘗試運行Filebeat模塊時，可能會看到與文件全部權或權限相關的錯誤，若是遇到與文件全部權或權限相關的錯誤，請參閱Beats平臺參考資料中的 配置文件全部權和權限。

   有關更多信息，請參閱啓動Filebeat。

可視化數據

要在Kibana中可視化數據，能夠經過將瀏覽器指向端口5601來啓動Kibana web界面，例如：http://127.0.0.1:5601。