ELK+FileBeat+Log4Net搭建日誌系統

時間 2019-11-13

標籤 elk+filebeat+log4net elk filebeat log 搭建日誌系統简体版

原文原文鏈接

ELK+FileBeat+Log4Net搭建日誌系統

來源：https://www.zybuluo.com/muyanfeixiang/note/608470web

標籤（空格分隔）： ELK Log4Net數據庫

項目中以前都是採用數據庫來記錄日誌，雖然記錄還算挺方便，可是每次都要到數據庫來查詢，若是日誌在單獨的數據庫還好，只是有點麻煩。若是記錄的日誌數據庫和生產正式庫在一塊兒，不只會影響生產庫的正常使用，也會帶來安全隱患。
項目早期沒有統一規劃，也是時間倉促，沒有作好日誌的規劃，全部日誌都記錄到數據庫中。的確也遇到了性能問題，所以在瞭解ELK的基礎上，使用其做爲日誌採集、處理和檢索的幾本框架。安全

大致框架

日誌數據流以下，應用將日誌落地在本地文件，部署在每臺服務器上的FileBeat負責收集日誌，而後將日誌發送給LogStash；LogStash將日誌進行處理以後，好比parse等；而後將處理後的Json對象傳遞給ElasticSearch，進行落地並進行索引處理；最後經過Kibana來提供web界面，來查看日誌等。由於ES是基於Lucene的，因此Kibana支持Lucene查詢語法。ruby

對於日誌數據流特別大的狀況，LogStash會形成擁堵，這個時候可使用消息隊列來進行緩衝。同時，日誌一旦進過LogStash以後，會不方面一些流處理程序來讀取。這個時候使用kafka就比較好了，由於kafka是將消息持久化在本地，流處理應用能夠從消息的offset初始的地方來讀取。加入kafka的後的流程以下：
服務器

配置過程

Log4Net配置

首先，最基本的引用Log4Net程序集，補多少。
其次，要在項目的AssemblyInfo.cs添加以下代碼,這樣配置才能給啓做用。
[assembly: log4net.Config.XmlConfigurator(Watch = true)]
最後，也是最重要的就是在web.config（或app.config）中配置了。
在configSections中添加以下代碼
<configSections> <section name="log4net" type="log4net.Config.Log4NetConfigurationSectionHandler, log4net" /> </configSections>
添加log4net節點app

<log4net>
    <root>
      <level value="ALL" />
      <appender-ref ref="rollingFile" />
      <appender-ref ref="ErrorRollingFile" />
    </root>
    <appender name="rollingFile" type="log4net.Appender.RollingFileAppender,log4net">
      <filter type="log4net.Filter.LevelRangeFilter">
        <levelMin value="DEBUG" />
        <levelMax value="WARN" />
      </filter>
      <!--日誌的路徑-->
      <param name="File" type="" value="D://WebLog//Log4NetTest.App//" />
       <param name="Encoding" value="UTF-8"/>
      <!--是否覆蓋，默認是追加true-->
      <param name="AppendToFile" value="true" />
      <param name="RollingStyle" value="Date" />
      <!--文件名稱-->
      <param name="DatePattern" value="yyyy-MM-dd'.Debug.log'" />
      <!--設置無限備份=-1 ，最大備份數爲1000-->
      <param name="MaxSizeRollBackups" value="1000" />
      <!--每一個文件的大小-->
      <param name="MaximumFileSize" value="102KB" />
      <!--名稱是否能夠更改成false爲能夠更改-->
      <param name="StaticLogFileName" value="false" />
      <layout type="log4net.Layout.PatternLayout,log4net">
        <!--輸出格式-->
        <param name="ConversionPattern" value="[%date] [%thread] %-5level Log4NetTest %logger %method [%message%exception]%n" />
      </layout>
    </appender>
    <appender name="ErrorRollingFile" type="log4net.Appender.RollingFileAppender,log4net">
      <filter type="log4net.Filter.LevelRangeFilter">
        <levelMin value="ERROR" />
        <levelMax value="FATAL" />
      </filter>
      <!--日誌的路徑-->
      <param name="File" type="" value="D://WebLog//Log4NetTest.App//" />
       <param name="Encoding" value="UTF-8"/>
      <!--是否覆蓋，默認是追加true-->
      <param name="AppendToFile" value="true" />
      <param name="RollingStyle" value="Date" />
      <!--文件名稱-->
      <param name="DatePattern" value="yyyy-MM-dd'.Error.log'" />
      <!--設置無限備份=-1 ，最大備份數爲1000-->
      <param name="MaxSizeRollBackups" value="1000" />
      <!--每一個文件的大小-->
      <param name="MaximumFileSize" value="102KB" />
      <!--名稱是否能夠更改成false爲能夠更改-->
      <param name="StaticLogFileName" value="false" />
      <layout type="log4net.Layout.PatternLayout,log4net">
        <!--輸出格式-->
        <param name="ConversionPattern" value="[%date] [%thread] %-5level Log4NetTest %l [%message%n%exception]%n"/>
      </layout>
    </appender>
  </log4net>

針對兩種不一樣類型的應用日誌，分別使用兩種pattern，也分別記錄到Debug.lg和Error.log文件中。框架

日誌類型爲Debug,Info,Warn的日誌，使用[%date] [%thread] %-5level Log4NetTest %logger %method [%message%exception]%n模式，分別記錄下時間，線程，日誌等級，應用名稱，日誌記錄類屬性，日誌記錄方法，日誌信息和異常
日誌類型爲Error和Fatal的日誌，使用[%date] [%thread] %-5level Log4NetTest %l [%message%n%exception]%n，分別是時間，線程，日誌等級，應用名稱，出錯位置（包含具體文件，以及所在行，須要PDB文件才能到行），日誌信息和異常

分兩類的主要緣由就在因而否記錄了出錯位置，這個是比較耗性能的操做，因此對於常規的Debug,Info,Warn能夠不記錄位置。
除此以外，沒有記錄host，由於FileBeat在採集日誌時候會自動記錄hostname。這樣log4net的基本配置就完成了。elasticsearch

FileBeat配置

只需簡單的配置就便可使用，固然也能夠配置的很複雜。配置文件filebeat.yml
一個input_type表明一個輸入源，可選值只有log和stdin。
paths是日誌採集路徑，可使用通配符。
document_type是能夠用來表示日誌類型。輸入到logstash中對應[type]，能夠據此使用不一樣grok語法來parse，這裏分爲errorLog和debugLog。性能

multiline.pattern: '^\['
  multiline.negate: true
  multiline.match: after

上面這三個使用了將換行的日誌或異常信息聚合爲一個事件，由於默認FileBeat是按行來讀取日誌，而後傳輸給LogStash，若是沒這個設置，就會形成日誌分割爲多個事件。
output.logstash就是輸出的目標了。
而後直接運行filebeat.exe便可啓動。固然也能夠以服務方式啓動。測試

filebeat.prospectors:
- input_type: log
  # Paths that should be crawled and fetched. Glob based paths.
  paths:
    #- /var/log/*.log
    - D:\WebLog\*\*.Error.log
  document_type: errorLog
  multiline.pattern: '^\['
  multiline.negate: true
  multiline.match: after
- input_type: log

  # Paths that should be crawled and fetched. Glob based paths.
  paths:
    #- /var/log/*.log
    - D:\WebLog\*\*.Debug.log
  document_type: debugLog

 
#----------------------------- Logstash output --------------------------------
output.logstash:
  # The Logstash hosts
  hosts: ["localhost:5044"]

LogStash配置

在config文件夾添加配置文件first-pipeline.conf。

input: 指定輸入來源
filter:是指定如何對日誌進行處理。這裏[type]就是來自filebeat中document_type。而後就是grok語法了。
overwrite：是將原有message覆蓋掉。若是將原有message徹底match出來的話，是能夠這樣作的，能夠節省空間。
output：就是輸出地址了。
運行
bin/logstash -f first-pipeline.conf --config.test_and_exit 測試配置文件
bin/logstash -f first-pipeline.conf --config.reload.automatic 自動加載配置文件的修改

input {
    beats {
        port => "5044"
    }
}
# The filter part of this file is commented out to indicate that it is
# optional.
filter {
    if [type] == "debugLog" {
        grok {
            match => {
             "message" => "\[(?<datetime>\d{4}-\d{2}-\d{2}\s\d{2}:\d{2}:\d{2},\d{3})\]\s+\[(?<thread>.*)\]\s+(?<level>\w*)\s+(?<appname>\S*)\s+(?<class>\S*)\s+(?<method>\S*)\s+\[(?<message>.*)\]\s*"
             } 
              overwrite => ["message"]
        }
    }
    if [type] == "errorLog" {
        grok {
            match => {
             "message" => "\[(?<datetime>\d{4}-\d{2}-\d{2}\s\d{2}:\d{2}:\d{2},\d{3})\]\s+\[(?<thread>.*)\]\s+(?<level>\w*)\s+(?<appname>\S*)\s+(?<location>\S*)\s+\[(?<message>.*)\]\s*"
             } 
              overwrite => ["message"]
        }
    }
}
output {
    elasticsearch { hosts => ["localhost:9200"] }
    stdout { codec => rubydebug }
}