IIS服務器配置NXLog進行syslog轉發（並解決GMT+8小時時差問題）

時間 2020-05-06

標籤 iis 服務器配置 nxlog 進行 syslog 轉發並解 gmt+8 gmt 小時時差問題简体版

原文原文鏈接

NXLog是個跨平臺日誌傳輸插件，支持linux、windows平臺的大部分系統日誌及常見的web日誌，支持tcp、udp、http(s)等協議傳輸。linux

本文經過NXLog將IIS的日誌以syslog的形式轉發至日誌審計服務器。web

1、系統環境windows

操做系統：Window Server2012 R2 DataCenter服務器

IIS：8.5架構

NXLog：nxlog-ce-2.10.2150tcp

下載地址：https://nxlog.co/products/nxlog-community-edition/download （Windows請選擇msi文件下載）編輯器

2、NXLog的總體實現原理編碼

NXLog總體採用插件架構模式，經過加載可調用的模塊，實現從各類不一樣的日誌來源讀取日誌數據(Input)，對日誌數據進行解析和轉換(Prosessor)，最後進行輸出(Output)。url

IIS的日誌爲文本類型的逐行文件，各字段使用「空格符」進行分割，而其中的日期和時間分屬於兩個不一樣的字段。所以IIS的日誌能夠經過Input的im_file模塊進行讀取，並通過必定的處理後輸出（轉發）。操作系統

在NXLog的安裝路徑C:\Program Files\nxlog（或C:\Program Files (x86)\nxlog）下找到conf\nxlog.conf，用文本編輯器進行編輯。

3、具體配置方法

1. 查看本地IIS日誌格式（在IIS管理器中能夠對W3C日誌記錄字段進行更改。）

#Software: Microsoft Internet Information Services 8.5
#Version: 1.0
#Date: 2020-04-26 06:14:01
#Fields: date time s-ip cs-method cs-uri-stem cs-uri-query s-port cs-username c-ip cs(User-Agent) cs(Referer) cs-host sc-status sc-substatus sc-win32-status time-taken

2. 設置W3C擴展日誌格式（這裏的第一個$datetime是將$date和$time進行了合併，具體見下面input中的操做。）

<Extension w3c>
    Module xm_csv
    Fields $datetime, $s-ip, $cs-method, $cs-uri-stem, $cs-uri-query, $s-port, $cs-username, $c-ip, $csUser-Agent, $cs-Referer, $cs-host, $sc-status, $sc-substatus, $sc-win32-status, $time-taken
    FieldTypes string, string, string, string, string, string, string, string, string, string, string, string, string, string, string
    Delimiter ' '
    QuoteChar '"'
    EscapeControl TRUE
    UndefValue -
</Extension>

3. 增長Input日誌來源

<Input IISin>
   Module   im_file
   # IIS日誌目錄，文件名支持通配符，文件夾不支持
   File     "C:\inetpub\logs\LogFiles\W3SVC1\u_ex*.log"
   SavePos  TRUE
   # 忽略以#開頭的日誌行
   # 編碼轉換爲GBK（個人日誌審計服務器默認爲GBK編碼，而IIS日誌的編碼爲UTF-8，請按實際狀況設置）
   # 利用替換法將日期與時間合併爲一個字段
   # 解析爲CSV格式
   # 經過xm_csv模塊對W3C擴展日誌進行解析
   # 將合併後的日期與時間做爲EventTime（發生時間），並增長GMT標誌(+00:00)解決IIS8小時時差問題
   Exec if $raw_event =~ /^#/ drop();                              \
        else                                                       \
        {                                                          \
          convert_fields("AUTO", "GBK");                           \
          $raw_event = replace($raw_event, ' ', '@', 1);           \
          w3c->parse_csv();                                        \
          $raw_event = replace($raw_event, ' ', "\t");             \
          $raw_event = replace($raw_event, '@', ' ', 1);           \
          $EventTime = parsedate(replace($datetime, '@', ' ', 1) + '+00:00'); \
        }
</Input>

4. 增長Output日誌輸出（內網經過UDP方式輸出能夠提升運行效率；若是須要高可靠性可採用TCP，但容易形成工做負載過大。使用to_syslog_bsd後，在input段設置的$EventTime纔能有效。）

<Output IISout>
   Module om_udp
   Host 10.168.100.1
   Port 514
   Exec to_syslog_bsd();
</Output>

5. 增長轉發規則

<Route 1>
   Path IISin => IISout
</Route>

　　
4、啓動NXLog

能夠經過服務管理器services.msc中啓動nxlog服務，或者在安裝路徑中雙擊nxlog.exe運行。

5、排錯

檢查安裝路徑\data\nxlog.log日誌文件，並進行排錯。若是提示以下內容（ERROR if-else failed），大多數是由於<Extension w3c>段中配置的字段和日誌中的字段不匹配。

2020-04-26 14:04:24 ERROR if-else failed at line 43, character 315 in C:\Program Files (x86)\nxlog\conf\nxlog.conf. statement execution has been aborted; procedure 'parse_csv' failed at line 43, character 181 in C:\Program Files (x86)\nxlog\conf\nxlog.conf. statement execution has been aborted; Too many fields in CSV input, expected 15, got 16 in input '...此處略去具體日誌內容...'

6、實際效果

7、完整配置文件：conf\nxlog.conf

Panic Soft
#NoFreeOnExit TRUE

define ROOT     C:\Program Files (x86)\nxlog
define CERTDIR  %ROOT%\cert
define CONFDIR  %ROOT%\conf
define LOGDIR   %ROOT%\data
define LOGFILE  %LOGDIR%\nxlog.log
LogFile %LOGFILE%

Moduledir %ROOT%\modules
CacheDir  %ROOT%\data
Pidfile   %ROOT%\data\nxlog.pid
SpoolDir  %ROOT%\data

<Extension w3c>
    Module xm_csv
    Fields $datetime, $s-ip, $cs-method, $cs-uri-stem, $cs-uri-query, $s-port, $cs-username, $c-ip, $csUser-Agent, $cs-Referer, $cs-host, $sc-status, $sc-substatus, $sc-win32-status, $time-taken
    FieldTypes string, string, string, string, string, string, string, string, string, string, string, string, string, string, string
    Delimiter ' '
    QuoteChar '"'
    EscapeControl TRUE
    UndefValue -
</Extension>

<Extension _syslog>
    Module      xm_syslog
</Extension>

<Extension _charconv>
    Module      xm_charconv
    AutodetectCharsets iso8859-2, utf-8, utf-16, utf-32
</Extension>

<Extension _exec>
    Module      xm_exec
</Extension>

<Extension _fileop>
    Module      xm_fileop

    # Check the size of our log file hourly, rotate if larger than 5MB
    <Schedule>
        Every   1 hour
        Exec    if (file_exists('%LOGFILE%') and \
                   (file_size('%LOGFILE%') >= 5M)) \
                    file_cycle('%LOGFILE%', 8);
    </Schedule>

    # Rotate our log file every week on Sunday at midnight
    <Schedule>
        When    @weekly
        Exec    if file_exists('%LOGFILE%') file_cycle('%LOGFILE%', 8);
    </Schedule>
</Extension>

<Input IISin>
   Module   im_file
   # IIS日誌目錄，文件名支持通配符，文件夾不支持
   File     "C:\inetpub\logs\LogFiles\W3SVC1\u_ex*.log"
   SavePos  TRUE
   # 忽略以#開頭的日誌行
   # 編碼轉換爲GBK（個人日誌審計服務器默認爲GBK編碼，而IIS日誌的編碼爲UTF-8，請按實際狀況設置）
   # 合併日期與時間爲一個字段
   # 解析爲CSV格式
   # 經過xm_csv模塊對W3C擴展日誌進行解析
   # 將合併後的日期與時間做爲EventTime（發生時間），並增長GMT標誌(+00:00)解決IIS8小時時差問題
   Exec if $raw_event =~ /^#/ drop();                              \
        else                                                       \
        {                                                          \
          convert_fields("AUTO", "GBK");                           \
          $raw_event = replace($raw_event, ' ', '@', 1);           \
          w3c->parse_csv();                                        \
          $raw_event = replace($raw_event, ' ', "\t");             \
          $raw_event = replace($raw_event, '@', ' ', 1);           \
          $EventTime = parsedate(replace($datetime, '@', ' ', 1) + '+00:00'); \
        }
</Input>

<Output IISout>
   Module om_udp
   Host 10.168.100.1
   Port 514
   Exec to_syslog_bsd();
</Output>

<Route 1>
   Path IISin => IISout
</Route>

參考資料：

1. 官方文檔：https://nxlog.co/documentation

2. 利用nxlog以syslog方式發送iis日誌 https://blog.csdn.net/weixin_34111819/article/details/91882420

3. Nxlog配置 https://blog.csdn.net/zmb419/article/details/85229737