Windows 日誌高級篩選實踐

時間  2019-11-09
標籤 windows 日誌 高級 篩選 實踐 欄目 Windows 简体版
原文   原文鏈接

背景

常常須要查看日誌，不只是用來排錯，有些時候我還須要監控系統來抓取特定日誌來幫助減小個人工做負擔，以及時監控到異常出現，並做出通知及響應，那麼從大量日誌中快速並精確篩選出想要的日誌，而且精確提取信息，是一個必備的技能。我曾經用內置的事件查看器的篩選器進行事件篩選，而後保存視圖，或者使用powershell get-winevent 進行篩選，也使用logparser, 或者第三方的日誌查看工具好比eventexplorer 進行日誌篩選。可是老是遇到幾個主要的問題：python

  1. 從大量日誌中過濾出極個別日誌，每次執行的事件老是太長。shell

  2. 不能靈活的或者更精確的進行篩選。通常只能大概的匹配，而後再作一步處理。一般又遇到1的問題。windows

 

嘗試和比較

通過一些嘗試和使用，我的以爲powershell 的get-winevent 最方便，由於畢竟是一個腳本語言，能夠進一步進行處理，並且能夠很靈活的處理。logparser 很快，可是若是精確提取某些日誌的字段，就沒有那麼容易了,windows 日誌的EventData中的數據複雜多樣，靠幾個常規字段是沒有辦法靈活進行處理的。安全

論速度的話，除了logparser,使用xml 篩選是最快速的。可是xml 篩選須要使用複雜的、受限的xpath 1.0 (被微軟實現後，有更多限制),雖然有點蹩腳又難懂，可是和時間節省算起，仍是劃的來的，特別是重複任務。dom

 

一個比較好的開始是從下面連接開始。ide

https://blogs.technet.microsoft.com/askds/2011/09/26/advanced-xml-filtering-in-the-windows-event-viewer/函數

 

正式實踐

一個比較經常使用場景是，我常常須要精確過濾到哪一個帳號最近鎖定了，哪臺計算機鎖定的，何時。我須要很快速的能查詢到鎖定日誌。過去雖然我用get-winevent  –filterhashtable 能夠作到這些，可是速度實在太慢了，雖然個人域控只有4臺。我常常和用戶說，若是你想知道你在哪臺計算機上鎖定了，請等待一段時間，我會把查詢結果用郵件發給你。不過如今使用xpath 過濾時，我基本上能夠在用戶打電話過來時，告訴他這些信息。工具

 

下面XML 過濾AD安全日誌中的最近一天的某個用戶名的鎖定日誌ui

<QueryList>
<Query Id="0" Path="Security">
<Select Path="Security">
*[System[EventID=4740 and TimeCreated[timediff(@SystemTime) &lt;= 86400000] and Provider[@Name='Microsoft-Windows-Security-Auditing']]]
and
*[EventData[Data[@Name='TargetUserName']='somebody']]
</Select>
</Query>
</QueryList>

 

若是你只想過濾最近一天全部用戶的鎖定日誌，那麼這樣寫this

<QueryList>
<Query Id="0" Path="Security">
<Select Path="Security">
*[System[EventID=4740 and TimeCreated[timediff(@SystemTime) &lt;= 86400000] and Provider[@Name='Microsoft-Windows-Security-Auditing']]]
</Select>
</Query>
</QueryList>

 

上面過濾XML能夠在 事件查看器的 篩選當前日誌--》XML---》手動編輯查詢中進行測驗。

 

image

 

OK ,爲了方便使用，咱們作成一個powershell function ,方便平常使用，直接上例子。

 

function get-lockedEvent{
    <#
    .SYNOPSIS
        Function to filter user locked event which id=4740
    .DESCRIPTION
        This function search user locked events in DC security logs, this function need the domain admin priv.
    .EXAMPLE
        get-lockedEvent -loginname oaoperator -show
    .EXAMPLE
        PS C:\> get-lockedEvent -loginname oaoperator -summary
        Count Name
        ----- ----
        457 Oaoperator, OA
    .EXAMPLE
        PS C:\> get-lockedEvent -loginname oaoperator
        Username   LockedPC Datetime           EventLocation
        --------   -------- --------           -------------
        Oaoperator OA       2018/9/27 10:27:40 dc02
        Oaoperator OA       2018/9/27 10:32:40 dc02
    #>
    
    [cmdletbinding()]
    param(
        [parameter(Mandatory=$false)]
        [string]
        $loginname,
        [Parameter(Mandatory=$false)]
        [switch]
        $summary,
        [Parameter(Mandatory=$false)]
        [switch]
        $show
    )
# filter Locked Events generated in 1 day and username eq loginname
    $f2=@'
    <QueryList>
    <Query Id="0" Path="Security">
      <Select Path="Security">
      *[System[EventID=4740  and TimeCreated[timediff(@SystemTime) &lt;= 86400000] and Provider[@Name='Microsoft-Windows-Security-Auditing']]]
       and 
      *[EventData[Data[@Name='TargetUserName']='{0}']]
      </Select>
    </Query>
    </QueryList>
'@
# filter Locked Events generated in 1 day 
    $f1=@'
    <QueryList>
    <Query Id="0" Path="Security">
      <Select Path="Security">
      *[System[EventID=4740  and TimeCreated[timediff(@SystemTime) &lt;= 86400000] and Provider[@Name='Microsoft-Windows-Security-Auditing']]]
      </Select>
    </Query>
    </QueryList>
'@
    if($loginname){
        $f=$f2 -f $loginname
    }else{
        $f=$f1
    }
    $DCs=Get-ADDomainController -Filter *|%{$_.hostname}
    $r=Invoke-Command -ComputerName $DCs -ArgumentList @($f) -Command{
        param(
            $filter
        )
        $events=Get-WinEvent -FilterXml  $filter
        $events|%{
            $e=[xml]$_.toxml()
            [PSCustomObject]@{
                'Username'=$e.Event.EventData.Data.where({$_.Name -eq 'TargetUserName'})."#text"
                'LockedPC'=$e.Event.EventData.Data.where({$_.Name -eq 'TargetDomainName'})."#text"
                'Datetime'=[datetime]$e.Event.System.TimeCreated.SystemTime
                'EventLocation'=$e.Event.System.Computer
            }
        }
    }|Sort-Object -Property Datetime |select -Property 'UserName','LockedPC','Datetime','EventLocation'
    if($summary){
        $r=$r|Group-Object -Property Username,LockedPC -NoElement
    }
    
    if($show){
        $r|Out-GridView
    }else{
        $r
    }
}

 

另一個實踐

因爲最近有一些計劃任務的狀態須要監控，並且考慮到這應該是一個很是通用的需求，因此我想過濾計劃任務名稱匹配\qq_ent 開頭的，而後任務執行結果不爲0的日誌，儘管我參考着下面的一些blog 連接，也讓我嘗試了好一會，我想應該記錄下這些過程。


咱們先來看看計劃任務日誌的xml 內容：


<Event xmlns="http://schemas.microsoft.com/win/2004/08/events/event">
<System>
  <Provider Name="Microsoft-Windows-TaskScheduler" Guid="{DE7B24EA-73C8-4A09-985D-5BDADCFA9017}" /> 
  <EventID>201</EventID> 
  <Version>2</Version> 
  <Level>4</Level> 
  <Task>201</Task> 
  <Opcode>2</Opcode> 
  <Keywords>0x8000000000000000</Keywords> 
  <TimeCreated SystemTime="2018-11-18T05:00:02.058811400Z" /> 
  <EventRecordID>144817</EventRecordID> 
  <Correlation ActivityID="{110529FD-DBFD-4E59-B207-83DF8CC779B8}" /> 
  <Execution ProcessID="1508" ThreadID="24392" /> 
  <Channel>Microsoft-Windows-TaskScheduler/Operational</Channel> 
  <Computer>ComputerName.xxx.com</Computer> 
  <Security UserID="S-1-5-18" /> 
  </System>
<EventData Name="ActionSuccess">
  <Data Name="TaskName">\qq_ent\store_to_db</Data> 
  <Data Name="TaskInstanceId">{110529FD-DBFD-4E59-B207-83DF8CC779B8}</Data> 
  <Data Name="ActionName">C:\Users\UserName\AppData\Local\Programs\Python\Python37\python3.exe</Data> 
  <Data Name="ResultCode">2147942401</Data> 
  <Data Name="EnginePID">22172</Data> 
  </EventData>
  </Event>

 

說下咱們的任務：

  1. 匹配 EventData 中Data 名稱爲TaskName的，它的值應該是\qq_ent\xxxx

  2. 匹配 EventData中 Data 名稱爲ResultCode的，它的值應該是>0 或者不等於0的

  3. EventID=201

  4. Provider Name=Microsoft-Windows-TaskScheduler

 

最後成型的過濾，和微軟的以前的例子不同。


 <QueryList>
    <Query Id="0" Path="Microsoft-Windows-TaskScheduler/Operational">
      <Select Path="Microsoft-Windows-TaskScheduler/Operational">
      *[System/EventID=201]
       and 
      *[EventData[
                    (
                        Data[@Name='TaskName']='\qq_ent\download_images' 
                    or 
                        Data[@Name='TaskName']='\qq_ent\store_to_db_offline'
                    or 
                        Data[@Name='TaskName']=='\qq_ent\gatherQQmsg' 
                    or 
                        Data[@Name='TaskName']=='\qq_ent\store_to_db'
                    )
                    and
                        Data[@Name='ResultCode'] !=0
        ]]
      </Select>
    </Query>
    </QueryList>

 

我以前按照微軟的例子是這樣寫的，結果不對的。


    <QueryList>
    <Query Id="0" Path="Microsoft-Windows-TaskScheduler/Operational">
      <Select Path="Microsoft-Windows-TaskScheduler/Operational">
      *[System/EventID=201]
       and 
      *[
            EventData[
                    (
                        Data[@Name='TaskName'] 
                        and 
                        (
                            Data='\qq_ent\download_images' 
                            or 
                            Data='\qq_ent\store_to_db_offline'
                            or 
                            Data='\qq_ent\gatherQQmsg' 
                            or 
                            Data='\qq_ent\store_to_db'
                        )
                    ) 
                    and
                    (
                        Data[@Name='ResultCode'] and Data !='0'
                    )
            ]
        ]
      </Select>
    </Query>
    </QueryList>

 

注意事項

  1. event log 中的Xpath 受限，能使用的函數有限，所以若是你想篩選字符串，你會發現starts-with contains 這些xpath 函數都不支持。儘可能使用其餘條件篩選，而後再使用powershell內置過濾功能進行過濾，固然這要犧牲一些處理時間。

  2. Xpath中的一些字符串要進行轉義，好比你想比較一個數字，可能寫Data>0,那麼> 要轉義成&gt;

參考資料

 

https://blogs.technet.microsoft.com/heyscriptingguy/2011/01/24/use-powershell-cmdlet-to-filter-event-log-for-easy-parsing/

https://blogs.technet.microsoft.com/heyscriptingguy/2014/06/04/data-mine-the-windows-event-log-by-using-powershell-and-xml/

https://blogs.technet.microsoft.com/heyscriptingguy/2014/06/03/use-filterhashtable-to-filter-event-log-with-powershell/

https://blogs.technet.microsoft.com/askds/2011/09/26/advanced-xml-filtering-in-the-windows-event-viewer/

相關文章
相關標籤/搜索
每日一句
    每一个你不满意的现在，都有一个你没有努力的曾经。
本站公眾號
   歡迎關注本站公眾號,獲取更多信息
聯繫我們 最近搜索 最新文章 沪ICP备13005482号-10 MyBatis教程 SQL 教程 MySQL教程 Java 教程 Thymeleaf 教程 Hibernate教程 Spring教程 Redis教程