日誌分析——從概念到應用

什麼是日誌分析？

       計算機、網絡和其餘IT系統生成審計跟蹤記錄或記錄系統活動的日誌。日誌分析是對這些記錄的評估，幫助公司緩解各類風險並知足合規性法規。

日誌分析如何工做？

       日誌一般由網絡設備、應用程序、操做系統以及可編程/智能的設備建立。包含按時間順序排列的，並存儲在磁盤、文件或日誌收集器之類的應用程序中的消息。

       分析人員須要確保日誌涵蓋完整的消息範圍，並根據上下文進行解釋。應使用相同的術語對日誌元素進行規範化，以免混淆並保證內聚性。例如，一個系統可能使用「警告（warning）」而另外一個系統使用「關鍵（critical）」。確保術語和數據格式同步將有助於簡化分析並減小錯誤。規範化還可確保不一樣來源的統計數據和報告有意義且準確。

       收集、清理和結構化日誌數據後，能夠對其進行適當分析，以檢測模式和異常狀況，如網絡入侵。

用於日誌分析的案例

       日誌分析有幾個不一樣的用途：

• 遵照內部安全政策和外部法規、審計

• 理解、響應數據泄露和其餘安全事故

• 對系統，計算機或網絡進行故障排除

• 瞭解用戶的行爲

• 在進行調查時取證

• 若是公司但願拿到徹底符合法規的認證，則須要進行日誌分析。不只如此，日誌分析還能夠幫助公司在嘗試診斷問題、解決問題或管理其基礎架構/應用程序時節省時間。

日誌分析軟件

       能夠爲幾乎任何事物生成日誌：CDN流量，數據庫查詢，服務器正常運行時間，錯誤等等。日誌分析工具可幫助您從日誌中提取數據並查找趨勢和模式，以指導您的業務決策，調查和安全規則。這些工具可幫助您制定由數據驅動的決策，對系統管理員、網絡管理員、DevOps、安全專業人員、Web開發人員和可靠性工程師尤爲有用。

日誌分析的最佳實踐

       日誌分析是一個複雜的過程，包括如下技術和處理過程：

1. 模式檢測和識別：根據模式冊過濾消息。瞭解數據中的模式能夠輔助檢測異常。

2. 規範化：將不一樣的日誌元素轉換爲相同的格式。

3. 標記和分類：使用關鍵字標記日誌元素並將其分類爲多個類，以便您能夠過濾和調整顯示數據的方式。

4. 相關性分析：整理不一樣來源和系統的日誌，並對與特定事件相關的有意義的消息進行排序。相關性分析有助於發現單個日誌中不可見的數據之間的鏈接，尤爲是由於存在多個安全事故記錄。例如，若是您剛剛經歷過網絡攻擊，則相關性分析會將您的服務器、防火牆、網絡設備和其餘來源生成的日誌放在一塊兒，並查找與該特定攻擊相關的消息。警報與此相關，由於您從相關性分析中收集的數據能夠幫助您在日誌中出現某些模式時製做警報。

5. 故意忽略：是一種機器學習過程，用於識別和「忽略」無用的日誌條目並檢測異常。它將忽略常規日誌消息，例如常規系統更新，但容許檢測新標誌或異常消息，並標記好以供調查。故意忽略也能夠提醒你應該發生但不會發生的例行事件。 

       除了這些技術和過程以外，日誌數據應該以有意義的方式集中化和結構化，以便人們能夠理解它們並由機器學習系統解釋。經過聚合各類來源的全部日誌數據，您能夠將日誌關聯起來，以更輕鬆地查明相關趨勢和模式。在全部系統組件（包括基礎架構、應用程序和最終用戶客戶端）上實踐端到端日誌記錄，以得到完整的概述。

       日誌分析是監視和警報、判斷安全政策合規性、審計和法規聽從性、安全事件響應甚至取證調查的重要功能。經過分析日誌數據，企業能夠更輕鬆地識別潛在威脅和其餘問題，找到根本緣由，並啓動快速響應機制以下降風險。