日誌審計系統設計

背景

    薩班斯(SOX)法案。在美國上市公司必須遵循的「薩班斯(SOX)法案」 中要求對企業內部網絡信息系統進行評估，其中涉及對業務系統操做、數據庫訪問等業務行爲的審計。

日誌審計模型

系統架構參考

四層模型

日誌審計類別

1) HTTP 會話審計
從流量中還原 HTTP 會話數據，並根據會話特徵進一步深度解析 HTTP BBS訪問、HTTP 網頁標題、HTTP 威脅情報、HTTP DGA 域名（DGA 域名庫、機器學習）、搜索關鍵詞及其餘 HTTP 會話等，數據中至少包含請求方法、返回值、主機名、網頁地址、用戶代理、語言、服務器類型等數據。

                                以上Ngnix日誌結構化示例

從結構化的視角看日誌，能夠從內在屬性和外在屬性着手。

內在屬性是從時間戳、字段、字段命名等日誌內容自己所具有的信息內容的角度，對日誌進行分析。

外在屬性是歷來源、歸屬分類、資產信息等維度來分析。來源是指日誌來自哪臺主機、哪一個 IP；歸屬分類是從日誌的所屬系統及日誌用途等方面看日誌；日誌的資產信息是指日誌的負責人、負責人的聯繫方式等相關信息，能夠經過平臺將日誌與負責人進行關聯，以便事故發生後能夠直接通知到相關負責人

2) DNS 會話審計
從流量中還原 DNS 會話數據，並根據會話特徵進一步深度解析 DNS 威脅情報、DNS DGA 域名、DNS 解碼錯誤、DNS 解析錯誤、DNS 解析超時，數據中至少包含請求域名（FQDN）、DNS 服務器地址、DNS 服務器端口、請求返回解析地址等信息。

3）FTP 會話審計
從流量中還原 FTP 會話數據，數據中至少包含登陸用戶、傳輸文件名以及操做命令等信息。

3）Telnet 會話審計
從流量中還原 Telnet 會話數據，數據中至少包含登陸用戶以及操做命令的實際內容等信息。數據庫會話審計從流量中還原主流數據庫會話數據，如 Mysql、SQLServer、Oracle 等主流數據庫，數據中至少應包含登陸用戶名、操做命令（抓取 SQL 語句）等信息。

4）郵件會話審計
從流量中還原郵件會話數據，包括 POP3，SMTP、IMAP 協議，數據中至少包含收件人、發件人、主題、附件名稱等信息。

5）TLS 會話審計
從流量中還原 TLS 會話數據，主要針對 SSL/TLS 握手部分（非加密），數據中至少包含服務器及客戶端證書、服務器名稱等信息。

6）工控會話
從流量中還原應用協議爲 IEC10四、MMS、MODBUS、OPC、OPCUA、EthernetI IP 和 CIP 的工控會話，數據中包含工控會話的 MODBUS 的功能碼、功能描述，支持解析 IEC、EthernetI IP 和 CIP 的命令等信息。

7）其餘會話審計
其餘會話均經過能夠經過組合條件查詢網絡會話支撐審計，網絡會話列表包含了全流量的會話還原留存，會話詳情將根據 SSH、SMBv1/v二、DCERPC 自動適配字段展示。

日誌分析系統

       日誌分析的關鍵環節主要集中在日誌源識別、數據接入、數據結構化清洗、數據分析等環節。根據企業實際生產環境，日誌數據分別有操做系統日誌、網絡設備日誌、中間件日誌、數據庫日誌、業務系統日誌等類型。數據接入有 Agent、Syslog、SNMP 等方式。數據結構化涉及各類類型日誌的清洗方式、字典擴展、正則解析、字段識別等內容，內容比較多，有一個標準化流程的話實施起來會相對容易。數據分析包括搜索、可視化，此外還要考慮監控、定時任務、報表等功能。在落地交付時，能夠從業務維度，根據系統模塊進行數據接入，先調研部分業務系統要實現的分析效果，而後針對這些需求作相應的告警、分析。後續用戶還可接入更多的業務系統。也能夠從功能維度作日誌分析，即先調研全部系統要實現的分析目的，而後再作告警、分析。根據自身企業的需求選擇對應的交付方式。

---

今天先到這兒，但願對技術領導力， 企業管理，系統架構設計與評估，團隊管理, 項目管理, 產品管理,團隊建設 有參考做用 , 您可能感興趣的文章:
領導人怎樣帶領好團隊
構建創業公司突擊小團隊
國際化環境下系統架構演化
微服務架構設計
視頻直播平臺的系統架構演化
微服務與Docker介紹
Docker與CI持續集成/CD
互聯網電商購物車架構演變案例
互聯網業務場景下消息隊列架構
互聯網高效研發團隊管理演進之一
消息系統架構設計演進
互聯網電商搜索架構演化之一
企業信息化與軟件工程的迷思
企業項目化管理介紹
軟件項目成功之要素
人際溝通風格介紹一
精益IT組織與分享式領導
學習型組織與企業
企業創新文化與等級觀念
組織目標與我的目標
初創公司人才招聘與管理
人才公司環境與企業文化
企業文化、團隊文化與知識共享
高效能的團隊建設
項目管理溝通計劃
構建高效的研發與自動化運維
某大型電商雲平臺實踐
互聯網數據庫架構設計思路
IT基礎架構規劃方案一(網絡系統規劃)
餐飲行業解決方案之客戶分析流程
餐飲行業解決方案之採購戰略制定與實施流程
餐飲行業解決方案之業務設計流程
供應鏈需求調研CheckList
企業應用之性能實時度量系統演變

若有想了解更多軟件設計與架構, 系統IT,企業信息化, 團隊管理 資訊，請關注個人微信訂閱號：

做者：Petter Liu
出處：http://www.cnblogs.com/wintersun/ 本文版權歸做者和博客園共有，歡迎轉載，但未經做者贊成必須保留此段聲明，且在文章頁面明顯位置給出原文鏈接，不然保留追究法律責任的權利。 該文章也同時發佈在個人獨立博客中-Petter Liu Blog。