關於SOC、態勢感知，5種常見的關聯分析模型

引言

在不少安全分析類產品建設的過程當中都會涉及到關聯分析，好比日誌分析，soc，態勢感知，風控等產品。關聯分析能夠認爲是這類產品中最核心的能力之一。這個東西從名字上看就知道，千人千面，每一個人的想法和理解都不同。不少甲方都會提關聯分析，但你要在細問要作什麼樣的關聯分析，估計大多數甲方都不太能詳細說出來，不少乙方對此也是藏着掖着，可能也是核心機密不肯意細說。下面就來聊一下我對關聯分析模型的一點思考。

1、概述

有不少公司在本身的產品介紹中說本身的產品有多少種內置規則等等，仔細分析就會發現不少是一個模型出來的，好比主機密碼猜想，數據庫密碼猜想，網絡設備密碼猜想等，這些規則背後能夠理解爲一個模型。因此評價一個產品分析規則好壞的關鍵點我認爲不全是內置多少種有效的規則，對關聯規則模型支持的多少也能夠做爲一個重要指標，正如道生一，一輩子二，二生三，三生萬物。固然分析規則的分析能力還要依託於日誌解析的準確度和廣度，日誌解析的越準確，廣度越廣，對分析的支撐能力就越強。

 

關聯分析模型從大的分類看大概有如下 5種：

一、基於規則的關聯分析

二、基於統計的關聯分析

三、基於威脅情報的關聯分析

四、基於情境的關聯分析

五、基於大數據的關聯分析

這些模型大概是業內提的最多的，但仔細分析，其實裏面的內容並非徹底在一個維度上，裏面還會有一些些交叉和關聯。下面就對這5種常見的關聯分析方法進行介紹：

2、基於規則的關聯分析

基於規則的關聯分析是目前是最經常使用的一種關聯分析模型，這種關聯分析模型是指按平臺預先內置關聯規則，或者用戶自定義維護的關聯規則對安全事件進行分析。平臺接收到通過範式化的安全事件之後，經過事件維度與告警規則進行匹配，一旦匹配到符合條件的規則，規則就會被觸發。在規則設定的時間窗口內，平臺會將多條成功匹配規則的安全事件進行關聯，並按規則設定進行告警。

關聯規則主要模擬***者***的行爲，將平臺採集的範式化後的日誌，經過有效的字段組合，進行規則模型匹配分析，基於規則的關聯分析主要針對於已知安全事件的分析，還要基於企業實際網絡結構，業務場景進行調整，知足企業實際環境的需求。

基於規則的關聯分析的特色是準確，可理解，只要規則沒有問題得出的結論就是沒有問題的，但規則如何去作，這就是規則模型的內容。下面就介紹下一些經常使用的規則模型：

2.1單條日誌關聯規則

單條關聯分析模型是基於規則的模型中最簡單的一種方式，它的主要思想就是根據一條日誌中的內容進行分析，好比linux下一條經常使用的登陸日誌：

May 22 17:13:01 10-9-83-151 sshd[17422]: Accepted password for secisland from 129.74.226.122 port 64485 ssh2

從這個日誌中就有不少的信息，好比直接時間，主機名，進程名，事件類型，用戶，源ip，端口；間接信息包括資產信息，帳號信息，源ip地理信信息等。當這些豐富的信息解析出來後。咱們能夠不少的分析模型：

·非上班時間登陸：

這個就是說在非上班時間進行了登陸行爲，主要判斷標準就是時間和登陸成功事件。

·非上班地點登陸：

這個就是說在非上班地點進行了登陸行爲，主要判斷標準就是登陸IP和登陸成功事件。這個場景在不少風控中也會應用，好比出差登陸QQ郵箱，QQ可能會發個異地登陸提醒，若是在網上第一次用信用卡進行美金支付，客服會打電話確認這個操做是否是你本人所爲等。

·繞堡壘機登陸：

這個就是說在不在堡壘機上進行了登陸行爲，主要判斷標準就是登陸IP是不是堡壘機IP和登陸成功事件。

·越權登陸：

這個根據業務邏輯好比某些帳號不能登陸某些服務器。主要判斷標準就是登陸帳號，登陸目標IP和登陸成功事件。

·國外登陸：

這個就是說在登陸的IP地址不是國內的IP進行了登陸行爲，主要判斷標準就是登陸IP是不是國內IP和登陸成功事件。

經過上面實例能夠發現根據一條日誌結合事件類型和業務等能夠分析出很是多的告警行爲。

2.2 事件數量告警

在不少***場景中，僅靠一條事件是不能發現***行爲的，好比密碼猜想行爲，當有一條密碼登陸事件發生的時候，咱們不能說這個是密碼猜想行爲，只有在一個短期內發生了超過閾值數量的登陸失敗行爲時，咱們才能初步界定爲此次行爲是密碼猜想行爲。這種行爲就是事件數量告警。這種模型主要有幾個部分：

·時間維度，就是一段時間內；

·閾值維度，達到閾值的數量；

·條件維度，知足某些條件。

好比剛纔說的密碼猜想，在三分鐘內，登陸失敗的閾值達到6次以上，咱們能夠認爲是一個密碼猜想***行爲。

固然還有不少這種模型的相似規則，好比帳號猜想，病毒爆發，CC***等行爲。

常常有些甲方提出來的跨設備的關聯分析其實也能夠歸於這種模型，好比同一個IP在短期內有多個產品發生了包含這個IP的日誌。

文章屬於賽克藍德原創，如需轉載請完整保留做者公司信息。

2.3 多值事件數量告警

在有些狀況下，事件數量告警是不能知足某些***場景，好比端口掃描，主機掃描等行爲，這種行爲的特性也是經過多條事件來判斷，但僅僅經過數量是沒有辦法肯定是不是***。好比端口掃描，你不能說短期端口訪問了100次就算是掃描行爲，可是若是短期不一樣端口訪問了100一次以上，大機率應該是一個端口掃描行爲。這種模型主要有幾個部分：

·時間維度，就是一段時間內；

·閾值維度，達到閾值的數量；

·不一樣維度，類型相同但內容是不相同的；

·條件維度，知足某些條件。

經過這些內容進行分析組合，能夠分析出更多的場景，好比主機掃描就是1分鐘同一個源IP訪問不一樣主機的同一個端口數量超過100個就能夠初步判斷爲主機掃描；好比分佈式帳號猜想，同一個帳號登陸失敗的源IP地址在一分鐘內出現了20個不同的能夠判斷爲分佈式帳號猜想等等。

2.4 時序告警

這是一種比以前更復雜模型的一種告警模型，這種模型在不少更復雜的場景中用到，好比：非上班時間登陸ftp服務器，上傳了一個腳本，而後下載了敏感文件行爲。這種狀況從大機率上看應該是一次違規行爲，固然條件和內容能夠演變。這種行爲具備明顯的特徵就是時間順序。好比「殺傷鏈」模型的六個階段「發現-定位-跟蹤-瞄準-打擊-達成目標」也具備時間順序的特徵，只是這種時間序列的來源是告警而不是原始的事件。

 

 

3、基於統計的關聯分析

基於統計模型的關聯規則和以前的模型有些不太同樣，有的公司用動態基線、基於行爲的分析等的叫法，本質上應該均可以歸於這一類模型。這種模型在用戶行爲異常分析中也大量使用(用戶異常行爲分析目前也有不少用機器學習算法來實現的)。

具體來講就是閾值沒有辦法提早知道，須要經過計算前面的一段時間獲得閾值，而後根據閾值進行計算偏離的方法。好比流量異常模型，不少的客戶不必定知道平時的流量究竟是多少纔是正常的，這個時候就須要進行動態計算，好比今天9點到10的流量比前一週9點到10點流量的平均值大80%。這個狀況就能夠理解爲流量異常模型。DDOS就是一種經常使用的統計異常模型：

 

在異常行爲分析中能夠大量使用這種模型，好比訪問異常，操做異常，下載異常等。

還有種比較特殊的統計關聯分析是低頻行爲分析，低頻分析本質上也是一種統計行爲分析，只是這種統計指標平時比較少，有可能在大量的數據中被淹沒。這種狀況下選擇指標就比較重要。

4、基於威脅情報的關聯分析

基於威脅情報數據的關聯分析，是企業安全管理平臺將來的主要發展趨勢，它能夠大大提高安全事件分析效率和對威脅行爲的檢測能力和響應速度。

情報數據包括IP指紋、web指紋、IP信息、域名信息、漏洞庫、樣本庫、IP信譽、域名信譽、URL信譽、文件信譽、C&C信譽等。

一般狀況下，企業安全管理平臺與部署在雲端的威脅情報平臺互聯或者把第三方情報數據按期導入到內網。通過安全管理平臺的關聯分析引擎生成的本地安全告警，與獲得的威脅情報數據進行關聯，經過對IP信譽、域名信譽、URL信譽、文件信譽、C&C信譽等多個維度的匹配，分析出安全告警的可信程度，過濾掉告警中的噪音事件，從而增長了本地安全告警的精準度，使得企業安全管理人員能夠迅速定位威脅來源和相關聯的資產和業務，並及時經過工單和處置流程進行快速響應；同時，利用威脅情報能夠對***者進行深刻分析和溯源取證。

從模型來看，基於情報的關聯分析並非一種新的模型，它能夠算是一種新的數據維度，好比之前沒有沒有情報的時候並不知道一個IP是不是惡意IP，一個URL是不是惡意URL，當有了情報後，能夠拿這個數據和狀況數據對比來肯定是不是惡意行爲。這種模型能夠理解爲單條事件模型的一個擴展，好比源IP使用就是判斷源IP維度是否在情報的黑名單內，sourceIP in(情報)。

5、基於情境的關聯分析

基於情境的關聯分析是指將安全事件與當前的實際運行的環境進行關聯，根據更多業務信息，環境信息進行相關性分析，識別安全威脅。好比基於資產的關聯，根據事件中的IP地址與資產的信息進行關聯；好比基於漏洞的關聯，將安全事件與該事件所針對的目標資產當前具備的漏洞信息進行關聯；基於其餘告警的關聯，將安全事件與該事件所針對的目標資產當前發生的其餘告警信息進行關聯；基於拓撲的關聯，結合網絡拓撲中網絡區域內的告警進行關聯。

從模型來看，基於情境的關聯分析也不是一種新的模型，它也能夠算是一種新的數據維度的分析，好比在日誌範式化中增長資產信息，漏洞信息，網絡結構信息等。和其餘高級關聯能夠歸於事件數量告警的一個升級，只是事件告警的來源是事件，這個告警的來源是已經產生的告警，這個模型依然能夠歸於事件數量告警。總體上看，情境分析的模型基本上仍是以前的模型，但分析的難度仍是比較大的，由於這些情景不少都是動態變化的，目前大多數分析模型仍是基於已經範式化後的事件，當這些情景發生變化或者事前沒有進行範式化補充這些信息的時候。這種狀況會大大增長分析的難度。

6、基於大數據的關聯分析

目前咱們已經進入了大數據時代。人類的生產生活天天都在產生大量的數據，而且產生的速度愈來愈快。而安全事件的數量也是相似的，天天產生的數據愈來愈多。其實大數據早就存在，只是一直沒有足夠的基礎架構和技術來對這些數據進行有價值的挖據。隨着科技的不斷進步，對大數據的處理分析能力也愈來愈強。

從模型來看，基於大數據的關聯分析也不是一種新的模型，它主要的特色是利用了大數據技術去處理分析數據，好比存儲，檢索，聚合等。利用大數據平臺的能力能夠分析之前因爲數據太大不能分析的場景。但在大數據分析領域也有不少數據關聯性分析算法：相關性分析、迴歸分析、交叉表卡方分析等，但這些模型在安全分析的過程有多大的做用和效果，目前沒有太大的研究，目前我這邊仍是用傳統的分析模型利用大數據架構的能力進行安全分析。

7、小結

前面介紹的是目前傳統的一些分析模型方法，能夠做爲對安全分析產品中關聯分析是否靈活的一個參考。固然安全分析的前提是日誌解析的準確，日誌解析的準確也是一個很是複雜的內容，這塊也分預處理和後處理等內容，後面有時間也會介紹下此部分的內容。安全***對抗一直在不停的進行演變，目前也出現了一些新的模型，好比基於預測模型的關聯分析，基於機器學習的分析等，這部分目前尚未太多的心得。關聯分析模型自己是一個比較複雜的內容，我儘可能保證內容觀點正確，但本人畢竟才學疏淺，文中如有不足之處歡迎你們批評指正。

備註：文章屬於賽克藍德原創，賽克藍德是專一於數據分析、安全分析、分析服務的提供商。如需轉載請完整保留做者公司信息。