SIEM(security information and event management),顧名思義就是針對安全信息和事件的管理系統,針對大多數企業是不便宜的安全系統,本文結合做者的經驗介紹下如何使用開源軟件搭建企業的SIEM系統,數據深度分析在下篇。html
對比Gartner2009年和2016年的全球SIEM廠商排名,能夠清楚看出,基於大數據架構的廠商Splunk迅速崛起,傳統四強依託完整的安全產品線和成熟市場渠道,依然佔據領導者象限,其餘較小的廠商逐漸離開領導者象限。最重要的存儲架構也由盤櫃(可選)+商業數據庫逐漸轉變爲可橫向擴展的大數據架構,支持雲環境也成爲趨勢。mysql
開源SIEM領域,比較典型的就是ossim和Opensoc,ossim存儲架構是mysql,支持多種日誌格式,包括鼎鼎大名的Snort、Nmap、 Nessus以及Ntop等,對於數據規模不大的狀況是個不錯的選擇,新版界面很酷炫。linux
完整的SIEM至少會包括如下功能:sql
- 漏洞管理
- 資產發現
- 入侵檢測
- 行爲分析
- 日誌存儲、檢索
- 報警管理
- 酷炫報表
其中最核心的我認爲是入侵檢測、行爲分析和日誌存儲檢索,本文重點集中討論支撐上面三個功能的技術架構。數據庫
Opensoc是思科2014年在BroCon大會上公佈的開源項目,可是沒有真正開源其源代碼,只是發佈了其技術框架。咱們參考了Opensoc發佈的架構,結合公司實際落地了一套方案。Opensoc徹底基於開源的大數據框架kafka、storm、spark和es等,天生具備強大的橫向擴展能力,本文重點講解的也是基於Opensoc的siem搭建。安全
上圖是Opensoc給出的框架,初次看很是費解,咱們以數據存儲與數據處理兩個緯度來細化,以常見的linux服務器ssh登陸日誌蒐集爲例。服務器
如何在離線數據中,經過行爲分析和攻擊建模識別出深刻的入侵行爲呢?請看下篇。架構
來自:http://www.freebuf.com/special/127172.html框架