網絡行爲審計技術深度解析

概述
    網絡行爲審計，Network Behavior Audit，國外更多的叫作Network Behavior Analysis, Network Behavior Anomaly Detection (NBAD)。固然，毫不是National Basketball Association。這是一個新生事物，即使國外，出現的年頭也不長。不管怎麼稱呼，其目的都是經過分析網絡中的數據包、流量，藉助協議分析技術，或 者異常流量分析技術，來發現網絡中的異常和違規行爲，尤爲是那些看似合法的行爲。而且，有的產品在該技術上進行擴展，還具備網絡行爲控制、流量控制的功 能。
      網絡行爲審計是安全審計中較爲重要的一種技術實現，其餘安全審計技術還包括日誌審計技術、本機代理審計技術、遠程代理審計技術，具體能夠參見這個文章。
      NBA的實現有多種方式，其中有兩個最重要的分支：
 

1. 基於*Flow流量分析技術的NBA：經過收集網絡設備的各類格式的Flow日誌來進行分析和審計，發現違規和異常行爲，傳統的網管廠商不少開始以此爲進入安全的切入口；而安全廠商則將其納入的範疇。
2. 基於抓包協議分析技術的NBA：經過偵聽網絡中的數據包來進行分析和審計，發現違規和異常行爲，傳統的安全廠商不少以此做爲進入審計領域的切入點。

      
基於抓包協議分析技術的NBA

抓包型NBA技術及產品類型說明
    抓包型網絡行爲審計（NBA）根據用途的不一樣、部署位置的不一樣，通常又分爲兩種子類型。
 

• 上網審計型：審計網絡內部用戶訪問互聯網的行爲和內容、防止內部信息泄漏、用戶違規行爲，提高內部網絡用戶互聯網上網行爲的效率。
• 業務審計型：對網絡中重要的業務系統（主機、服務器、應用軟件、數據庫等）進行保護，審計全部針對業務系統的網絡操做，防止針對業務系統的違規操做和行爲，提高核心業務系統的網絡安全保障水平，尤爲是信息和數據的安全保護能力，防止信息泄漏。

    從上面按用途劃分的定義能夠看出，他們是兩類不一樣的產品。上網審計的對象是用戶及其上網行爲，而業務審計的對象是核心業務系統及其遠程操做。正由於如此， 他們部署的位置有所不一樣。上網審計NBA應該部署在互聯網出口處，而業務審計NBA則就近部署在覈心業務安全域的邊界（通常是核心業務系統所在的交換機 處）。
    下面是兩類產品在技術層面的定義：
 

• 上網審計型： 硬件設備，旁路/串路方式部署在用戶互聯網出口處。經過旁路偵聽/數據報文截獲的方式對內部網絡鏈接到互聯網（Internet）的數據流進行採集、分析和識別，基於應用層協議還原的行爲和內容審計，例如針對網頁瀏覽、網絡聊天、收發郵件、P2P、網絡音視頻、文件傳輸等的審計。能夠制定各類控制策略，進行統計分析。
• 業務審計型：硬件設備， 採 用旁路偵聽的方式對數據流進行採集、分析和識別，實現對用戶操做數據庫、遠程訪問主機和網絡流量的審計。例如針對各類類型的數據庫SQL語句、操做命令的 審計，針對Telnet、FTP、SSH、 VNC、文件共享協議的審計。管理員能夠指定各類控制策略，並進行過後追蹤與審計取證。

    從上面的定義，能夠很清楚的看出來兩種類型的異同。從技術架構上講，他們是同樣的，都是抓包引擎加管理器。可是從具體的技術細節來看，他們之間的差別是顯著的。

差別分析

• 上網審計型系統分析的協議都是互聯網上經常使用的應用層協議，例如P2P、郵件、HTTP、音視頻、網絡遊戲等，同時，爲了進行更爲精確的審 計，還須要再深刻一步，分析協議的內容，例如要可以分析WEB MAIL和WEB聊天室的內容，分析MSN的聊天內容。所以，一個好的上網審計型NBA必需要有一個巨大的、不斷及時更新的協議分析庫。這個難度是挺大 的，由於這些互聯網應用協議具備種類多、變化頻繁的特色，而且不會提早通知開發廠家，最明顯就是音視頻、網遊、聊天室。更加的，即便針對HTTP協議，還 要分析出163郵箱、sina郵箱、yahoo郵箱之間的區別。這是一個苦力活。也是產品的核心技術點。
• 業務審計型系統分析的協議基本上都是區域網中常見的應用層協議，而且與業務系統密切相關。例如TDS、TNS等數據庫訪問協議，FTP、 TELNET協議，HTTP、企業郵箱協議（IMAP、STMP等），等等。對於業務審計型NBA而言，協議種類相對比較固定，而且協議版本比較穩定，比 較易於實現。
• 對於上網審計型NBA，還有一個重要的技術點就是網頁分類地址庫，就是一個巨大的地址庫，裏面對互聯網的網址進行分門別類。用途就在於控制某些用戶能夠訪問哪些類別的網站，不能訪問哪些類別的網站。例如：上班時間不能上游戲網站，而午休時間能夠上，等等。
• 對於業務審計型NBA而言，其核心技術不在於複雜的協議分析，而在於協議分析以後，對生成的歸一化的事件（event）進行二次分析，通 過關聯分析的技術手段，發現針對業務系統的違規行爲，將事件變成真正的事件（incident），或者叫告警。例如，發現某帳戶在某時間段內頻繁的查詢核 心的客戶資料數據庫，從而及時告警，並告知管理員該異常帳戶的行爲，可能該客戶正在下載客戶資料。要實現這種行爲的發現，光靠協議分析是不夠的。協議分析 只能將這種行爲對應的零散的數據報文截獲出來，並變成一條條的事件，多是100條。而只有經過事件關聯分析，才能將這100條時間轉化爲有意義的 incident告警信息。

關於數據庫審計
     能夠說，數據庫審計是業務審計在實現功能上的子集。先看看業務系統的定義：
    「業務系統是由包括主機、網絡設備、安全設備、應用系統、數據庫系統等在內的多種IT資源有機組合而成的。」
    所以，針對業務的審計就要對構成業務系統的各個IT資源之間的訪問行爲以及業務系統之間的操做的審計。只有經過審計構成業務系統的各類IT資源的運行行爲才能真正反映出業務系統的安全狀態。
    咱們說，面向業務的安全審計系統不單是一個主機審計系統、也不是一個單純的網絡審計或者數據庫審計系統，而是他們的綜合。而數據庫審計主要就是針對業務的核心——數據庫的審計。

關於運維審計（堡壘主機）
      運維審計，也叫作堡壘主機，主要是針對網絡內部人員訪問重要服務器、主機、網絡及安全設備的行爲（尤爲是加密協議訪問行爲）進行審計的技術。除了進行訪問 操做的行爲及內容審計，還具有用戶受權、訪問控制、單點登陸的功能，可以大大減輕服務器及設備管理人員的賬號維護負擔，並可以實現基於天然人的操做審計和 責任認定。
      運維審計產品能夠看做是業務審計在技術實現上的一個變種。傳統的業務審計都以旁路部署的方式來進行網絡包偵聽、協議解析還原和審計分析。而運維審計則是以 應用層代理服務器的方式進行部署，獲取應用層網絡協議，進行還原分析，在從新打包提交給目標主機。他們都是基於應用層協議分析DPI的，只是部署方式有區 別。真是因爲代理的部署方式，使得運維審計可以對SSH、RDP、SFTP等加密協議進行解析還原（由於有密鑰），從而擴大了傳統業務審計的審計範圍。

綜合網絡安全審計的解決方案
    在真實的案例中，上網審計NBA和業務審計NBA（包括數據庫審計、運維審計等）能夠聯合部署，達到綜合安全審計的效果。上網審計部署在整個網絡安全域的 邊界，業務審計部署在覈心業務系統安全域邊界。而後，經過一個統一的管理中心，將這個系統的告警信息彙總到一塊兒，讓管理員實現全網統一的網絡安全審計。

上網審計和業務審計的融合
    那麼，兩類產品能夠融合到一塊兒，變成一個產品嗎？我認爲沒有必要，由於他們針對的需求定位是不一樣的，技術細節也是有區別的，若是合一，很差部署，只能部署 到核心交換機上，同時審計用戶上網行爲和保護核心業務系統，對設備性能是個挑戰，會力不從心，簡單的問題反而變複雜了。個人觀點是：只要作到方案級別的整 合就夠了，畢竟兩類產品能夠獨立發揮功效，知足客戶某一方面的需求。

抓包型NBA與IDS的聯繫
      國內網絡安全業界多采用抓包方式來實現NBA，與IDS的工做方式很相像。所以，在國外，不少人將這種NBA叫作EDS：Extrusion Detection System。這個名詞比較形象地代表了NBA和IDS之間的聯繫和區別。
    他們都是採用抓包的工做方式， 採用旁路偵聽的方式進行工做， 部署十分方便，即插即用，沒必要對業務網絡配置作任何更改，對業務網絡沒有任何影響。
    工做的時候都須要用到協議分析技術、特徵/策略匹配技術，遇到威脅能夠實時阻斷，違規/違規過程能夠回放取證。
    NBA和IDS的產品架構比較相似，通常都分爲引擎和管理器兩個部分，引擎負責抓包、協議分析、特徵/策略匹配等底層功能；而管理器則負責數據分析、規則 定義、告警設置、界面交互等上層功能。兩個部分一般分開爲兩個實體組成。不過，隨着用戶需求的發展，有一種趨勢是將上述兩個部分合到一塊兒，即一體化的 NBA設備。對於用戶而言，產品實施無疑更加便捷。

抓包型NBA與IDS的區別
 

首 先，此種NBA是應用層協議分析，由於他關注的是對被保護對象資產的各類違規業務操做，例如telent、FTP、數據庫訪問、HTTP訪問，等等。而 （傳統的）IDS主要是應用層之下的協議分析，由於他關注的是對被保護對象資產的各類***行爲。誠然，如今的IDS也開始進行應用層協議分析，可是分析應 用層協議的目的是爲了發現***行爲，例如MSN的釣魚行爲，等等。

所以，他們最本質的區別就在於IDS是檢測***，而NBA是審計用戶/遠程操做。IDS有一個***特徵庫，須要不斷被動的升級；而NBA定義了一個用戶操做規範庫，說明什麼是合法的行爲，那麼只要是違反這個規範的行爲就會被發現。通俗地講，IDS的規則庫是一套黑名單庫，寫滿了什麼是不對的，老是後發制人；而NBA的規則庫是一套白名單庫，簡潔的列出了什麼是容許的，保證先發制人。下面是兩條NBA規則庫的表述性示例：

1）單位規定：全部對數據庫的訪問只能來自於中間件系統所在的IP1，而且只能經過midware帳戶進行訪問，而管理員admin帳戶只能從維護終端IP2訪問數據庫，其餘行爲都是違規的。

2）單位規定：任何數據庫管理員賬號都不能讀取數據庫中工資表的員工工資字段，只有財務的小李能夠從他的機器（IP）經過工資管理系統進行訪問。

很顯然，NBA在工做的時候，會分析應用層協議，並將不符合規則庫的操做行爲記錄下來。這種分析的效率將會很高，由於白名單技術確保了規則不會不少，而且相對保持穩定，一般只會跟隨業務的變化、或者是用戶權限的變化而變化。
 

    正是因爲上述本質區別，使得NBA更加貼近用戶的業務系統，惟有如此才能真正保護用戶的業務系統不受違規行爲的干擾，而這些違規行爲每每來自網絡的內部！而一旦與業務掛鉤，NBA系統的複雜度就馬上上升，尤爲是NBA的管理器部分遠比IDS的管理器要複雜。
    首先是規則更加複雜，不是簡單的字符串匹配，而是更爲複雜的匹配，涉及到多個變量，不只包括源IP、目的IP、源端口、目的端口、用戶名、賬號、（協議）操做類型、操做內容，等等。
    其次是匹配以後的數據分析更加複雜，不是簡單的告警和阻斷，而是須要進行二次數據分析，也就是針對引擎產生出來的各類歸一化的事件信息進行實時事件關聯分 析realtime event correlation analysis。這種關聯分析，不是通常的關係型數據查詢語言可以徹底達成的。

基於*FLOW流量分析技術的NBA
    這類NBA技術和產品經過採集網絡中（尤爲是核心網絡）交換機、路由器等的flow流量日誌，進行行爲分析，發現違規和***。
    一個Flow（流）日誌裏面包括了Flow的起止時刻、包字節數、源/目的IP、源/目的端口，以及其餘一些TCP報文信息。
    經過分析這些Flow日誌，能夠以建模的形式創建起網絡中的行爲模型，從而得知某個IP的應用層協議流量分佈，找尋網絡中某個IP的非法或者違規行爲。
    Flow有多種格式，最典型的有三種：NetFlow、SFlow和IPFIX。在國內，還有就是華爲、H3C的NetStream流。這些流日誌格式各有不一樣，可是承載的內容都大體相同。

爲何須要Flow分析，它與抓包型NBA的異同
     由於對於核心的路由、交換設備而言，他們天天工做過程當中收發的數據報文量是巨大的，經過採集這些設備產生的摘要性報文信息（Flow日誌），能夠以一種比 較經濟的方式得到網絡行爲數據，從而進行行爲建模、分析和審計。而若是經過抓包方式去作的話，那麼這個用來作抓包分析的設備的硬件性能將可能須要與核心路 由交換設備至關，成本必定會很高。這也是Flow分析型NBA存在價值。
    固然，Flow分析型NBA的審計深度不如抓包型NBA，由於Flow日誌是摘要數據，信息不全，同時，行爲建模的過程當中存在不少模糊匹配的過程，不夠精 確。於是，Flow型NBA適合作全網行爲的統計分析和趨勢分析，而要針對某個安全域中特定的網絡行爲（例如上網行爲、數據庫操做行爲，等等）進行審計的 話，抓包型NBA則更勝一籌。
    咱們進一步加以闡述。Flow日誌是摘要數據，應該好理解。既然是摘要，信息必定不全，就會影響到審計的精確性，也不難理解。Flow型NBA的行爲建模 過程的模糊性是指在經過Flow日誌進行行爲建模的時候，須要經過一個特徵庫來進行匹配，以便將TCP流信息轉換成應用層行爲信息。例如，Flow日誌不 會說某個數據包是HTTP協議仍是SMTP協議，可是會提供一個TCP端口號。所以，經過一個相對固定的端口知識庫，能夠將某個數據包映射爲HTTP包， 另外一個數據庫包映射爲SMTP協議包，以此類推。再高級一些，經過分析連續時間內的多個數據包之間的關係，能夠判斷出一些異常的數據流，從而推測出某些異 常的行爲。總之，Flow型NBA的分析審計過程是存在模糊性的，不能確保準確。這也是爲什麼適於作行爲統計和總體趨勢分析的緣由。
    另外，Flow型NBA是地道的行爲審計，而抓包型NBA除了能夠作行爲審計，還可以作內容審計。也就是說，抓包型NBA不只知道誰在執行HTTP操做，還知道他訪問了那個URL，甚至網頁的內容也能知道。
    所以，Flow型NBA與抓包型NBA適用於不一樣的場合。

技術應用
    本質上講，NBA技術是一類跨網管、安管的技術，是網管與安管融合的一個具體例證。
    目前，Flow型NBA更可能是傳統的網管廠商在作，而國內的安管廠商則利用其在IDS上面的技術積累從事抓包型NBA的研製。
    國外的狀況也大體相同。
    最後，咱們要提一下，NBA和SIM產品具備不少類似性和共通性，他們天生就是一對，協做實現了全網的事件（日誌）收集、分析和審計。

國內外的NBA技術與市場走勢

國外

    NBA這個詞最先就是被老外提出來的。在國外，NBA中的A通常都稱做Analysis，比較中性。我可以找到的就是2005年9月9日Gartner出版的一份報告《Use Network Behavior. Analysis for Better Visibility Into Security and Operations Events》。爲此，Gartner還爲它專門創建了一個分類。相比之下，Yankee集團對NBA的研究更加熱衷一些。做爲對IDS的必要補充，NBA一開始就是針對DLP（數據泄漏保護，Data Leakage Protection）這個話題。NBA是一種跨安全管理和網絡管理的技術，它借鑑了網絡管理中的流量分析技術，又借鑑了安全領域經常使用的協議分析技術，成爲了傳統網絡安全檢測設備的有益補充。下面這幅圖是2007年Yankee集團對NBA技術發展趨勢的分析判斷。

在業界的追捧下，NBA技術獲得了很快的發展。因爲NBA自身技術的多樣性，很快造成了各類分支。尤爲由於NBA技術跨網管和安管的特性，加入這個市場的玩家既有網管廠商，也有安管廠商。天生地因爲思路上的差別，各自推出的產品差異仍是很大的。很快，因爲防範內部威脅的需求不斷加強，NBA出現了一個重要的分支——DAM（Database Activity Monitoring）。DAM技術起初就是經過網絡抓包來分析基於網絡的數據庫操做行爲，漸漸地，爲了更加全面的保護數據庫，DAM技術又增長了經過數據庫日誌、數據庫代理等技術來完善對數據庫的保護。到後來（2008年開始），DAM已經脫離了NBA，和NBA地位平齊了。

      在2007年，Gartner發佈了一個名爲《Select the Right Monitoring and Fraud Detection Technology》的重要報告。Gartner的幾個領域的分析師們湊在一塊寫出了這個報告。相關的技術被分爲了五類：

1）  數據庫行爲監控（DAM）：NBA的衍生，從廣泛協議分析到數據庫協議分析；

2）  內容監控和過濾（Content Monitoring and Filtering，簡稱CMF）：也是NBA的衍生，從行爲深刻到內容；

3）  NBA：（注：這個報告中對利用NBA進行數據庫操做分析的闡述我並非徹底認同的）

4）  欺詐檢測

5）  SIEM（NBA和SIEM也是親戚，這個咱們之後還會詳談）

      根據這份報告，NBA的定義成形了（NBA allows security and network personnel and inline devices to monitor and alert on network traffic or packet anomalies）。而且，DAM被從NBA中分離了出去，Gartner也爲DAM專門創建了一個分類。

      說到NBA的定義，這個不錯。

      從2008年開始，NBA技術逐漸成熟，而且不斷地衍生，成爲其餘新產品的必要技術組成部分。Q1Labs將它與SIEM結合，而Mazu則被Riverbed收購。漸漸的，Gartner再也不將NBA列爲熱門技術，轉而大力研究DAM、SIEM和CMF了。可是，NBA的實質內涵和技術做用一直沒有消褪，這項技術如今依舊頗有用。Yankee在2008年的一項調查顯示，被訪者（美國公司）中有38%已經部署了NBA。

 

國內

      回到國內，基於NBA的抓包技術，國內最火的就是獨具特點的上網行爲審計/管理產品，國情使然。此外，基於NBA的數據庫抓包技術，DAM（國內叫數據庫審計）產品也出現了。還有，網管廠商從Flow日誌入手，開發出了輕量級的NBA產品（流量日誌分析產品）。能夠看到，雖然沒有明確的NBA產品，可是它的變種很壯大，上網行爲審計市場沒有人分析統計過，我想確定不小。

    因爲國內技術整體發展滯後於國外，國內NBA興起的時候，國外NBA技術已經開始分化，於是，國內就沒有造成過穩定的NBA的定義，一開始就是花樣繁多的。如今，上網行爲審計、數據庫審計產品所包含的技術特徵已經超越了NBA的基本技術，融合了更多的其餘技術。例如網關控制技術、日誌分析技術，等等。

 

關於將來

    NBA會成爲一個基礎性的技術，其本質的DPI、DFI技術會被其餘各種產品所普遍採用。國外，獨立的NBA產品恐怕會愈來愈少，有也極可能是準備被收購的。大型的和專業的安全廠家以及網絡廠家會擁有這項技術，並體如今其產品中。NBA會成爲網管和安管的一個技術交匯點。而且，網管和安管廠家應用這項技術的目標必定會有差別。網絡管理員和安全管理員都須要作網絡行爲分析，可是目的是不一樣的。

      在國內，NBA會幻化爲多種產品形態，核心的就是上網行爲審計（或上網行爲管理）和數據庫審計（或叫業務審計）。爲了增強控制性，還會出現網關型的產品，例如針對應用層協議分析的流控產品，一種與傳統的QoS流控不太相同的產品。