詳解網絡流量監控

詳解網絡流量監控

       網絡的行爲特徵能夠經過其承載的流量的動態特性來反映，因此有針對性地監測網絡中流量的各類參數(如接收和發送數據報大小、丟包率、數據報延遲等信息)，能從這些參數中分析網絡的運行狀態。經過分析和研究網絡上所運載的流量特性，有可能提供一條有效的探索網絡內部運行機制的途徑。

      另外，網絡流量反映了網絡的運行狀態，是判別網絡運行是否正常的關鍵。若是網絡所接收的流量超過其實際運載能力，就會引發網絡性能降低。經過流量測量不只能反映網絡設備(如路由器、交換機等)工做是否正常，並且能反映出整個網絡運行的資源瓶頸。因此，企業網中網絡流量的健康程度，就如同人體中的血液同樣重要。

1、網絡監聽關鍵技術

1.網絡監聽

       網絡監聽是一種監視網絡狀態、數據流程，以及網絡上信息傳輸的管理工具，其監聽的工做流程是：監聽者經過單一探針或分佈式的探針，收集目標網絡段數據流，經過預約的隧道彙總到遠程/本地數據中心，並利用網絡流量/協議分析系統完成對海量數據的初步分析和預處理，最後根據任務需求，對其中的關鍵數據完成識別、地理位置的定位和評估，爲進一步的行動提供依據。網絡監聽包括兩種核心技術，即數據流採集技術和網絡流量/協議分析技術。數據流採集，指經過在特定位置部署網絡監聽探針，從監聽的對象（包括單機或內網網段）處採集數據流；協議分析，一般指採用計算機人工智能與情報分析專家協同處理的方式，從海量數據中發現任務所需的關鍵信息，併力圖在工做效率和準確性方面取得最佳平衡。

       網絡流量/協議分析技術能幫助網絡運行維護人員充分了解和掌握網絡的流量佔用、應用分佈、通訊鏈接、數據包原始內容等全部網絡行爲，以及整個網絡的運行狀況，使其能在網絡出現問題時，快速準確地分析問題緣由、定位關鍵點、故障點和威脅點並進行相應處理，確保網絡按預期目標運行。它能幫助咱們弄清楚「網絡內部的運做細節」

2． SNMP協議的不足

       SNMP是RMON模型的前身。目前，SNMP是基於TCP/IP並在Internet中應用比較普遍的網管協議，網絡管理員可使用它來監視和分析網絡運行狀況，可是SNMP也有一些明顯的不足之處。SNMP使用輪詢採集數據，而在大型網絡中輪詢會產生巨大的網絡管理報文，從而致使網絡擁塞。SNMP僅提供通常的驗證，不能提供可靠的安全保證。此外，SNMP也不支持分佈式管理，而採用集中式管理。因爲只有網管工做站負責採集數據和分析數據，因此網管工做站的處理能力可能成爲瓶頸。爲了提升傳送管理報文的有效性，減小網管工做站的負載，知足網絡管理員監控網段性能的需求，IETF開發了RMON用以解決SNMP在日益擴大的分佈式互聯中所面臨的侷限性。

3.監聽關鍵技術

       網絡監聽系統中包括兩個方面的核心技術：數據流採集技術和網絡流量/協議分析技術。與此同時，業界也存在另外一種劃分方法，將網絡監聽的關鍵技術歸納爲如下三個方面的內容：

       數據流採集技術解決「如何從網絡的不一樣位置獲取咱們所須要的絡數據流」這一問題。從數據採集的位置看，能夠分爲基於網絡、基於主機及混合採集三種：

 （1）流量監測技術。

       流量監測技術主要包括基於SNMP的流量監測和基於Netflow的流量監測。基於SNMP的流量信息採集。經過提取網絡設備代理提供的MIB收集一些具體設備及與流量信息有關的變量。基於SNMP收集的網絡流量信息包括輸字節數、廣播包數、丟包數和輸出隊長列長度等。

（2）基於Netflow流量信息採集。

       基於網絡設備提供的Netflow機制實現的網絡流量採集，在此基礎上實現的流量信息採集效率和效果均可以知足網絡流量異常監測的需求。基於以上的流量檢測技術，目前有不少流量監控管理軟件，此類軟件是判斷異常流量流向的有效工具，經過流量大小變化的監控，能夠幫助網管人員發現異常流量，特別是大流量異常流量的流向，從而進一步查找異常流量的源地址和目的地址。

（3）協議分析技術。

        協議分析技術用於解決了解掌握用戶具體使用了什麼協議和應用，主要包括協議和應用識別、數據包解碼分析等。

4 NetFlow與sFlow的區別

         目前基於流量的解決方案主要分爲sFlow和NetFlow兩種。sFlow是由惠普和Foundry Networks聯合開發它採用隨機數據流採集技術，能夠適應超大網絡流量例如在萬兆流量的環境中，進行實施分析網絡傳輸，可是支持sFlow的硬件設備並很少，目前有惠普和FoundryNetworks以及Extreme Networks廠家的設備支持。NetFlow是思科的技術目前普遍的在各類中高端設備都支持，但目前對萬兆流量支持的並不理想，它採用了定時抽樣採集數據。Ntop工具的插件中就提供了sFlow和Netflow流量採集的支持。

5.協議和應用識別

       根據採集的數據報報頭的內容，採用基於協議自動機的流量識別技術，綜合分析包括IP地址、端口號、關鍵字、報文格式、傳輸層協議等在內的多種特徵，對流量進行分類並完成對各類應用層協議的準確識別，如數據庫協議、使用動態端口分配的P2P、加密型或非加密型即時通訊、虛擬隧道應用等都將無所遁形。

        基於數據包解碼的分析。首先將採集到的數據報按照報文格式定義解碼爲可讀的數據段，而後對海量的數據段進行智能化狀態模式匹配。這種技術的原理是以與會話中的客戶端或者服務器端相同的方式解碼，各個協議組件在識別通訊數據的各個部分類型以後根據RFC定義的規則搜尋信息模式，在某些狀況下能夠經過在某個特定的協議域中進行模式匹配來進行，而有些則須要採用一些更加先進的技術或引入人工干預，如根據一些特定的變量（如某個域的長度或者自變量的數量）進行檢測等。

6.網絡數據流採集技術

       掌控網絡通訊狀況的最佳辦法是對網絡數據流進行全面採集。目前主要有兩種類即硬件探針和軟件代理。網絡探針（Sensor）一般藉助Hub/交換機/TAP等設備，如常見的交換機端口分析器(SPAN)功能,本書中涉及的監控部分都是利用此功能；還可採起在網段中串接TAP設備的方式；使用集線器(Hub)做爲網絡中心交換設備的網絡爲共享式網絡，集線器以共享帶寬的方式工做，全部接在集線器上的設備均處在一個衝突域中，所以，若是用戶網絡的中心交換設備是集線器，只需將監聽設備與集線器相連，便可捕獲整個子網中全部的數據通訊。

         交換機端口分析器（俗稱SPAN）是平時比較常見的，且做用在交換機上的網絡數據流採集端口。網絡管理員配置交換機上的一個端口做爲SPAN端口，而後交換機就將其指定端口/VLAN的流量複製併發送到SPAN端口，用於監聽網絡流量。固然是用SPAN方式也有它的不足，它工做時逼近要以犧牲交換機性能爲代價（正常狀況下啓用SPAN後交換機CPU的使用率在10%如下，若是過半那麼就不能使用SPAN方案），爲了解決這個問題，在千兆速率以上的網絡中要試試流量收集分析，就要用到硬件加速技術，目前比較好的是Endace公司開發的GAG系列檢測卡，有興趣的讀者能夠在網上深刻查詢。

7 .SPAN的侷限性

         在《開源安全運維平臺-OSSIM最佳實踐》一書中所有案例都用到了SPAN技術，但應該指出的是思科、華爲等廠商在SPAN方面有着一些限制：

• SPAN會話中目的端口只能有一個；

• 不一樣的SPAN會話目的端口只能有一個；

• 通常中檔的思科設備一般只支持一個會話；

        在安全級別和要求比較高的場合（例如多個IDS系統+多個流量分析系統並行使用的狀況），會要求使用它2個以上的安全設備或者流量分析設備，這時因爲交換機SPAN端口數量上的限制，沒法知足要求，因此用戶一般會考慮採用專用流量分析接入設備—TAP（Test Access Point）方式，而傳統的SPAN能夠做爲補充。基於TAP的流量複製/匯聚器，它是個硬件設備，做用是支持多端口的流量匯聚，並且能作到真正的全線速，也就是可以完整的複製到多個監聽端口上供多套分析系統使用。爲何它能這麼強悍，由於TAP設備內部採用了硬件ASIC方式複製交換引擎，因此能夠保證千兆全線速複製監聽。一般部署方式是將TAP設備串聯在防火牆和核心交換機之間，而後將IDS/IPS等多套安全設備接到TAP的指定端口就能實現多個安全設備同時工做的目的。下面經過表1，讓讀者對三者優缺有個清晰的認識

表1 HUB/SPAN/TAP 監聽方法比較

         在一些網絡應用很是發達的大型企業中，架設用戶後臺使用IBM WebSphere應用，當出現問題是，運維人員會在多個交換機上建立SPAN端口，咱們知道Cisco6500系列交換機只能設置2個SPAN端口，這時若是有多套監控系統就沒法同時使用。並且當負載大時也沒法使用SPAN，這時使用矩陣交換機就能夠保證監控工具正常運行。而且可以將更多的網絡嗅探工具接到上面進行分析。矩陣交換機比起TAP更多的是使用內置的過濾功能，他可讓運維人員選擇特定的數據流經過指定的工具。試想一下在一個不能過濾的TAP接口中，一會兒會被來自萬兆通道的數據沖垮。使用了矩陣交換機的過濾功能就不會使嗅探器工具過載。

2、用Netflow分析網絡異常流量

         隨着各類網絡應用迅速增長，由此帶來網絡流量的激增。在這些流量中網絡用戶的上網行爲如何？各類類型的流量如何分佈？在這種狀況下，可使用NetFlow這一有效工具以知足對網絡流量管理的需求，這個工具就是NetFlow。最初NetFlow是由Cisco開發，因爲使用普遍，目前不少廠家均可以實現相似NetFlow的功能，如：Juniper、Extreme、Foundry、H3C。對於Cisco來講，NetFlow有多種版本，如：V五、V七、V八、V9。目前NetFlow V5是主流。所以本文主要針對NetFlowV5，這一版本數據包中的基本元素包含哪些內容呢，首先從Flow講起。詳情請參閱《開源安全運維平臺-OSSIM最佳實踐》。在書中不只介紹如何部署Netflow系統，如何使用它來分析異常流量，還詳細利用另外一款開源工具來分析應用層的流量，最後在奉上如何預防嗅探技術的方法，全面知足你的胃口。