nCompass-網絡流量基礎知識及數據源

單擊返回：自學N-Compass之路 
nCompass-網絡流量基礎知識及數據源

1.  流量分析基礎知識

1.1  常見的流量分析方式：

• SNMP： 網管平臺經過主動式獲取設備接口流量信息。
• Flow：網絡設備將穿越的數據流信息精簡壓縮打包。
• 日誌：有些設備支持基於業務訪問內容生成詳細的交互信息。
• 原包：一般是交換機將穿越的數據包1：1的複製到一個新的物理端口發送至分析平臺，而後分析平臺進行拆解分析出指標。

SNMP ：

網管平臺以主動獲取MIB-ID的方式讀取設備接口硬件級信息，包含接口命名/速率/帶寬/流入流出包數/流入流出吞吐量等。

優勢： 運維人員最經常使用的流量分析方式，技術成熟

缺點：

• 數據精細化顆粒度較差，獲取到的數值爲最近5分鐘平均值；
• 高頻主動式獲取可能會對地段設備性能消耗較大，業界內一般採用每5分鐘或每1分鐘讀取一次；
• 分析內容極少，有效信息僅包含接口實時吞吐量，沒法看到明細通信對。

Flow（NetStream、NetFlow和sFlow）

Flow技術基於「流」提供報文統計功能，能夠對網絡設備的每一個端口上出入方向的流量進行採樣，對採樣到的報文依據報文中的關鍵值（例如五元組等）對網絡中的流量進行分類統計。

優勢：輕量級

缺點：

• 採樣比緣由可能會致使數據準確性較差；
• 有效的分析內容較少，僅包含基本的五元組信息；
• 傳輸可能會消耗帶寬。

日誌：

優勢：輕量級

缺點：

• 傳輸可能會佔用業務帶寬（有的日誌內容只能從業務端口發出，不能出帶外端口發出）；
• 內容精細程度和各設備廠商所支持的分析程度有關。

原包（第一種：流量鏡像）：

 優勢：

• 非入侵式旁路部署，不會對現網架構形成影響，隔離且獨立的網絡架構；
• 高密度鏡像端口集中化管理；
• 良好的可擴展性。

缺點： 可能會對設備處理性能形成極微影響，

原包（第二種：分光器）：

 優勢：

• 不會對網絡設備的性能形成任何影響；
• 高密度鏡像端口集中化管理；
• 良好的可擴展性；
• 分光器爲無源設備，異常時會自動bypass，對業務影響幾乎爲零。

缺點： 初次上線分光器會中斷業務。

1.2  nCompass採集口

• 電口：通用千兆電口模塊。
• 光口：SFP 850nm LC多模模塊，支持千/萬兆。
• 注意，對端設備模塊要求必須類型一致。

1.3 流量規劃

• 監控節點：同一臺設備的同一個物理接口才是一個監控節點。（同一臺設備的不一樣物理接口不能當作一個監控節點。）
• 避免問題：非同一條數據流沒法重組。（安全類設備隨機回話序列號）
• 建議鏡像方式：統一監控節點both雙向鏡像。
• 如何斷定數據是同一監控節點？ 經過一條數據流裏面兩個方向的數據（服務端到客戶端，客戶端到服務端），查看源目MAC是不是一對。
• 關鍵設備重點監控：例如串接的負載、WAF、代理設備、行爲管理、防火牆、防水牆、防毒牆。（需分別監控交換機、入關鍵設備、出關鍵設備接口，儘量的避免交換機異常致使故障定位分析的錯誤。）

1.4 監控原則

• 關鍵性：需監控全部4層設備（對數據包具備處理功能的設備，防火牆、負載等）先後端節點；交換機只對數據進行快速轉發，一般場景下不會對數據進行處理，不監控交換機的先後端。
• 全面性：針對各關鍵業務系統架構特色合理部署監控節點，儘量監控業務流上的每一個關鍵節點。
• 準確性：交換機鏡像出的流量儘量的純淨，應避免出現單向流量或重複流量，以減輕設備性能壓力。
• 惟一性：若兩個監控點的流量重複，需藉助TAP流量匯聚設備分別打上不一樣的VLAN標籤或將以上兩個節點的流量分配給不一樣的設備物理接口分析。
• 均衡性：針對各區域數據量特色合理分配設備接口及處理性能，作到壓力分攤，以保證數據的準確性。例如，東西向數據交互量大、南北向IP通信對量大等。
• 分壓性：根據數據中心網絡內部區域明細劃分原則，大流量的不一樣區域儘量使用不一樣的探針進行監控，以下降運維複雜度。
• 擴展性：設備的部署應考慮峯值流量以及將來一段時間內業務增加蹴球，避免輸入到設備的流量
• 超出設備的實際處理能力。

1.5  nCompass的重要概念

   「個人網絡」：

     nCompass流量分析平臺是旁路設備，不像是串接的網絡設備，很難去斷定數據的流入/流出的方向，因此引入「個人網絡」的概念。 進入「個人網絡」流量爲流入，離開「個人網絡」流量爲流出。

     哪些地址段須要定義爲「個人網絡」：

•   公網對外提供服務地址
•    數據中心內部私有地址
•    外聯第三方單位對外體用服務地址

   「時間戳」：

      nCompass平臺會對收到的每一個數據包打上nm級時間戳，準肯定爲100%。

     不建議使用TAP設備打時間戳。

    如何定義分支站點？

      分支站點定義存在一個很大的誤區，如何準確的定義分支站點？

      網絡工程師可能會對此產生誤解，專線的互聯地址也就是網絡設備的接口地址不該該定義爲站點，由於在訪問的實際交互過程當中，例如一臺上海的終端192.21.0.1訪問的目的確定真實的業務IP，而不是網絡設備的接口，原始流量中看到的源目IP也是同樣。

2. nCompass數據源

2.1 數據源的幾個概念

• 數據模型：nCompass平臺的數據分類方式。數據模型之間能夠經過共同的維度實現關聯。
• 維度：是指流量分析裏的分析對象，好比鏈路、IP、通信對、省份、運營商、MAC、Vlan、租戶、VXlan等等
• 指標：對分析對象的行爲、狀態、數量進行聚類、統計獲得的結果。

      維度和指標的區別：

• 指標隨着時間變化、維度不隨時間變化
• 指標有單位，維度沒有單位
• 指標大可能是數值，維度大可能是名稱
• 時間是特殊的維度

2.2 數據源的使用步驟

• 選擇數據模型
• 選擇維度
• 選擇指標
• 過濾維度
• 篩選指標

2.3 經常使用的數據模型

• TCPIP：最多見的模型，包括OSI參考模型1-4層的維度：包括數量、延時、大小、成功失敗等種指標。
• HTTP：專門分析HTTP協議的模型，包括域名、URL、useragent等各類維度：包括，延時、返回碼的統計。
• HTTPS：專門FenixSSL握手的協議。
• Oracle、DB二、SQLserver：各類數據庫模型。
• NetFlow：專門分析Flow的模型，包括netflow、Netstream、sflow等。
• ICMP模型：專門分析ICMP差錯報文的模型。
• 撥測：主動撥測的模型。

 2.4 數據源的使用（數據表格的方式）

      數據回溯（裏面有各類數據表格）

 

 

 2.4.1 具體看一下「接口」數據表格：     

 維度：探針接口

 指標： 總吞吐量、流量吞吐量、流出吞吐量、丟包率、網絡時延、建連請求數、新建回話數、建連失敗數。

若是想知道這個接口裏面各個通信對的狀況？

接口右鍵---「添加維度」

• 應用： 應用、應用組、域名、URL
• 站點：站點、站點組、客戶端站點、服務端站點、客戶端站點組、服務端站點組
• IP：IP、服務端IP、客戶端IP、IP通信對、服務端口、客戶端端口、服務端IP端口、XFF-IP
• 採集點：
• 其餘：

如今看一下經常使用的，在這個探針接口下面的 」 服務端IP、客戶端IP、服務端口」  ，  還能夠進行排序。

右上角能夠單獨 「修改維度」 「修改指標」 。

 

「修改指標」 內具體內容：

 

 2.4.2  具體看一下「服務端口」數據表格（數據中心有哪些服務端口）：     

 如何具體看都有哪些服務器使用了 80 端口：

如何看一臺服務器對外提供了哪些端口服務呢？

此時能夠把「服務端IP」也添加進來

 2.5 Dashboard 數據源的使用

 新建一個Dashboard ---  圖表區

那麼若是想知道曲線上面某一時間點的具體內容是什麼？  能夠新建一個表格區

此時能夠講「接口流量」的圖標區  和 「TopN通信對」的表格區 作關聯 。

若是當你看到IP通信對以後， 想進一步只看某一個客戶端IP訪問的全部服務器端IP端口，如何查看？

複製一份表格粘貼在表格區------再原表格右鍵關聯-----

關聯的時候把「服務器IP」「服務端口」 去掉，   意思就是當從表格「Top N通信對」複製到關聯表格「客戶端訪問的全部IP端口」時，會忽略「服務器IP」「服務端口」  。

 

以上爲列出全部客戶端IP爲172.19.16.14訪問的全部ip端口。

以上爲列出全部客戶端IP爲172.16.104.8訪問的全部ip端口。