科技雲報道原創。數據庫
混合雲趨勢下，數據中心的網絡流量監控正在變得愈來愈複雜。編程
據諮詢機構Enterprise Management Associates調研顯示，在企業上雲以前，大多數企業已經採用了4-10個工具來監控網絡並進行排障。當多雲環境和混合IT架構來臨時，網絡複雜程度成倍增長，傳統的以設備爲中心的網絡監控工具，開始沒法知足雲環境所需的可見性，而企業也很難把愈來愈零碎的網絡監控工具融合在一塊兒。安全
那麼，混合雲下的網絡流量監控到底應該怎麼作？對於採用了多雲環境的企業而言，是否存在一種基於「全景」的網絡監控解決方案，可以讓複雜的網絡環境變得易於管理呢？服務器
** 網絡
暴漲的虛擬網絡流量，缺失的全網流量監控**架構
一直以來，網絡流量的採集和分析，是企業數據中心基礎設施不可或缺的監控手段。經過對網絡流量的深度分析，企業可以更好地定位網絡故障、優化網絡和業務性能指標。運維
然而，自2019年以來，來自金融、電信、IDC等行業的一線從業者，卻對「雲環境下的網絡流量採集」這一課題，保持着集體性的高度關注。對於這些IT水平走在各行業前列的大型機構來講，一個老生常談的網絡流量監控領域，到底出了什麼問題？機器學習
在過去，國內企業數據中心廣泛採用傳統三層IT架構，對網絡流量的監控，主要是經過網絡物理交換機鏡像來獲取業務交互的東西向（相對於數據中心出口的南北流量而言）流量，而後將採集到的流量給到分析工具。分佈式
隨着企業數據中心架構逐漸雲化，網絡流量的採集和分析隨之發生了巨大的變化：雲計算環境下，部分東西向的流量再也不通過物理交換機。同時，虛擬機的上線、下線、擴容、遷移、切換等操做頻繁，均爲自動化實現，而傳統的靜態鏡像沒法跟隨虛擬機實現同步的動態部署，也就沒法採集到所需的流量。換句話說，傳統的基於物理交換機鏡像的網絡流量監控方式，在雲環境中開始失效。工具
此外，雲端暴增的虛擬網絡流量，也讓傳統的鏡像監控方式難以承受。據艾瑞諮詢《2020年中國數據中心行業發展洞察報告 》指出，雲化推進數據中心向大規模機房演進，目前數據中心東西向流量已經超過南北向流量。在傳統鏡像方式下，大規模的東西向流量經過物理交換機端口被引向虛擬機或服務器進行集中處理，因爲對端口消耗過大，嚴重影響了網絡設備的性能和穩定性。
值得注意的是，混合雲環境下的網絡架構更爲複雜，想要基於企業現有的監控工具實現端到端的診斷，幾乎成了一個不可能完成的任務。在混合IT架構下，企業雲數據中心可能包括OpenStack、VMware、裸金屬、容器等異構IT資源池，涉及業務區、互聯網接入區、外聯區、DMZ區等多種網絡區域劃分，網絡環境正在變得愈來愈規模巨大、層級複雜且多變。
從企業現有的網絡監控工具看，不管是日誌管理、網絡性能管理、應用性能管理等工具，仍是雲廠商提供的流量採集和分析工具，都是各自爲陣，沒法爲企業梳理出完整的業務流量訪問路徑，來實現基於混合IT的全網流量監控，更不用提在多雲環境中能掌握全局化的、精細化的網絡管理能力。
據Forrester調研報告顯示，12%使用現代基礎設施監控工具的受訪者表示，他們仍然難以得到端到端的可見性和擴展性以支持整個企業網絡運維。這種侷限性，隨着企業數據中心雲化進程的深刻，暴露得愈發明顯。
愈來愈多的企業意識到，在混合雲環境中實現全網流量監控，並非一件輕鬆的事情。
**
企業IT歷史包袱下，全網流量監控改造之痛**
雲環境下全網流量監控的缺失，讓企業如鯁在喉。大型金融機構、電信運營商、IDC運營商，以及採用了混合雲和雲原生技術的行業頭部企業，都在急切地尋求解決方案。
然而在企業IT歷史包袱下，改造之路何談容易？
從建設的角度看，企業通過多年的信息化建設，積累了大量的軟硬件IT資產，並造成了較爲固定的IT管理方式。企業更多考慮的是，如何在保持現有的網絡設備投資和監控方式的基礎上實施改造。這就要求新的網絡解決方案，可以與現有的IT軟硬件設備和監控工具無縫對接，並儘量輕量級的部署，不干擾現有的生產環境。
從部署的角度看，雲業務帶來了大規模的、彈性的虛擬網絡流量，那麼雲環境下的流量監控方案也須要隨雲而動，一方面可以在IT異構環境中靈活部署，並隨着虛擬機、容器等資源的實時變化而彈性伸縮；另外一方面，也須要下降對計算、存儲、帶寬等資源的佔用，不能影響現網中運行的業務。
從安全的角度看，大規模的部署、靈活的虛擬網絡變更以及開源組件的應用，都會給內網安全帶來隱患，所以新的方案須要考慮安全策略的自動化管理，以保證現有的安全策略被正確執行，知足企業上雲安全合規的要求。
從業務的角度看，網絡流量監控曾經只是IT部門的運維工做，現在卻成爲運維、安全、業務審計等多個部門共同的關注。不管是網絡故障排查、雲端網絡告警，仍是基於業務視角的網絡診斷，都須要對全網流量進行採集和分析。如何針對每一個部門的不一樣需求，對流量進行「統一採集、屢次分發消費」，避免「煙囪式」建設和重複投資，也成爲企業考量的關鍵之一。
整體而言，企業對於全網流量採集方案的要求很是高，除了部署的低侵入性、高靈活性、高性能及安全性，還看重採集平臺的開放性。
反觀目前市場上大多數的解決方案，還是基於物理交換機鏡像對流量進行集中處理，或基於虛擬機大規模安裝代理進行流量採集，不只對現有設備的性能影響太大，也沒法適應雲環境下的靈活多變。這是因爲傳統網絡廠商或虛擬化廠商，通常基於自身的軟硬件設備提供一體化的解決方案，既難以與其餘廠商的產品進行融合，也缺少創新的意願。
混合雲趨勢下爆發的全網流量監控痛點，正在轉化爲國內大中型企業雲化進程中的新需求，而這一市場尚待破局。
從網絡黑盒到全網監控，行業巨頭的雲網流量採集探索
剛需之下，市場先行，一些技術領先的行業巨頭們已走在了傳統解決方案的前面。據不徹底統計，目前國內已有超過30家企業級數據中心部署了雲環境流量採集系統。
那麼，這些巨頭企業究竟是如何解決雲網流量監控難題的呢？咱們不妨來看幾個表明性的案例。
l 民生銀行：金融監管下的雲網流量監控
在民生銀行，很早就開始實施雲數據中心的轉型升級，業務已成功上雲並穩定運行。爲了響應國家金融監管政策，保障雲數據中心的網絡安全、交易監控安全，2019年，民生銀行引入了雲杉網絡DeepFlow虛擬網絡採集可視化與分析平臺，以解決雲環境中東西向虛擬流量採集的各種痛點問題。
與傳統的網絡流量監測方式相比，DeepFlow的優點在於，部署方式簡單，無需維護獨立虛機。因爲DeepFlow採用宿主機模式，即經過在雲環境每臺物理宿主機上部署獨立採集軟探針，其天生徹底旁路的機制，對虛機、業務網卡、虛機交換機均無侵擾。做爲宿主機上的用戶態進程，具有輕量、安全、可控等優勢。同時，爲了規避對宿主機穩定性的影響，DeepFlow針對採集器還設置了過載保護機制。
從管理角度看，DeepFlow也是業內少有的可以同時與OpenStack、VMware等雲平臺無縫對接的產品，其控制器能夠發現雲平臺中的各種資源，包括區域、用戶、VPC、子網、路由器、虛擬機等，並結合流量梳理後直觀地展示給網絡管理員，實時掌握雲環境中的流量採集和資源部署狀況。
現在，在民生銀行的分行雲環境中，DeepFlow已與其現有的流量採集平臺完成了無縫對接，不只成功實現了雲環境中東西向虛擬流量的精細採集，還與雲管平臺造成了聯動，可以對雲網絡進行動態的監控。考慮到生產環境的系統安全性，DeepFlow對雲網的監控也能實現與生產系統的零耦合。
整體而言，民生銀行是以最小化的部署，得到了最大化的靈活採集策略和安全便捷的雲網流量監控。既擴大了原有的流量採集能力，又不影響生產系統的性能和穩定性，可謂雲網流量採集的最佳實踐之一。
l 興業數金：金融行業雲的網絡安全
做爲興業銀行集團佈局金融科技的先行軍，興業數金早在2017年就被Gartner評爲金融雲領導者。資料顯示，這朵金融行業雲由3個高等級的金融級數據中心構成，目前已有170多家企業將業務託管在該雲平臺上。
做爲大型行業雲服務商，興業數金對雲安全的關注更爲迫切。雖然雲數據中心的南北向網絡安全，一直是雲服務商的責任所在，興業數金在其網絡監控技術上已經打磨得極爲紮實，可是雲內東西向的網絡流量，即虛擬租戶內部、租戶與租戶之間的網絡鏈接和安全情況，卻面臨着網絡黑盒。
爲了從根本上保障金融雲的網絡安全，興業數金選擇了雲杉網絡DeepFlow，對東西向虛擬網絡流量進行監測與分析，同時提供安全策略驗證功能優化業務安全配置，以強化對雲網流量安全分析的能力。
在興業數金看來，因爲DeepFlow採用雲原生的分佈式架構，採集器自身具有數據包處理能力，可以巧妙地利用雲架構的優點，避免流量採集後的集中處理，大大提高系統總體性能。
同時，也能涵蓋裸金屬、虛擬機、容器、公有云資源池等多種異構系統場景，總體系統可知足大規模監控的需求，完美匹配了興業數金規模大、場景全的行業雲特徵，從而可以助力興業數金創建強大的東西向虛擬網絡監控和分析能力，進一步保障金融行業雲的網絡安全。
l 河南移動：電信雲的精細化運營
河南移動的私有云擁有多個數據中心，其資源池數百臺集羣規模，承載了數百個業務。做爲電信運營商，河南移動的私有云建設，不只要知足國家等保2.0要求，在覈心網的可靠性、高效性，以及對客戶隱私保護等方面，也有着比不少行業更爲嚴苛的要求。
一方面，河南移動的私有云內部採用網絡虛擬化後，數據中心東西向流量佔據了主導，傳統網絡監測方案已沒法適應虛擬流量，系統內的網絡行爲徹底黑盒化；
另外一方面，該私有云面向的租戶愈來愈多，從整個省公司各部門到不一樣省公司之間的跨區用戶，從雲平臺運營到租戶業務運營，對雲資源和流量數據的使用狀況要求更加精細化。
爲了更好地運營好電信雲，在通過反覆的測試和對比後，河南移動引入了雲杉網絡DeepFlow對私有云網絡進行監測，實現了實時分析和故障回溯分析，很好地知足了河南移動精細化運營和管理的需求。
對電信運營商而言，現在在5G、邊緣計算、物聯網方向的發力，還將產生更多的網絡運營場景。對此，河南移動和雲杉網絡也爲即將爆發的實時流量採集和分析需求作好了準備。
**
混合雲時代，如何打造全網流量採集的最佳實踐？**
不難發現，不少行業頭部企業都在雲杉網絡DeepFlow的助力下，建設了全網流量監控分析平臺，在私有云或混合雲環境中實現了精準高效的網絡流量統一採集和分發的能力。
其實，除了上文提到的企業，平安科技等金融機構，移動、聯通、電信三大運營商，及中國航信、深航貨運、聯想IT等大型集團企業，都引入了雲杉網絡DeepFlow來部署雲網流量採集平臺。
爲何這麼多的行業巨頭會選擇雲杉網絡而不是傳統網絡廠商合做？其根本緣由在於雲杉網絡用本身的技術實力和產品思路，證實了DeepFlow的的確確是對用戶有價值的，是真正符合用戶需求的。
例如，企業在雲環境中獲取虛擬網絡流量的方式其實有多種，可是用戶最關心的指標，如：部署對生產環境零侵擾、靈活性好、性能高等，卻不多有解決方案能達到企業的標準。
雲杉網絡DeepFlow採用的宿主機旁路模式，在KVM環境中僅需運行一個用戶態的進程，在公有云和VMware雲平臺以虛擬機的形式部署。當採集器工做時，所消耗的資源爲1核CPU、1G內存。當採集爲Flow信息時，對網絡帶寬的消耗不足實際流量的5%，而且採集器擁有過載保護機制，真正知足了企業對侵入性低、穩定性高且動態化部署的需求。
再好比，針對企業在混合雲環境中的流量採集需求，DeepFlow憑藉其分佈式架構和開放可編程的特性，將採集與分析消費解耦，並與多種雲平臺對接，實現了大規模異構IT資源池虛擬流量的統一採集和管理。爲了確保企業安全策略的一致性，DeepFlow作到了雲環境採集策略自動化跟隨，並經過持續的機器學習自動生成網絡策略建議，在動態環境下持續執行策略。
能夠看到，DeepFlow的架構設計和產品功能，天生適合多雲及雲原生環境，這也與雲杉網絡誕生於雲計算時代有關。其SDN的基因與基礎平臺的開放性，讓DeepFlow打破了傳統解決方案在侵入性、性能、靈活性等方面瓶頸，同時也可以原生適配虛擬化、容器、公有云等多種生態，從而知足企業在混合雲時代的新需求，而這正是傳統網絡廠商所不具有的特徵。
隨着愈來愈多的企業將步入混合雲時代，各行業巨頭和雲杉網絡共同打造的雲網流量採集最佳實踐，無疑也爲其餘企業提供了可參考的建設經驗。
l 在部署上，平臺建設並不是一步到位，而是分期建設，按需擴容。
隨着數據中心規模擴大、IT基礎設施增多而擴容，企業會逐漸將原有的物理網絡監控、虛擬流量監控、安全事件監控等業務，整合到全網流量採集和分析的平臺中。可是，平臺建設並不是一步到位，而是基於企業現有的IT基礎設施和業務需求進行階段性的建設。
第一步，企業一般會選擇KVM、容器資源池進行部署實施，以DeepFlow解決虛擬網絡環境流量「黑盒」的問題。這是因爲企業在傳統物理網絡上已具有完整的監控方案，所以填補虛擬網絡流量監控的空白，並與現有的監控分析工具進行對接，閉合私有云、容器環境中的運維、業務分析工具鏈，成爲企業迫在眉睫的需求。
在虛擬網絡環境的部署取得了理想效果後，企業第二步能夠選擇歸入更多資源池，如物理交換機、專線等流量數據，以實現對總體數據中心的流量採集能力。同時，對接網絡中心、安全中心、智能運維等平臺，知足各平臺對現網流量數據的消費需求。
第三步，企業能夠對存在公有云上所運行的Workload或實例流量進行採集，完成對混合雲IT環境總體監控流量管理，實現總體網絡畫像、流量分發、對多平臺流量數據分發的服務能力。
若是已經運行了混合雲環境，企業也能夠在不影響生產環境運行的狀況下分批次部署實施，將DeepFlow平臺所涉及的管理、監控分發平面複用在已有的網絡平面中。
l 在規劃上，從不一樣的IT環境和網絡類型出發，分區域、分資源池進行規劃。
在數據中心側，能夠按區域來定義，區域內的網絡流量包含可用區的物理網絡流量和資源池內的虛擬網絡流量。在物理網絡中，採集點一般由設備廠商的監控方案實現；在虛擬網絡流量採集上，可採用DeepFlow提供的各型號採集器，對接設備廠商方案的標準數據輸出。
對於多數據中心、多分支機構的企業，DeepFlow也支持各地數據中心區域、各種資源池的網絡流量採集，由相應型號的採集器完成。
在公有云側，可經過DeepFlow實現公有云VPC內各種資源的網絡流量採集。採集器以用戶態的軟件形式，部署在虛擬機、容器、裸金屬設備等Workload上，支持Linux、Windows等主流操做系統。
在控制管理側，可從控制面設計入手，解決大規模及可管理性的問題。控制器是管理控制採集器及策略下發的控制中樞，分爲主控制器、備控制器、從控制器，可按照部署要求進行選擇。
在多點的部署環境中，首先指定主區域（Region），主控制器存在於主區域中，爲總體流量管理平臺提供控制入口。除主區域外，其餘區域的控制器做爲從控制器，不參與主控制器選舉。
在雲環境、容器環境中，控制器經過對接虛擬化資源池、配置管理數據庫、公有云開放API等，可實現多粒度下發採集、分發策略，更靈活、更貼近業務應用。
l 在功能上，確保平臺的可擴展性、開放性和統一管理能力，實現一次採集、屢次分發消費。
在雲和雲原生的環境中，全部的資源包括網絡資源在內，都是可彈性變化的。那麼，對應的網絡監控平臺也須要具有彈性的、可擴展的特性。
尤爲在混合雲環境中，網絡規模宏大且資源池類型多樣，虛擬交換機採集點數量，相比傳統監控規模多達幾個數量級的增加。所以，可採用DeepFlow這類分佈式部署來避免單點瓶頸，充分適配邏輯網絡跨資源池的場景。
同時，應考慮分發的網絡平面、儘可能複用已有的網絡，以下降監控系統的資源開銷，並基於不一樣的業務視角提供網絡分析的全景視圖，避免多部門的重複投入，最終爲企業混合雲IT基礎設施環境構建統一的流量監控管理平臺。
在混合雲時代，網絡正在變得更加複雜，企業在不一樣程度遭遇着虛擬網絡黑盒的挑戰。隨着行業巨頭紛紛發力全網流量採集與分析，示範效應將逐漸釋放，引導着衆多企業在混合雲環境中應用新的網絡監控管理技術，建設新一代的全網流量監控基礎設施。
【關於科技雲報道】
專一於原創的企業級內容行家——科技雲報道。成立於2015年，是前沿企業級IT領域Top10媒體。獲工信部權威承認，可信雲、全球雲計算大會官方指定傳播媒體之一。深刻原創報道雲計算、大數據、人工智能、區塊鏈等領域。