大二層技術對比分析

如前文所述，傳統的數據中心匯聚交換機做爲網關，爲了提升HA性能，基本都採用雙機冗餘建設模式。隨着數據中心進入虛擬化時代，接入服務器的規模飛速增長，虛擬服務器的規模出現級數增長。同時，更多的客戶要求在同一個二層網絡內，任意兩臺虛擬服務器之間要作無阻塞的快速交換。這就致使做爲網關的匯聚交換機出現容量不足而下降整網性能，所以須要採用新得技術有效的增長匯聚交換機的容量，同時還必須採用有效的技術提升接入到匯聚交換機之間的帶寬利用率。前面幾篇文章介紹了各類可用於的數據中心二層網絡擴展的技術，本文將就這幾類技術作一下對比。

1 傳統STP技術應用分析
　　 STP是IEEE 802.1D中定義的一個應用於以太網交換機的標準，這個標準爲交換機定義了一組規則用於探知鏈路層拓撲，並對交換機的鏈路層轉發行爲進行控制。若是STP發現網絡中存在環路，它會在環路上選擇一個恰當的位置阻塞鏈路上的端口——阻止端口轉發或接收以太網幀，經過這種方式消除二層網絡中可能產生的廣播風暴。然而在實際部署中，爲確保網絡的高可用性，不管是數據中心網絡仍是園區網絡，一般都會採用具備環路的物理拓撲，並採用STP阻塞部分端口的轉發。對於被阻塞端口，只有在處於轉發狀態的端口及鏈路發生故障時，纔可能被STP加入到二層數據幀的轉發樹中。

圖1 STP引發的帶寬利用率不足的問題

　　 STP的這種機制致使了二層鏈路利用率不足，尤爲是在網絡設備具備全鏈接拓撲關係時，這種缺陷尤其突出。如圖1所示，當採用全網STP二層設計時，STP將阻塞大多數鏈路，使接入到匯聚間帶寬降至1/4，匯聚至核心間帶寬降至1/8。這種缺陷形成越接近樹根的交換機，端口擁塞越嚴重，形成的帶寬資源浪費就越可觀。
　　 可見，STP能夠很好地支持傳統的小規模範圍的二層網絡，但在一些規模部署虛擬化應用的數據中心內（或數據中心之間），會出現大範圍的二層網絡，STP在這樣的網絡中應用存在嚴重的不足。主要表現爲如下問題（如圖2所示）。

圖2 STP的低效路徑問題示意圖

1. 低效路徑
? 流量繞行N-1跳
? 路由網絡只需N/2跳甚至更短
2. 帶寬利用率低
? 阻斷環路，中斷鏈路
? 大量帶寬閒置
? 流量容易擁塞
3. 可靠性低
? 秒級故障切換
? 對設備的消耗較大
4. 維護難度大
? 鏈路引發拓撲變化複雜
? 容易引起廣播風暴
? 配置、管理難度隨着規模增長劇增
　　 因爲STP存在以上種種不足，其難以勝任大規模二層網絡的管理控制。

2 IRF技術應用分析
　　 H3C IRF（Intelligent Resilient Framework）是N:1網絡虛擬化技術。IRF可將多臺網絡設備（成員設備）虛擬化爲一臺網絡設備（虛擬設備），並將這些設備做爲單一設備管理和使用。
　　 IRF虛擬化技術不只使多臺物理設備簡化成一臺邏輯設備，同時網絡各層之間的多條鏈路鏈接也將變成兩臺邏輯設備之間的直連，所以能夠將多條物理鏈路進行跨設備的鏈路聚合，從而變成了一條邏輯鏈路，增長帶寬的同時也避免了由多條物理鏈路引發的環路問題。如圖3所示，將接入、匯聚與核心交換機兩兩虛擬化，層與層之間採用跨設備鏈路捆綁方式互聯，整網物理拓撲沒有變化，但邏輯拓撲上變成了樹狀結構，以太幀延拓撲樹轉發，不存在二層環路，且帶寬利用率最高。

圖3 基於IRF構建二層網絡

　　 簡單來講，利用IRF構建二層網絡的好處包括：
? 簡化組網拓撲結構，簡化管理
? 減小了設備數量，減小管理工做量
? 多臺設備合併後能夠有效的提升性能
? 多臺設備之間能夠實現無縫切換，有效提升網絡HA性能
　　 目前，IRF技術實現框式交換機堆疊的窬量最大爲四臺，也就是說使用IRF構建二層網絡時，匯聚交換機最多可達4臺。舉例來講，匯聚層部署16業務槽的框式交換機（4塊上行，12塊下行），配置業界最早進的48端口線速萬兆單板。考慮保證上下行1:4的收斂比，匯聚交換機下行的萬兆端口數量48*12=576。接入交換機部署4萬兆上行，48千兆下行的盒式交換機。4臺IRF後的匯聚交換機能夠在二層無阻塞的前提下接入13824臺雙網卡的千兆服務器，可知足國內絕大部分客戶的二層組網需求。
　　 少部分客戶指望其服務器資源池能夠有效擴充到2萬臺甚至更大。這樣，就須要其餘技術提供更大的網絡容量。
3 TRILL技術應用分析

圖4 數據中心Trill大二層組網架構示意圖

　　 採用TRILL技術構建的數據中心大二層網絡如圖4所示，網絡分爲核心層(至關於傳統數據中心匯聚層)、接入層。接入層是TRILL網絡與傳統以太網的邊界；核心層RBridge不提供主機接入，只負責TRILL幀的高速轉發。每一個接入層RBridge經過多個高速端口分別接入到多臺核心層RBridge上。準確的說，TRILL最大能夠支持16臺核心層RBridge。這樣也就對接入層交換機提出了更高的要求：支持16端口萬兆上行，160千兆下行。目前的主流千兆交換機都是4萬兆上行、48千兆下行。最高密度能夠支持到10萬兆上行，96千兆下行。若是與前面IRF組網採用相同的匯聚（TRILL核心）設備和收斂比，TRILL目前最大能夠支持10核心組網，其最大能力能夠無阻塞的接入27648臺雙網卡千兆服務器。能夠直觀的看到，隨着匯聚交換機數量的增長，二層網絡服務器的接入規模直線上升。這是目前TRILL相對於IRF最明顯的優點。
　　 雖然TRILL成功擴展了虛擬機資源池的規模，可是目前大規模的二層網絡缺少運維經驗，這意味着運維成本會大幅度提高，同時給業務系統帶來巨大的風險。同時，TRILL技術目前在芯片實現上存在客觀缺陷：核心層不能支持三層終結，也就是說TRILL的核心層不能作網關設備。必需要在覈心層上再增長一層設備來作網關（如圖5所示）。這致使網絡結構變得複雜，管理難度增長，網絡建設、運維成本都會增長。

圖5 數據中心Trill組網網關設計架構示意圖

4 SPB技術應用分析
　　 SPB的組網方案和TRILL基本相同（圖4所示）。一樣最大能夠擴展16臺匯聚交換機增長二層網絡接入規模；一樣對接入交換機的接入密度提出更高的要求；一樣存在網關與SPB核心必須分離的芯片缺陷（圖5所示），致使網絡層次增長，管理、運維成本增長。
　　 相對於TRILL，SPB最大的優點在於可以方便的支持VLAN擴展功能，正是這一點吸引了不少須要支持多租戶業務的運營商以及有規模運營需求的企業的關注。

5 EVI技術應用分析
　　 因爲大規模的二層網絡缺少成功的運維經驗，因此最合理的虛擬化網絡應該是L3+L2網絡模型。如前文所述，因爲EVI特性能夠經過匯聚層和核心層之間的IP網絡實現二層互通，因此經過EVI擴展多個二層域的時候不須要更改佈線或是設備，僅僅須要在匯聚設備上啓用EVI特性便可。這樣能夠平滑的擴展二層網絡的規模。
　　 目前L3路由+L2 IRF+EVI是最適合雲計算虛擬化數據中心網絡的模型。其主要的優勢包括：
? 技術成熟，架構穩定
? 豐富的運維經驗，便於維護
? 平滑的擴容能力，可以支持大規模二層網絡
6 技術應用對比

7 結束語
　　 虛擬化數據中心內一般採用服務器二層接入方案，以實現靈活擴展資源池能力。隨着企業對計算資源靈活調度能力要求的不斷提高，必然將面臨大規模二層網絡問題。本文列出五種不一樣實現技術，各有特色。技術沒有最好的，只有最適合的。但願經過本文的闡述與分析，給讀者一些幫助與啓發，以便將來實現數據中心大規模二層網絡時選擇最適合的技術方案。

其餘大二層組網技術簡介
? Fabricpath
　　 Fabricpath是由Cisco提出，和TRILL很是類似的一種技術。Fabricpath和TRILL對比來看，主要在於封裝更加精簡，支持多拓撲能力，在控制管理層面上精耕細做，成熟度要好一些。
? Qfabric
　　 是Juniper提出的技術，將交換機的控制軟件拉到外部的服務器上運行，整個網絡採用集中控制集中管理的方式。缺點是：擴展性很差，部署案例少，成熟度待檢驗。
? VXLAN/NVGRE
　　 業界最近出現了一種經過在vSwitch上支持L2oIP的技術，有VXlAN（Virtual eXtensible LAN）和NVGRE（Network Virtual GRE），前者是由VMware和思科提出的標準，使用了L2oUDP的封裝方式，支持16M的tenant ID；後者是由HP和微軟提出的標準，使用了L2oGRE封裝方式，也支持16M的tenant ID。這兩種技術的主要特色是隧道的起點和終點主要在vswitch上，而不是物理交換機上。隧道的封裝在服務器內部的vswitch就已經打好，而後將物理網絡看成大的IP背板加以穿透，大二層範圍能夠跨DC。以期達到快速部署，靈活建立虛擬化網絡的目的。■