帶寬利用率提高50%，騰訊雲聯網架構方案解析

時間 2020-12-01

原文原文鏈接

導語 | 企業 A 是一家互聯網公司，當前在雲上計算資源已經接近 10W 核，華東地域專線流量 24G+，資源部署以華東爲主、華北、華南、西南等可用區爲輔。該企業屬於典型的混合雲架構，本文主要分享企業A如何經過雲聯網架構優化實現帶寬利用率提高50%，但願與你們一同交流。文章做者：李彬文，騰訊雲售後架構師。

1、雲聯網背景介紹

1. 對等鏈接概述

對等鏈接（Peering Connection）是一種大帶寬、高質量的雲上資源互通服務，能夠幫助打通騰訊雲上的資源通訊鏈路。對等鏈接具備多區域、多帳戶、多種網絡異構互通等特色，支持 VPC 間互通、VPC 和黑石私有網絡互通，知足不一樣業務的部署需求。算法

2. 傳統專線概述

混合雲架構前期都是使用傳統的專用通道打通用戶 IDC 與雲上 VPC。若是一根物理專線須要打通多個 VPC，須要經過不一樣的 VLAN ID 分別建立專用通道來鏈接多個VPC。安全

3. 雲聯網概述

雲聯網（Cloud Connect Network，CCN）爲用戶提供雲上不一樣 VPC間、VPC 與本地數據中心間（IDC）內網互聯的服務。具有全網多點互聯、路由自學習、鏈路選優及故障快速收斂等能力。網絡

雲聯網覆蓋全球 20+ 地域，支持 100+Gbps 帶寬以及最高可達 99.99% 的可用性，爲用戶輕鬆構建極速、穩定、安全、靈活的全球互聯網絡，典型應用場景以下：架構

VPC 與 VPC 間高質量內網互聯：在線教育多個地域的實時音視頻系統、遊戲加速多地域內網互聯、多地域容災架構。
VPC 與 IDC 間內網全互聯：一個專用通道打通多個 VPC，實現單次接入全網互聯，如混合雲場景。

雲聯網對比對等鏈接和傳統專線的優點以下圖所示：負載均衡

下文將從企業 A 的實際出發，介紹企業 A 採用騰訊雲聯網的架構優化實踐。運維

2、企業A架構現狀介紹

1. 企業A混合雲背景介紹

企業 A 核心業務位於華東地區，在上海有兩個 VPC，一個自建 IDC。在北京、成都、廣州、HK 各有一個 VPC，其中 HK 的 VPC 用於接入海外業務。分佈式

最終經過對等鏈接以及傳統專線通道實現全部雲上 VPC 與自建 IDC 的互聯互通（因爲傳統架構互聯線路較多暫不提供具體拓撲，下文提供了分解拓撲）。學習

2. 公有云VPC經過對等鏈接互聯架構

企業 A 上海地域當前是兩個 VPC，一個是業務 VPC，另一個是用於測試的 VPC，同地域兩個 VPC 之間理論上不限制帶寬，除非底層數據中心的 DCI 互聯帶寬（DCI 互聯帶寬都是上 T 級別）被打滿纔會致使同地域對等鏈接丟包；
企業 A 的少許海外業務經過香港 2 區的 VPC 作接入，再經過 100Mbps 的對等鏈接實現打通上海 5 區的核心業務 VPC；
企業 A 分佈在華東、華北、華南、西南的業務 VPC 經過對等鏈接全互連實現業務互訪。

3. 公有云VPC與自建IDC經過傳統專線互聯架構

名詞解釋：NGW（底層專線網關集羣）、QCAR（網絡設備）、QCPL（網絡設備）IDC（數據中心）。測試

企業 A 公有云 VPC 到自建 IDC 天天峯值總流量 24Gbps，正常四條 10G 專線均分流量爲：24Gbps*25%=6Gbps；
當前企業 A 的傳統專線架構是專線 1 與二、專線 3 與 4 相互備份，當專線 1 故障，那麼專線 1 的流量會轉發到專線 2，因此每條專線的帶寬使用率不建議超過 50%；
因爲企業 A 業務快速增加，當前每條專線的帶寬使用率已經達到 60%。若是上圖 2 的專線 1 故障，就會有 12Gbps 的流量轉發到專線 2，最終致使專線 2 帶寬擁塞而丟包影響業務。

4. 當前互聯架構的挑戰

公有云 VPC 之間互通要創建全互連的對等鏈接，而且每次增長 VPC 都有增長大量對等鏈接和路由，最終致使維護成本愈來愈高；
跨地域對等鏈接的底層網關集羣故障沒法自動切換路由恢復，止損耗時久；
企業 A 自建 IDC 到騰訊雲的四條專線，如何實現中斷任何一條，另外三條專線可用均分故障鏈路的流量，最終經過最低的成本解決丟包問題；
企業 A 有四個公有云 VPC 須要和自建 IDC 互通，那麼須要四個專線網關，以及 16 個 BGP 鄰居和專線通道。後續每增長一個 VPC 就會增長四個專線通道，最終致使專線的運維成本增長。

3、雲聯網改造方案介紹

1. 公有云VPC經過雲聯網互聯架構設計

企業 A 全部 VPC 只須要加入新建雲聯網實例，便可實現相互路由自動學習，無需維護大量對等鏈接和大量手工添加的路由；
全部存量 VPC 以及後續增量 VPC 互通的流量都須要經過雲聯網實現，能夠將該雲聯網實例看做企業 A 的虛擬骨幹網；
多 AZ（可用區）網關集羣容災，可用性比對等鏈接更高；
跨地域雲聯網網關之間會有撥測，最終選擇最優路徑來下降延遲，提高業務穩定性。

2. 公有云VPC與自建IDC經過雲聯網互聯架構設計

名詞解釋：CCNGW（雲聯網類型專線網關）、QCAR（網絡設備）、QCPL（網絡設備）IDC（數據中心）。優化

企業 A 全部 VPC 以及四個專線網關都加入同一個雲聯網實例最終實現相互訪問，而且不管幾個 VPC 和自建 IDC 互通只須要 4 個專線通道便可（簡化配置複雜度，簡單可靠）；
雲上 VPC 路由下一跳是雲聯網，而後經過 ECMP（負載均衡）四份流量到 4 個雲聯網專線網關，最終通道底層路由將流量經過四條物理專線轉發到自建 IDC（邏輯轉發路徑：VPC---CCN---專線網關---專線---IDC）；
假設企業 A 的物理專線 1 再次中斷，那麼 QCPL1 沒法收到自建 IDC 的 BGP 路由。最終經過路由收斂使得雲聯網將流量轉發給雲聯網專線網關 2-4，從而實現任意一條物理專線故障都會將流量均分給其餘三條專線；
在成本不增長的狀況下，經過雲聯網的改造將專線帶寬利用率從理論值 50% 提高到 75% 實現降本增效。

4、雲聯網改造總結

1. 雲聯網改造帶來的實際收益

企業 A 全部雲上 VPC 沒必要兩兩之間建立對等鏈接，只須要加入雲聯網便可實現所有的互聯互通，下降了雲上 VPC 的運維成本；
企業 A 跨地域 VPC 互通的網關集羣實現多 AZ 容災，提高跨地域互通的可用性；
企業 A 的四條專線峯值總流量 24Gbps 狀況下中斷任意一條都會經過路由收斂自動恢復業務，沒必要依賴於被動等待專線修復或者降級其餘業務來恢復，最終提高專線的高可用性；
企業 A 雲上 VPC 與 IDC 互通只須要建立 4 個 BGP 鄰居便可，也沒必要爲每一個雲上 VPC 建立專線網關，最終極大下降專線的運維成本。