我和「限速」之間的糾纏（二）

 

我和「限速」之間的糾纏（二）

                                                   ------網管經驗的積累過程實錄（二）

 

五個IP地址的糾結讓整個公司半個月都沒安寧過。我也曾提出的兩種解決方案，但都要花很多錢。老總無奈之下，將責任推向了爲咱們作工程的弱電公司，緣由很簡單，弱電公司目前給咱們上的路由器ER5100達不到最終的功能，所謂最終的功能就是承載不了500左右用戶的上網，其次功能上有所欠缺，不能對全部網段進行限速。弱電那邊也沒多說什麼，畢竟後期仍是要合做的，答應給咱們換。換什麼樣的設備呢，其實我和弱電早就研究過，H3C MSR系列的路由器纔算得上是企業專用的路由器。而且功能上仍是蠻強大的，支持命令配置、調試。只不過型號的問題一直讓你們有所困擾。 咱們和弱電公司預約的會議開始了，老總剛開始就提到

正在你們無奈之際，弱電銷售部經理不經意間掏出了一張電信光纖的報價單，跟咱們如今8M所付的錢沒有區別，老總卻看出了裏面隱藏的玄機。也就是年付4M的錢等於月付2M的錢，老總的意思也是在明白不過的了，省錢是老總一直追求的目標。既然要拉多根4M光纖進來，那麼設備上就必須支持。起初申請了三根，也就是說得三個WAN口出去。當時考慮到了購買一臺路由器或者是多臺路由器的問題，若是購買一臺路由器，那麼必需要有多個WAN口，至少5個（沒有的能夠經過模塊添加），並且性能上要可以承載500左右用戶（爲了後期管理上的方便，我當時考慮的是最多拉四根光纖進來），當時考慮到的是MSR50-40系列，不過比較貴，得3萬多；還有一種是購買兩臺路由器，每一個上面至少有3個WAN口（沒有的能夠經過模塊添加），每臺路由器的承載量至少在200-300用戶之間。當時選擇的是MSR3010系列，一臺加一個wan口下來總共得1萬左右。從表面上看，第二種是再好不過的了，至於第二種後面的配置是如何的負載，當時是誰也沒有考慮過，我也是一頭霧水跟着老總的思路走了下去（說實話，第一次搞這個，不是頗有經驗）。

很快，採購的設備到了，來了位H3C的工程師，最終決定了在週六晚上調試。當時只訂購了一臺H3C MSR3010的設備，增長了一個WAN口模塊，總共三個WAN口。還有一臺是電信拉光纖的時候送的H3C MSR系列的一款路由器，測試下來性能還不錯。晚上調試開始了，規劃了網絡拓撲，按照當時的思路，三層交換機上配置了兩條默認路由到兩臺路由器上，MSR 3010上也承載了兩條線路出去，同時也配置了兩條默認路由出去，另外電信的那一臺鏈接了一根光纖出去。同時配置了向外的默認路由。配置完成以後，測試網絡都通，沒什麼問題。進入路由器的圖形界面，按照圖形界面的配置作了IP地址限速，測試下來彷佛沒什麼問題。當時已經很晚了，也就沒再繼續下去了，調試完成後，你們都回去了！到了次日，差點掛掉，到中午的時候網絡出現了問題，網頁半天打不開，好多客戶保修網絡太卡，甚至上不了網。我快速登陸到了路由器的圖形界面上，查看了一下流量，差點暈倒，基於IP地址限速沒有限制住。全部流量都是按端口限速走的，下載都150KB/S左右，而每根光纖也就4M，理論值512KB/S，只要有3-4我的下載，那這一條線路上就出問題了。還有的是根據數據來看，兩臺路由器上走的流量是1:1的流量，也就是說8M走了一半，4M走了一半。那電信那邊的那個路由器確定承載不住。我當時內心也是出現了咯噔，MSR路由器上限速一時半會搞不定，無奈之下，只好從各個樓層的二層交換機端口下手了，至少能緩解一下，因而，我將每一個樓層二層交換機端口上傳和下載帶寬都限制到了64KB/S，終於緩解下來了，客戶投訴的少了，可是我知道，事情尚未結束，一個房間裏若是有一人在下載，那其餘人就別上網了，但總比你們都上不了網強。配置完成以後，我又打電話預定了H3C的工程師，晚上繼續調試。當時我考慮了不少，不只是限速問題，還有交換機上流量2:1分配的問題，MSR3010上流量分配的問題，以及其中一條線路出故障如何進行備份互換。可是，眼下只要能先把限速問題解決了，其它問題後面慢慢解決。

晚上10點多，H3C的調試人員總算來了，根據圖形界面上的限速配置沒有任何問題，可就是限速不起做用。到了12點多，他諮詢了他的主管才知道了狀況，限速在圖形界面下是沒有辦法配置全的，要在命令行上配置，他發過來了一篇文檔，咱們按照文檔內容一步一步配置了下來。通過測試，算是沒什麼問題了，達到了預期的效果。因而，我將各個樓層的二層交換機端口速度又恢復了正常，同時咱們作了策略路由，在三層交換機上進行了大概2:1的流量分配。資料參考的是網上一位牛人配置的文檔，測試下來沒有什麼問題，當時已經是凌晨2點多了。

到了次日，我不停地隨時查看着流量的大小，電信那臺路由器上的流量基本穩定，惟獨MSR3010上的部分流量不正常，部分客戶的下載和上傳達到了兩個IP的流量。通過查看，IP地址限速和端口限速都沒問題。這下又是一頭污水。細細分析了一下，才發現只要是用迅雷、網際快車等多線程軟件下載的，並且走的是MSR3010路由器的，下載速度都能達到2個IP地址的速度，緣由很簡單，這些軟件都是多線程鏈接的，MSR3010上的兩條線路，它都走，因此速率是IP地址限速的2倍。如何隔離開呢，這又成了一個問題。不過還有一個問題，我一直也是百思不得其解，之前包括如今天天都有多個IP地址上傳速度都達到了峯值。直到那天下午我才知道了答案，當時，我查看到了一個IP地址的上傳速率一直都在峯值，到DHCP服務器上查看主機名居然是總經理助理的電腦，好奇之下去了他的辦公室，才發現是迅雷在做祟，迅雷只要開着，並且沒作過上傳限制，默認，他將你平時所下載的軟件又共享出去讓別人下載。這樣就不足爲奇了，大部分客戶的上傳都能達到峯值並非在上傳數據，而是開着一些迅雷、BT之類的工具。唉，怎麼解決呢，總不能到客戶房間去告訴客戶關掉迅雷吧！無奈之際，只好將上傳的速率又下降了一下！

網絡總算恢復了往日的平靜，可事情並無咱們想象的那麼好！問題連續不斷的又出現了，內部ERP服務器，部分祕書訪問不了；從MSR3010端口映射到外部網絡，在外面也訪問不了；從外網ping MSR3010丟包嚴重，ping 電信路由器正常；網絡共享，一部分人能訪問，一部分訪問不了；各個樓層的二層交換機，只能在VLAN1裏經過SSH登陸，其它VLAN登陸不了；不一樣VLAN之間貌似不能訪問；三層交換機上一條線路斷掉不能切換。走MSR3010路由器的客戶網上銀行登陸超時、保稅系統沒法使用……預知如何解決，下次再敘。

參考

MSR系列路由器基於CAR限速的配置（關於H3C MSR流量監管/流量×××/物理接口限速詳細配置可參考 http://www.h3c.com.cn ）：

要求：192.168.2.2～192.168.2.229，192.168.3.2～192.168.3.254下載速度爲56KB/S，上傳速度爲64KB/S。

在全局模式下配置CAR列表：（destination-ip-address因爲是從公網IP地址到私有地址屬於下載，在端口上要應用在下載命令中。Source-ip-address因爲是從私有IP地址到公網地址，屬於上傳，在端口上要應用到上傳命令中）

qos carl 1 destination-ip-address range 192.168.2.2 to 192.168.2.229 per-address

qos carl 2 source-ip-address range 192.168.2.2 to 192.168.2.229 per-address

qos carl 3 destination-ip-address range 192.168.3.2 to 192.168.3.254 per-address

qos carl 4 source-ip-address range 192.168.3.2 to 192.168.3.254 per-address

在端口模式下應用CAR策略（下面是配置在外網口，inbound屬於下載，outbound屬於上傳，通常狀況下，cir×62.5=cbs，448×62.5=28000）

qos car inbound carl 1 cir 448 cbs 28000 ebs 0 green pass red discard

qos car inbound carl 3 cir 448 cbs 28000 ebs 0 green pass red discard

qos car outbound carl 2 cir 640 cbs 40000 ebs 0 green pass red discard

qos car outbound carl 4 cir 640 cbs 40000 ebs 0 green pass red discard