記一例典型的網絡故障

  好久沒有寫日誌之類的文章了，來了51cto論壇這麼久，從前輩裏也學習了很多東西。不少實際工做中遇到的問題和處理的過程，也有必要相互學習交流，取長補短。趁如今有這個時間和機會，分享一例幾天前在公司發生的一塊兒奇怪的網絡問題。

  在這裏簡單交代一下背景，本人在某品牌4s店負責IT工做（入職一個多月），因爲某些緣由，也兼顧了另一家4s店的IT維護（其實兩家店都屬於同一個集團，這裏把前者稱爲A店，後者稱爲B店）。本人工做地點在A店，但B店設備年代相對久遠，兩家店加起來工做量其實也很多（主要是IT管的東西實在太多了）。

  中午快吃飯的時候，接到通知給B店某針式打印機換個色帶架（看到發來的圖片是一個拆碎了的色帶架，不由爲它默哀），就在快下班的時候找到一個同型號的色帶架，換上新的色帶，在A店找臺打印機測試沒有問題，就打算過去吃飯的時候換上色帶架再吃飯（A店飯堂還沒建好，員工都在B店飯堂用餐）。

  就在裝色帶架的時候，旁邊的靚女忽然說上不了網，接着收到各類通知說上不了網，我當時就奇了個怪，我在裝色帶，碰都沒碰過網絡相關的東西，怎麼忽然一會兒都說斷網？這個時候，通常都是網管們比較頭痛的時候，由於大面積的斷網是比較麻煩並且緊急的，一來會影響公司的正常業務，二來各類人都會在催何時搞定，能不能搞好什麼的。好了，不扯閒話，說下處理過程。

  首先，必需要肯定究竟哪多少臺電腦斷網，是所有斷網仍是局部斷網。通過了解約有六、7個地方上不了網，因爲同一時間同時斷開網絡，且這幾個地點都不在同一個地方，有一樓的也有二樓的，因而檢查了旁邊幾臺連不上的電腦，物理鏈接上沒什麼異樣（說白了就是看看是否接上各類莫名其妙的交換機），ping一下網關，發現ping不通。這時基本上鎖定了是物理鏈接的故障，大機率是交換機的問題。可是此時也有疑問，若是交換機端口出問題，不會同時幾個端口都壞了，若是是交換機總體故障，爲什麼24口的交換機單單幾臺電腦斷網了（不會那麼巧其餘10多臺電腦都關機了吧）。

  帶着疑問，拿鑰匙打開了IT房的門，期間一直沉思。這裏簡單描述一下機房狀況，因爲是廠家負責建設，以前交接的IT也不清楚具體設備的配置和網線的走向，也沒有權限去配置，就說之前就是這樣。一個機櫃放了一個路由和3個24×××換機（牌子就不說了，這個和主題沒關），B店網點約100個左右，有些使用不上暫時不接入交換機，3個交換機24口均接入網線，經瞭解基本都會開機使用。另外因爲機房已經有好幾個年頭了，網線和網絡結構相對凌亂，最頭痛的問題是機櫃旁邊放了一堆厚約30公分左右的網線，裏面還有各類光貓、小型路由和小型交換機等設備（B店共3條光纖輸入，一條做辦公網絡，一條做員工wifi，另外一條爲客戶wifi）。以前的IT也肯定裏面沒有網口，只不過線不夠長接在地上，基本上都是wifi的線，與公司主要網絡沒關。

  檢查了一下幾個24口的交換機工做狀況，發現狀態正常，這時在想是否是交換機過熱（空調常常跳閘）或者cpu內存佔用太高，決定重啓一下3臺交換機，試下可否解決問題。因爲線路確實複雜，根本找不到電源插頭，只能簡單粗暴的拔出電源線重啓，3臺交換機重啓後故障依舊。

  通過簡單重啓交換機沒法處理後，就必須用比較笨的辦法，就是找出斷網網點到機房的網線，這時可能有人會說，這不簡單嗎都會有標籤的，不過有耐心看的人確定猜得出來這些線基本上都沒有標籤的，僅有的那些標籤也不必定是對的。固然，查線不是每條都要查，這裏優先找的是交換機上沒亮燈的線。在一個斷網點接上測線器，就到機房去逐個測試滅燈的網線，雖然滅燈的線很少，可是也有將近20個，奇怪居然找不到（期間因爲收銀一直在催搞好沒有，客人急着要打發票，就臨時接了條長網線，讓她們接上着正常的網點，先解決客人的問題）！這是我在想，若是這些線在這幾個滅燈的端口裏，不可能8芯都不通的，除非被徹底切斷？在肯定B店內部沒有重大施工和破壞的狀況下，我再找了另一個網點繼續尋線，結果同樣找不到那根線。這時我能肯定的是這兩個點的網線不在這3臺交換機裏，我把目光轉移到地上亂線堆裏的幾個8×××換機上，因爲網線很是亂，基本找不到這些交換機的網線通往哪處，感受有些像鏈接入機櫃的3個交換機上，有些是直接通向機房外面。抱着僥倖的心理，把那些交換機重啓了遍，幾分鐘後，有同事說能上網了，這時我如夢初醒，仔細檢查，發現其中一個接了6口的交換機，當中一根線連入了一個24口的交換機上，兄弟，找你找得可辛苦了。

  既然問題解決了，我就想多是這個小交換機負荷太重，重啓後應該能正常運行一段時間吧。可是疑問依然存在，根據反映共7個點上不了網，可是這個交換機只連了5個口，按道理說這個交換機有問題也只會有5個點上不了網，且斷網的7個點在機房外面不存在其它交換機物理鏈接的可能，帶着這個疑問，雖然暫時解決了故障，但沒法釋懷。

  看到你們能上網後，就着手處理一些沒弄好的小問題，結果沒過多長時間，又報告說沒法上網，並且仍是剛纔那幾臺電腦。因而回到機房，仔細檢查那個接了6條線的交換機，鏈接到24×××換機端口上的指示燈正常，再把這個8×××換機與24×××換機相連的網線拆下來，用測線儀測試發現8芯都通。這時我基本能夠肯定是那個8×××換機的問題了，因爲沒有多餘的交換機做備用，因而不假思索地讓行政部同事去申購一個交換機，就在她離開辦公室的瞬間，我腦裏忽然一想，還不必定是那個交換機的問題。

  我說，先等一下，我再肯定一下是否是那個交換機的問題。因而再回到機房，在那個交換機（交換機A）旁邊拆下另一個8×××換機（交換機B），連上剛纔的那根級聯網線，再接入那5根故障網點網線。這裏你們應該知道，若是是交換機A有問題，此時理論上那些電腦能上網的，反之，若是依然沒法上網，那就和交換機A無關。在我叫停申購返回機房的瞬間，我就大概想到不是那個交換機的問題，結果也如我所料，換了交換機B問題依舊，若是非要說交換機B也有問題，這顯然不是一個負責任的IT所爲。

  若是看到這裏能準確找到故障緣由的，應該說得上半隻腳踏進了IT這個門了。其實到如今，已經離真相不遠了。我當時目光已經鎖定在那根鏈接交換機A和24×××換機的網線上，我又把那根網線拆下來，仔細檢查了一下，那根線特別硬，在機房我找不到比那根線更硬的網線，連稍微彎曲都得費點勁，我從新用測線儀測試那根網線，8芯都是通的，因而我把那根線拉了一下又彎了一下，從新測試，發現第六根線（綠色線）斷路。此刻，我終於找到了答案：那根線因爲質地過硬（銅芯過粗），水晶頭金屬刀片不易壓入，稍微扭動就會致使壓片與銅芯失去接觸，因爲接觸不良致使時斷時續，所以就會出現上述全部問題。

  因而，換了條以前接好的一條普通網線，替換那條出現問題的級聯線，隨即又聽到能上網的回覆了。

那天到那刻爲止，我才舒了口氣。這時，不禁感嘆，作IT運維的，除了一點略懂皮毛的技術外，還須要那麼一點的細緻和運氣。囉嗦了半天，總算把故事說完了，對能看到這裏的讀者，也表示很是感謝。