一次linux服務器load高達600多的異常處理過程

#一次服務器load值狂飆的處理過程以及思路 處理時間:2016_11_22:17:00 java


#收到報警78服務器load值報警,登陸機器uptime查看load值ios

wKiom1g0DkXTtzyJAABBw6D_lOI162.png-wh_50

#load值超高,第一反應top一下,想找出來是哪一個程序消耗了大量的cputomcat

wKioL1g0DkWAIR9OAAR7eZozhGY187.png-wh_50

#沒有發現,接着就是vmstat查看正常,iostat,free -m,一切正常,有幾個操做未截圖服務器

wKiom1g0DkWTQZGpAADFotDhczk686.png-wh_50

#當這一切都正常的時候人有點懵逼,甚至都準備去看看源碼uptime 的load值是怎麼計算出來的ide

然而找到了代碼塊並看不懂,繼續查看問題,執行了netstat查看到有syn_recv這就證實有服務創建spa

鏈接失敗,因而找到這個程序,而後netstat -tnlp|grep 看了一下。wKiom1g0D_SjO9GYAAEmK9uWXnc341.png-wh_50日誌

#開始懷疑這個java程序有問題,因而查看日誌,當天是11月22號,而程序日誌在11月20號5點32分就停了,因而肯定程序問題。orm

wKiom1g0DkOCr0AcAADVbrW7rM8259.png-wh_50

#執行重啓tomcat命令,這個就不用講了,進入bin目錄shutdown.sh 發現進程沒了以後startup.shblog

而後等了幾分鐘load就降下來了進程

wKioL1g0Dt3he_daAABQlqXR4TA513.png-wh_50


紀錄一下處理故障的思路和經歷,提及來比較輕鬆,可是實際仍是花了必定的時間,在執行netstat以前毫無思路,卡了一段時間,都準備翻閱源碼,比較尷尬,並且也沒找到更深層次的緣由。

相關文章
相關標籤/搜索