一次線上CPU高的問題排查實踐

一次線上CPU高的問題排查實踐

前言

近期某一天上班一開電腦，就收到了運維警報，有兩臺服務CPU負載很高，同時收到一線同事反饋 系統訪問速度很是慢，幾乎無響應。

一個美好的早晨，最怕什麼就來什麼。只好推掉其餘會議，專心搞定問題。

排查

登陸系統一看，後端的接口訪問果真所有超時。

1. 先使用top命令查看下是由哪一個進程佔用CPU較高。

從圖上可看出，pid=26481的Java進程佔用了385%的CPU，機器是4核8G的配置。

2.而後查看下是哪一個Java應用 ps -ef | grep java

發現是咱們後端request服務的應用。

3.獲取pid後，能夠查看該進程下的線程列表。 命令： ps -mp pid -o THREAD,tid,time。

.png)

這裏咱們能夠看出有4個線程，長時間佔用較高的CPU資源。拿到一個tid=26496，printf "%x\n" tid , 轉爲16進制：6780

4.使用jstack打印線程的堆棧信息，./jstack pid | grep tid -A 30

從圖上可看出，是因爲該應用的GC異常致使CPU佔用較高。

5.導出堆棧日誌分析。 jstack 26481 >> jstat.out

解決問題

分析導出jstat.out，查找下RUNNABLE狀態的線程。

ps：這裏推薦一個分析日誌的網站，超級好用，能生成圖形界面的分析日誌。只須要將生產的日誌上傳。Java Thread Dump Analyzer https://fastthread.io/

最終發現是Excel大量導出的問題。用戶導出一年的財務報表，差很少近60萬條數據，因爲系統導出較慢，而後進行了屢次點擊下載，致使應用內存不足，頻繁GC, 致使CPU超高，系統假死。

至此問題發現，解決問題就變得簡單了。

• 重啓應用，讓用戶使用優先。 最快捷、最有效的解決方式，哈哈
• 前端限制按鈕點擊次數。
• 後端Excel下載優化（考慮阿里的easyexcel,詳細請看後續分享），以及將文件下載獨立出一個微服務。