記一次線上應用故障分析

這幾天某個應用經常報上下線告警。我們是通過監測應用節點是否從zk臨時節點掉下來進行告警的。排除網絡原因的話，以往一般是服務器或應用cpu太高，zk客戶端與zk服務端連接超時，而且重試後也無法連上導致。日誌體現如下： 查看堆內存使用曲線發現，內存持續上升到最大內存，然後gc。gc時經常會出現應用上下線的報警。 把堆內存dump下來，使用mat分析，發現一個服務的現場隊列，佔了大部分內存。 這裏差不多

>>阅读原文<<