記一次spark streaming內存泄漏分析

一個spark streaming應用executor所耗內存隨着時間的增長一直在增加，直到executor內存不足導致應用異常終止，單從代碼層面上還無法定位到內存泄漏的位置。因此可通過監控executor進程內存，獲取內存變化情況。這裏使用java自帶的jmc(java mission control)工具來監控進程。 環境信息： JDK：1.8 Spark：2.3.2 Windows：win1

>>阅读原文<<