Spark 2.3.0 Driver 內存泄漏

Spark 2.3.0 Driver 內存泄漏 問題描述 線上StructedStreaming隨着運行時間變長,處理能力越來越慢,重啓程序後恢復到之前的處理能力。在測試環境復現問題之後,發現Driver進程的老年代和方法區被佔滿,且每次垃圾回收釋放的內存空間有限,導致JVM一直在FullGC,懷疑是內存泄漏導致的,遂Dump出內存快照。 內存快照分析 使用MAT(Memory Analysis
相關文章
相關標籤/搜索