使用 jvm-profiler 分析 spark 內存使用

文章目錄 背景 jvm-profiler 分析 總結 背景 在生產環境中，爲了提高任務提交的響應速度，我們研發了類似 Spark Jobserver 的服務，各種類型的 spark 任務複用已經啓動的 Spark Application，避免了 sparkContext 初始化冷啓動的過程。 但是這些服務的內存是固定的，因此開放了用戶自定義 Executor 的權限，不過也帶來了很多問題，最典型的

>>阅读原文<<