Spark2.1 內存管理詳解

  本文中闡述的原理基於 Spark 2.1 版本，閱讀本文須要讀者有必定的 Spark 和 Java 基礎，瞭解 RDD、Shuffle、JVM 等相關概念。html 在執行 Spark 的應用程序時，Spark 集羣會啓動 Driver 和 Executor 兩種 JVM 進程，前者爲主控進程，負責建立 Spark 上下文，提交 Spark 做業（Job），並將做業轉化爲計算任務（Task），

>>阅读原文<<