【Spark篇】---Spark中內存管理和Shuffle參數調優

一、前述 Spark內存管理 Spark執行應用程序時，Spark集羣會啓動Driver和Executor兩種JVM進程，Driver負責創建SparkContext上下文，提交任務，task的分發等。Executor負責task的計算任務，並將結果返回給Driver。同時需要爲需要持久化的RDD提供儲存。Driver端的內存管理比較簡單，這裏所說的Spark內存管理針對Executor端的內存管

>>阅读原文<<