SparkCore（16）：Spark內存管理機制1.6之前和1.6+

一、Spark1.6之前（固定的值） 1.架構圖 2.具體分配 Spark應用中代碼使用內存：你編寫的程序中使用到的內存=>20% Spark數據緩存的時候用到的內存：60% => spark.storage.memoryFraction Spark shuffle過程中使用到的內存：20% => spark.shuffle.memoryFraction 3.官網 spark.shuffle.me

>>阅读原文<<