Spark 1.6以後的內存管理機制

 Spark 內部管理機制  　　Spark的內存管理自從1.6開始改變。老的內存管理實現自自staticMemoryManager類，然而現在它被稱之爲」legacy」. 「Legacy」 默認已經被廢棄掉了，它意味着相同的代碼在1.5版本與1.6版本的輸出結果將會不同。需要注意的是，出於兼容性的考慮，你依舊可以使用」legacy」，通過設置spark.memory.useLegacyMode改

>>阅读原文<<