Spark內存調優

1.Spark 資源調優 內存管理： Executor的內存主要分爲三塊： 第一塊是讓task執行我們自己編寫的代碼時使用，默認是佔Executor總內存的20%； 第二塊是讓task通過shuffle過程拉取了上一個stage的task的輸出後，進行聚合等操作時使用，默認也是佔Executor總內存的20%； 第三塊是讓RDD持久化時使用，默認佔Executor總內存的60%。 每個task以及

>>阅读原文<<