Spark 調優彙總

  ​ 閱讀文本大概需要 9 分鐘。   之前的兩篇文章 Spark 調優一瞥 | shuffle 調優 Spark 的 數據本地化 分別講了 shuffle 的參數調優和數據本地化的調優。 本文將從以下幾個方面來介紹一下 Spark 的調優。 資源調優 並行度調優 代碼調優 數據本地化 內存調優 shuffle 參數 堆外內存 數據傾斜 （內容較多, 下篇文章見）   資源調優   在部署集羣的

>>阅读原文<<