Spark性能調優

1.系統資源使用 核心調優參數以下：           (1)num-executors ：該參數必定會被設置， Yarn 會按照Driver 的申請最終爲當前的Application 生產指定個數的Executors。實際生產環境下分配80 個左右的Executors比較合適。           (2)executor-memory： 與JVM OOM 緊密相關，不少時候甚至決定了Spark

>>阅读原文<<