Spark-性能調優

常用參數配置 --num-executors N --executor-cores  N    ：這個參數決定了每個Executor進程並行執行task線程的能力。因爲每個CPU core同一時間只能執行一個task線程。 --driver-memory Ng  --executor-memory Ng    ：每個Executor進程的內存設置4G~8G較爲合適 --conf spark.def

>>阅读原文<<