spark性能優化

一、分配更多的資源 1.一、分配哪些資源 executor-memory、executor-cores、num-executornode 1.二、在哪裏設置這些資源 在生成環境中，提交spark任務時，使用spark-submit shell腳本，能夠調整對應的參數 提交任務的腳本web spark-submit \ --master saprk://node01:7077 \ --class c

>>阅读原文<<