spark中的參數設置

以前一直在使用spark，對於spark的參數設置瞭解過部分。最近當被同事問起時，感受本身又有點模糊。 好記性不如爛筆頭。web spark-submit的參數設置 spark的運行模式有多種，這邊就yarn提交的任務進行說明： 正經常使用到的參數以下：svg /bin/spark-submit –master yarn-cluster –num-executors 100 –executor-m

>>阅读原文<<